山东大学学报(工学版)

作者：蔡国永,贺歆灏,储阳阳

单位：桂林电子科技大学广西可信软件重点试验室, 广西 桂林 541004

关键词：图像处理,情感分析,深度学习,注意力机制,神经网络,

基金：国家自然科学基金资助项目(61763007);广西自然科学基金重点资助项目(2017JJD160017);广西科技重大专项(AA19046004)

为了解决现有基于深度学习方法的视觉情感分析忽略了图像各局部区域情感呈现的强度差异问题,提出一种结合空间注意力的卷积神经网络spatial attention with CNN, SA-CNN用于提升视觉情感分析效果。设计一个情感区域探测神经网络用于发现图像中诱发情感的局部区域;通过空间注意力机制对情感映射中各个位置赋予注意力权重,恰当抽取各区域的情感特征表示,从而有助于利用局部区域情感信息进行分类;整合局部区域特征和整体图像特征形成情感判别性视觉特征,并用于训练视觉情感的神经网络分类器。该方法在3个真实数据集TwitterⅠ、TwitterⅡ和Flickr上的情感分类准确率分别达到82.56%、80.23%、79.17%,证明利用好图像局部区域情感表达的差异性,能提升视觉情感分类效果。

来源：2020年第4期

《山东大学学报(工学版)》期刊编辑部

查看山东大学学报(工学版)杂志2020年第4期