山东大学学报(工学版)

作者：田枫, 李欣, 刘芳, 李闯, 孙小强, 杜睿山

单位：东北石油大学计算机与信息技术学院，黑龙江 大庆 163318

关键词：图像标签生成,多模态学习,子空间学习,空间变换,结构保持,

基金：国家自然科学基金资助项目(61502094);东北石油大学优秀中青年科研创新团队资助项目(KYCXTD201903);黑龙江省高等教育教学改革研究项目(SJGY20180079);黑龙江省高等教育教学改革研究项目(SJGY20190098);黑龙江省哲学社会科学研究规划项目资助项目(19SHE280);大庆市哲学社会科学规划研究项目(DSGB2019042)

基于已有的视觉空间和文本空间上标签相关性建模方法，提出一种多模态子空间学习的语义标签生成方法。通过建立视觉特征相似图，以非线性方式重构“图像-标签”相关性，进而将图像的视觉模态表示和标签的文本模态表示统一到多模态子空间中，并保证空间变换前后具备结构保持。在该空间中，标签的文本模态与图像的视觉内容模态信息彼此互补，语义相关的图像和标签映射到空间中相近的样本点，进而将语义标签生成问题转换为子空间内图像的近邻标签搜索问题。结果表明，该方法在FLICKR-25K数据集上，性能达到36.88%，在NUS-WIDE数据集上，性能达到44.17%，多模态子空间学习的语义标签生成方法可以大幅度提升标签生成的准确性。

来源：2020年第3期

《山东大学学报(工学版)》期刊编辑部

查看山东大学学报(工学版)杂志2020年第3期