山东大学学报(工学版)

作者：王旭峰, 周迪,张风雷,宋雪萌,刘萌

单位：1.山东建筑大学计算机科学与技术学院, 山东 济南 250101;2.山东大学计算机科学与技术学院, 山东 青岛 266237

关键词：图像-文本匹配,跨模态检索,多粒度,多视角,跨模态相似性交互,

基金：国家自然科学基金资助项目(62376140,U23A20315,62236003);山东省优秀青年科学基金资助项目(ZR2022YQ59);山东省高等学校青创科技支持计划资助项目(2023KJ128)

为精准匹配图像与文本数据,提出一种多粒度对齐网络(multi-granularity alignment network, MGAN)。通过对比语言-图像预训练模型和基于Transformer的双向编码器模型,分别提取图像块级、区域级和全局级3个不同粒度的信息,弥补匹配信息单一的缺陷。根据各级信息的特性,采用多级对齐机制。在区域级对齐上,结合多视角总结策略,让MGAN有效应对图像和文本之间的一对多描述问题;在图像块级对齐上,引入跨模态相似性交互建模模块,进一步增强图像与文本之间的细节交互。在Flickr30K和MS-COCO两个公开数据集上的大量试验结果表明,MGAN具有更高的匹配性能,验证了多粒度对齐网络方法的有效性。

来源：2025年第4期

《山东大学学报(工学版)》期刊编辑部

查看山东大学学报(工学版)杂志2025年第4期