山东大学学报(工学版)

作者：刁振宇,韩小凡,张承宇,聂慧佳,赵秀阳,牛冬梅

单位：1. 山东省泛在智能计算重点实验室(筹), 山东 济南 250022;2.济南大学信息科学与工程学院, 山东 济南 250022

关键词：三维模型检索,度量学习,对比学习,多模态,跨模态检索,

基金：国家自然科学基金资助项目(62102163);山东省高等学校青年创新团队发展计划资助项目;山东省科技型中小企业创新能力提升工程资助项目(2023TSGCO244)

为减小图像检索三维模型算法中图像域和模型域间的模态差距,提出一种由4个模块组成的神经网络算法模型。数据交换模块通过一定概率交换图像和三维模型数据,使图像域网络具有模型域特征学习能力,模型域网络具有图像域特征学习能力,初步减小模态差距。特征对齐模块有实例样本判别损失函数和图像模型配对损失函数,进一步对齐图像域和模型域。实例判别损失函数将每个实例视为独立个体类,对其进行分类,使相同实例的图像和三维模型的特征相似。图像模型配对模块旨在拉近相同实例的图像和三维模型,推远不同实例的图像和三维模型。基于对比学习在图像域中增加特征增强模块,提高图像域内特征区分性。试验结果表明,提出的算法在3个常见数据集Pix3D、 CompCars和StanfordCars上取得良好效果,检索精度较现有经典方法提高4.5%。实现图像域和三维模型域对齐,减小模态差距,提高图像检索三维模型精度。

来源：2025年第2期

《山东大学学报(工学版)》期刊编辑部

查看山东大学学报(工学版)杂志2025年第2期