山东大学学报(工学版)

作者：杨霄,袭肖明,李维翠,杨璐

单位：1.山东建筑大学计算机科学与技术学院, 山东 济南 250101;2.山东省科学技术情报研究院, 山东 济南 250101

关键词：乳腺肿瘤,多模态融合,先验知识,层次化双重注意力网络,深度学习,

基金：山东省自然科学基金重大基础研究项目(ZR2021ZD15);山东省高等学校青创科技支持计划创新团队项目(2021KJ036)

为解决现有多模态图像融合方法忽略临床先验知识的利用,且多模态之间的信息交互不充分等问题,提出基于层次化双重注意力网络的乳腺多模态图像分类方法,引入新的先验学习模块,有效挖掘和利用临床先验,提升单模态特征的区分性。设计层次化的双重注意力模块,利用注意力机制同时增强全局模态间通道特征和局部模态内特征的区分性信息,增强模态间的信息交互,进一步提升多模态融合的分类性能。试验结果表明,与其他方法对比,提出的模型能够取得更好的性能,在受试者工作特征曲线下面积、准确性、特异性和灵敏度分别达到为82.5%、83.3%、80.0%和85.0%。结果证明建立层次化双重注意力网络预测乳腺肿瘤良恶性可行。

来源：2022年第3期

《山东大学学报(工学版)》期刊编辑部

查看山东大学学报(工学版)杂志2022年第3期