山东大学学报(工学版)

作者：张俊三,程俏俏,万瑶,朱杰,张世栋

单位：1. 中国石油大学(华东)计算机科学与技术学院, 山东 青岛 266580；2. 浙江大学计算机科学与技术学院, 浙江 杭州 310027；3. 中央司法警官学院信息管理系, 河北 保定 071000；4. 国网山东电科院, 山东 济南 250003

关键词：图像理解任务,医学影像报告生成,共同注意力机制,生成对抗网络,强化学习,

基金：国家自然科学基金资助项目(61873280);河北省自然科学基金青年基金资助项目(F2018511002);中央司法警官学院校级科研资助项目(XYZ201602);河北省高等学校科学技术研究资助项目(Z2019037)

基于图像理解的医学影像报告生成任务与传统的图像理解任务相比, 是一个更加具有挑战的任务。针对该任务, 提出医学影像报告生成对抗网络(medical image report generative adversarial network, MIRGAN)模型。采用共同注意力机制对多个特征区域的视觉特征和语义特征进行综合处理并分别生成对应于这些区域的描述。融合生成对抗网络(generative adversarial network, GAN)和强化学习(reinforcement learning, RL)方法优化生成模型的性能使其输出更高质量的报告。试验结果验证了MIRGAN模型的有效性。

来源：2021年第2期

《山东大学学报(工学版)》期刊编辑部

查看山东大学学报(工学版)杂志2021年第2期