山东大学学报(工学版)

北大核心,CA,CSCD,WJCI,

国内刊号:37-1391/T

国际刊号:1672-3961

山东大学学报(工学版)杂志2025年第1期:基于跨模态注意力哈希学习的视频片段定位方法

发布日期:

作者:谭智方,董飞,卢鹏宇,潘嘉男,聂秀山,尹义龙

单位:1.山东建筑大学计算机科学与技术学院, 山东 济南 250101;2.山东师范大学新闻与传媒学院, 山东 济南 250014;3.山东大学软件学院, 山东 济南 250100

关键词:视觉理解,视频片段定位,多模态检索,哈希学习,跨模态,

基金:国家自然科学基金资助项目(62176141,62102235);山东省泰山学者资助项目(tsqn202103088);山东省自然科学基金资助项目(ZR2020QF029)

为提升视频片段定位的精度与检索效率,提出基于跨模态注意力哈希学习的视频片段定位方法。将查询语句和原始视频特征通过哈希学习模型转化成简洁的二值哈希码;使用软注意力模块对查询语句中的关键单词进行加权,将视频哈希码和查询语句哈希码输入一个增强的跨模态注意力模型中,挖掘视觉和语言之间的语义关系;设计一个得分预测和位置预测网络,对查询时刻的起始时间戳进行定位。在2个公开数据集上对所提方法进行试验验证,结果表明所提方法对检索效率提升约7倍。

来源:2025年第1期

《山东大学学报(工学版)》期刊编辑部

查看山东大学学报(工学版)杂志2025年第1期

声明

严正声明:本站非期刊官网,非中介代理。

本站仅提供学术规范服务:快速预审、润色编辑服务、中英文查重、降重、去重服务、推荐合适的期刊投稿等学术规范服务。 如需提供学术规范服务请联系在线编辑。

联系我们

  • 地址:山东省济南市山大南路27号
  • 电话:0531-88366735
  • E-mail:xbgxb@sdu.edu.cn

咨询工作人员