山东大学学报(工学版)

作者：马常霞,张晨

单位：1.江苏海洋大学计算机工程学院, 江苏 连云港 222005;2. 新加坡国立大学电气与计算机工程学院, 新加坡 117583

关键词：意图分类,槽填充,预训练,双向编码表示,多头注意,

基金：新加坡国家研究基金LTA城市机动性大挑战计划STKinetics自动公交试验(UM01/002)

基于预训练和注意机制的意图分类和语义槽填充,提出一种结合双向长短时记忆(bidirectional long short-term memory, BiLSTM)、条件随机场(conditional random fields, CRF)和注意机制的双向编码(bidirectional encoder representations from transformers, BERT)具有双向编码表示和注意机制的联合模型。该模型无需过多依赖手工标签数据和领域特定的知识或资源,避免了目前普遍存在的弱泛化能力。在自主公交信息查询系统语料库上进行的试验表明,该模型意图分类的准确性和语义槽填充F1值分别达到98%和96.3%,均产生有效改进。

来源：2020年第6期

《山东大学学报(工学版)》期刊编辑部

查看山东大学学报(工学版)杂志2020年第6期