山东大学学报(工学版)

作者：陈晓江,杨晓奇,陈广豪,刘伍颖

单位：1.广东开放大学揭阳分校信息科, 广东 揭阳 522095;2.广东外语外贸大学信息科学与技术学院, 广东 广州 510006;3.广州软件学院软件工程系, 广东 广州 510990;4.鲁东大学山东省语言资源开发与应用重点实验室, 山东 烟台 264025;5.广东外语外贸大学外国语言学及应用语言学研究中心, 广东 广州 510420

关键词：短文本分类,BERT-BL,BERT,宽度学习,高精度,

基金：教育部新文科研究与改革实践资助项目(2021060049);山东省研究生教育教学改革研究资助项目(SDYJG21185);山东省本科教学改革研究重点资助项目(Z2021323);教育部人文社会科学研究青年基金资助项目(20YJC740062);上海市哲学社会科学“十三五”规划课题资助项目(2019BYY028);教育部人文社会科学研究规划基金资助项目(20YJAZH069);广州市科技计划资助项目(202201010061)

针对短文本分类任务效率低下和精度不高的问题,提出混合基于Transformer的双向编码器表示和宽度学习分类器(hybrid bidirectional encoder representations from transformer and broad learning, BERT-BL)的高效率和高精度文本分类模型。对基于Transformer的双向编码器表示(bidirectional encoder representation from transformer, BERT)进行微调以更新BERT的参数。使用微调好的BERT将短文本映射成对应的词向量矩阵,将词向量矩阵输入宽度学习(broad learning, BL)分类器中以完成分类任务。试验结果显示,BERT-BL模型在3个公共数据集上的准确率均达到最优;所需要的时间仅为基线模型支持向量机(support vector machine, SVM)、长短期记忆网络(long short-term memory, LSTM)、最小p范数宽度学习(minimum p-norm broad learning, p-BL)和BERT的几十分之一,而且训练过程不需要高性能显卡的参与。通过对比分析,BERT-BL模型不仅在短文本任务中具有良好的性能,而且能节省大量训练时间成本。

来源：2024年第4期

《山东大学学报(工学版)》期刊编辑部

查看山东大学学报(工学版)杂志2024年第4期