山东大学学报(工学版)

作者：杨修远,彭韬,杨亮,林鸿飞

单位：大连理工大学计算机科学与技术学院, 辽宁 大连 116023

关键词：知识蒸馏,自适应,多领域,情感分析,深度学习,

基金：国家重点研发计划资助项目(2018YFC0830604);国家自然科学基金资助项目(61702080,61806038);中央高校基本科研业务费专项(DUT19RC(4)016);中国博士后基金资助项目(2018M631788)

提出一种自适应多领域知识蒸馏框架,有效地加速推理和减小模型参数同时确保模型性能,采用知识蒸馏方法对情感分析问题进行研究。针对每个特定领域进行知识蒸馏,模型蒸馏涉及词嵌入层蒸馏、编码层蒸馏(注意力蒸馏、隐藏状态蒸馏)、输出预测层蒸馏等多个方面;针对不同领域,学生模型保持相同的编码器,即共享权重,通过不同的领域特定输出层拟合不同的教师模型。在多个公开数据集上的试验结果表明,单领域知识蒸馏使得模型准确度平均提升2.39%,多领域知识蒸馏使得模型准确度平均提升0.5%。与单领域的知识蒸馏相比,该框架增强了学生模型的泛化能力,提升了性能。

来源：2021年第3期

《山东大学学报(工学版)》期刊编辑部

查看山东大学学报(工学版)杂志2021年第3期