山东大学学报(工学版)

作者：杨巨成,路开奎,王嫄

单位：天津科技大学人工智能学院, 天津 300457

关键词：知识迁移,模型压缩,知识蒸馏,模型轻量化,生成对抗网络,

基金：天津市研究生科研创新资助项目(2022SKYZ370)

为了总结生成对抗网络在知识蒸馏中的应用,探索生成对抗网络在知识蒸馏中的协同机制与优化潜力,本研究开展基于生成对抗网络的知识蒸馏研究综述。概述基于输出层特征的知识蒸馏、基于中间层特征的知识蒸馏、基于关系特征的知识蒸馏、基于结构特征的知识蒸馏4种知识蒸馏研究进展,分析不同知识蒸馏形式的优势和缺点。详细介绍基于生成对抗网络的知识蒸馏分类和相关研究进展。针对生成对抗网络的知识蒸馏技术存在的局限性,给出未来优化方向和拓展应用方向。

来源：2025年第4期

《山东大学学报(工学版)》期刊编辑部

查看山东大学学报(工学版)杂志2025年第4期