公开(公告)号：CN114611670A

公开(公告)日：2022-06-10

申请号：CN202210254811.9

申请日：2022-03-15

Applicant: 重庆理工大学

Inventor： 李刚 ,  高文建 ,  徐传运 ,  张杨 ,  刘欢 ,  王影 ,  郑宇 ,  徐昊 ,  张晴 ,  宋志瑶 ,  马莹丽 ,  曹铠洪 ,  陈志远 ,  朱鑫 ,  李梦伟 ,  白南兰 ,  陈鹏 ,  孙成杰 ,  王克亚

IPC: G06N3/04 ,  G06N3/08 ,  G06Q50/20

Abstract: 本发明涉及知识蒸馏技术领域，具体涉及一种基于师生协同的知识蒸馏方法，包括：构建经过预先训练的教师网络以及具有多层级的分支输出的学生网络；将训练数据分别输入教师网络和学生网络，得到教师网络输出的概率分布以及各个分支输出的概率分布和特征；计算各个分支的知识蒸馏损失和自蒸馏损失；然后通过各个分支的知识蒸馏损失和自蒸馏损失计算对应的整体损失函数，并更新学生网络的参数；对学生网络各个分支输出的概率分布进行融合，得到对应的最终概率分布；重复上述步骤，直至学生网络训练至收敛。本发明能够通过教师网络和学生网络自身来协同优化和训练学生网络，使得不增加教师网络的复杂度并能够基于学生网络的输出进行自监督和自学习。