公开(公告)号：CN118379568B

公开(公告)日：2024-09-24

申请号：CN202410834565.3

申请日：2024-06-26

Applicant: 浙江大学

Inventor： 田冠中 ,  马龙华 ,  李润健 ,  陈照锋 ,  苏宏业 ,  刘勇

IPC: G06V10/764 ,  G06V10/74 ,  G06V10/778

Abstract: 本发明提供了一种基于多教师模型的知识蒸馏方法，涉及图像处理技术领域，所述方法包括：确定多个教师模型中的主模型，将其他的教师模型作为辅模型；将辅模型的特征方向与主模型对齐，获得对齐特征；将对齐特征沿第二维度与主模型的特征叠加获得扩展特征，其中，扩展特征的特征维度高于主模型或辅模型的维度；对学生模型的中间层进行特征映射，获得映射特征；对扩展特征进行掩码处理，获得第一掩码特征；映射特征进行掩码处理，获得第二掩码特征；根据第一掩码特征和第二掩码特征确定掩码范数方向损失；根据损失函数优化学生模型，通过优化后的学生模型对图片进行分类识别，保证有效减少多教师模型知识蒸馏带来的知识损失。

公开(公告)号：CN118379568A

公开(公告)日：2024-07-23

申请号：CN202410834565.3

申请日：2024-06-26

Applicant: 浙江大学

Inventor： 田冠中 ,  马龙华 ,  李润健 ,  陈照锋 ,  苏宏业 ,  刘勇

IPC: G06V10/764 ,  G06V10/74 ,  G06V10/778

Abstract: 本发明提供了一种基于多教师模型的知识蒸馏方法，涉及图像处理技术领域，所述方法包括：确定多个教师模型中的主模型，将其他的教师模型作为辅模型；将辅模型的特征方向与主模型对齐，获得对齐特征；将对齐特征沿第二维度与主模型的特征叠加获得扩展特征，其中，扩展特征的特征维度高于主模型或辅模型的维度；对学生模型的中间层进行特征映射，获得映射特征；对扩展特征进行掩码处理，获得第一掩码特征；映射特征进行掩码处理，获得第二掩码特征；根据第一掩码特征和第二掩码特征确定掩码范数方向损失；根据损失函数优化学生模型，通过优化后的学生模型对图片进行分类识别，保证有效减少多教师模型知识蒸馏带来的知识损失。