一种基于多教师模型的知识蒸馏方法

    公开(公告)号:CN118379568B

    公开(公告)日:2024-09-24

    申请号:CN202410834565.3

    申请日:2024-06-26

    Applicant: 浙江大学

    Abstract: 本发明提供了一种基于多教师模型的知识蒸馏方法,涉及图像处理技术领域,所述方法包括:确定多个教师模型中的主模型,将其他的教师模型作为辅模型;将辅模型的特征方向与主模型对齐,获得对齐特征;将对齐特征沿第二维度与主模型的特征叠加获得扩展特征,其中,扩展特征的特征维度高于主模型或辅模型的维度;对学生模型的中间层进行特征映射,获得映射特征;对扩展特征进行掩码处理,获得第一掩码特征;映射特征进行掩码处理,获得第二掩码特征;根据第一掩码特征和第二掩码特征确定掩码范数方向损失;根据损失函数优化学生模型,通过优化后的学生模型对图片进行分类识别,保证有效减少多教师模型知识蒸馏带来的知识损失。

    一种基于多教师模型的知识蒸馏方法

    公开(公告)号:CN118379568A

    公开(公告)日:2024-07-23

    申请号:CN202410834565.3

    申请日:2024-06-26

    Applicant: 浙江大学

    Abstract: 本发明提供了一种基于多教师模型的知识蒸馏方法,涉及图像处理技术领域,所述方法包括:确定多个教师模型中的主模型,将其他的教师模型作为辅模型;将辅模型的特征方向与主模型对齐,获得对齐特征;将对齐特征沿第二维度与主模型的特征叠加获得扩展特征,其中,扩展特征的特征维度高于主模型或辅模型的维度;对学生模型的中间层进行特征映射,获得映射特征;对扩展特征进行掩码处理,获得第一掩码特征;映射特征进行掩码处理,获得第二掩码特征;根据第一掩码特征和第二掩码特征确定掩码范数方向损失;根据损失函数优化学生模型,通过优化后的学生模型对图片进行分类识别,保证有效减少多教师模型知识蒸馏带来的知识损失。

    通道修剪方法、装置、计算机设备及存储介质

    公开(公告)号:CN115640834A

    公开(公告)日:2023-01-24

    申请号:CN202211363379.3

    申请日:2022-11-02

    Applicant: 浙江大学

    Abstract: 本申请涉及通道修剪方法、装置、计算机设备及存储介质,应用于包含卷积层的神经网络,神经网络应用于图像处理,卷积层包括通道,所述方法包括:根据图像数据,获取卷积层的秩;根据图像数据,获取卷积层的熵;根据卷积层的秩和熵,获取卷积层的总体指标;根据总体指标得到每个卷积层的修剪比;获取卷积层中通道的沙普利值;根据通道的沙普利值和卷积层的修剪比,对卷积层中的通道进行修剪。本发明的通道修剪方法,能通过通道修剪,提高神经网络的性能,从而提高图像处理的效率。

    一种小样本棉花害虫目标检测方法

    公开(公告)号:CN116012711A

    公开(公告)日:2023-04-25

    申请号:CN202310021496.X

    申请日:2023-01-07

    Applicant: 浙江大学

    Abstract: 本发明涉及一种小样本棉花害虫目标检测方法,通过对图像进行随机混合增强处理来有效增强目标其他部位特征的检测能力,提高棉花害虫的检测准确率,并通过骨干网络获得特征信息后,采用不同空洞数的空洞卷积操作获得多尺度特征图,扩大卷积运算的感受野,然后通过施加注意力机制增强局部特征的提取能力,从而能够提取图像中更多棉花害虫的特征信息,增强检测模型的泛化能力,提高小样本目标检测准确性。

Patent Agency Ranking