公开(公告)号：CN117195998A

公开(公告)日：2023-12-08

申请号：CN202311097640.4

申请日：2023-08-29

Applicant: 安徽大学

Inventor： 钱付兰 ,  张崇浩 ,  晏焕钱 ,  苏航 ,  赵姝 ,  张燕平 ,  洪嘉成 ,  陈海

IPC: G06N3/082 ,  G06N3/0464

Abstract: 本发明公开了一种改进的卷积神经网络模型的滤波器软剪枝方法，包括步骤：S1、对神经网络模型参数化设置；S2、对神经网络模型训练更新其参数，对BN层的缩放因子γ施加稀疏惩罚；S3、依据稀疏分布的缩放因子γ对部分卷积层滤波器参数置零；S4、依据参数置零情况进行剪枝，获取轻量化神经网络模型。本发明对神经网络模型中的滤波器软剪枝的流程进行了优化，通过去除软剪枝流程中的预剪枝(Pre‑Pruning)阶段，并结合融合历史梯度的参数优化器，使用不依赖于滤波器参数的剪枝标准(即BN层的缩放因子γ)，解决了软剪枝面对类ReLU激活函数时无法生效的问题，克服现有滤波器软剪枝方法的缺陷，从而发挥出软剪枝方法的潜力，获得更好的神经网络模型性能。

公开(公告)号：CN118587551A

公开(公告)日：2024-09-03

申请号：CN202410225946.1

申请日：2024-02-29

Applicant: 安徽大学 ,  合肥瑞徽人工智能研究院有限公司 ,  安徽省安全人工智能研究院

Inventor： 钱付兰 ,  周立锋 ,  晏焕钱 ,  赵姝 ,  张燕平 ,  苏航 ,  朱金良

IPC: G06V10/82 ,  G06V10/764 ,  G06V10/766 ,  G06V10/80 ,  G06V10/25 ,  G06N3/042 ,  G06N3/045 ,  G06N3/08

Abstract: 本发明公开了一种面向遥感图像旋转目标检测的高精度知识蒸馏方法，其中方法包括S1、构建教师模型和学生模型；S2、计算学生模型分类损失函数值和回归损失函数值；S3、获得各特征层多尺度信息融合特征；S4、利用教师模型构建分类掩码和定位掩码；S5、计算学生模型特征层蒸馏损失函数值和输出层蒸馏损失函数值；S6、计算总损失函数值，优化学生模型。本发明通过利用教师模型的分类和回归信息，构建掩码来捕获教师模型特征重要区域；通过构建特征权衡模块，协调注意力特征和原始特征的比重，让学生模型可以学习目标多尺度的知识，从而保证学生模型轻量化后的精度，减少模型参数量、计算量和推理时间。