公开(公告)号：CN113554084B

公开(公告)日：2024-03-01

申请号：CN202110806449.7

申请日：2021-07-16

Applicant: 华侨大学 ,  厦门亿联网络技术股份有限公司 ,  星宸科技股份有限公司

Inventor： 曾焕强 ,  胡浩麟 ,  陈婧 ,  朱建清 ,  冯万健 ,  王志亮

IPC: G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/082

Abstract: 本发明实例公开了一种基于剪枝和轻量卷积的车辆再辨识模型压缩方法及系统，对待压缩的车辆再辨识模型的骨干网络进行预训练，对预训练完毕的骨干网络进行剪枝，并通过重训练恢复精度，对车辆再辨识模型中特征金字塔模块进行轻量化卷积设计，将紧凑的骨干网络与轻量化的特征金字塔模块结合，骨干网络提取特征后，特征金字塔模块进行特征融合，得到基于特征金字塔联合表示的轻量化车辆再辨识模型。本发明以复杂高性能的车辆再辨识模型作为输入模型，其骨干网络中重要性较低的卷积核被自动选择和剪枝，并改进其特征金字塔模块中的卷积方式，有效降低参数量和计算量，产生精度相当但较为紧凑的模型。

公开(公告)号：CN113554084A

公开(公告)日：2021-10-26

申请号：CN202110806449.7

申请日：2021-07-16

Applicant: 华侨大学 ,  厦门亿联网络技术股份有限公司 ,  星宸科技股份有限公司

Inventor： 曾焕强 ,  胡浩麟 ,  陈婧 ,  朱建清 ,  冯万健 ,  王志亮

IPC: G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明实例公开了一种基于剪枝和轻量卷积的车辆再辨识模型压缩方法及系统，对待压缩的车辆再辨识模型的骨干网络进行预训练，对预训练完毕的骨干网络进行剪枝，并通过重训练恢复精度，对车辆再辨识模型中特征金字塔模块进行轻量化卷积设计，将紧凑的骨干网络与轻量化的特征金字塔模块结合，骨干网络提取特征后，特征金字塔模块进行特征融合，得到基于特征金字塔联合表示的轻量化车辆再辨识模型。本发明以复杂高性能的车辆再辨识模型作为输入模型，其骨干网络中重要性较低的卷积核被自动选择和剪枝，并改进其特征金字塔模块中的卷积方式，有效降低参数量和计算量，产生精度相当但较为紧凑的模型。

公开(公告)号：CN114239861A

公开(公告)日：2022-03-25

申请号：CN202111543069.5

申请日：2021-12-16

Applicant: 华侨大学

Inventor： 曾焕强 ,  胡浩麟 ,  陈婧 ,  施一帆 ,  朱建清 ,  黄德天 ,  温廷羲

IPC: G06N20/20 ,  G06V10/778 ,  G06V10/776 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明实例公开了一种基于多教师联合指导量化的网络模型压缩方法及系统，利用模型量化降低深度神经网络的存储开销，提高推理速度；基于在线同步学习的联合训练范式，结合集成学习中对弱学习进行线性组合构建强学习的思想，由多个教师网络对学生网络进行量化感知训练，充分利用教师网络提供的量化梯度信息，以弥补量化压缩造成的性能损失；最后，再以全精度模型作为教师网络，通过离线知识蒸馏进一步训练量化学生网络，最终得到精度不逊于复杂模型的轻量级模型。本发明有效结合了模型量化、知识蒸馏以及集成学习的优势，在实现模型压缩与加速的同时也提升了模型性能。

公开(公告)号：CN114022697A

公开(公告)日：2022-02-08

申请号：CN202111109745.8

申请日：2021-09-18

Applicant: 华侨大学

Inventor： 曾焕强 ,  胡浩麟 ,  陈婧 ,  朱建清 ,  温廷羲 ,  施一帆

IPC: G06V10/764 ,  G06V10/82 ,  G06V10/44 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明实例公开了一种基于多任务学习与知识蒸馏的车辆再辨识方法及系统，利用多任务学习架构使网络同时学习多个相关联任务所需的知识，从而习得表征更丰富的通用特征，提高模型的泛化能力；同时，将多任务学习训练得到的模型作为教师网络，将结构相似、参数量更少的紧凑模型作为学生网络，通过知识蒸馏，利用大型教师网络的内部层间知识对小型学生网络的训练进行监督，得到精度不逊于复杂模型的轻量化模型。本发明针对车辆再辨识的任务特点改进了网络结构与训练范式，既提升了模型性能，也对其进行了有效的压缩与加速。