公开(公告)号：CN114743128A

公开(公告)日：2022-07-12

申请号：CN202210225924.6

申请日：2022-03-09

Applicant: 华侨大学 ,  厦门亿联网络技术股份有限公司

Inventor： 朱建清 ,  孟钰 ,  孔超娜 ,  朱乐怡 ,  蔡彦韬 ,  曾焕强 ,  廖昀 ,  杜吉祥

IPC: G06V20/40 ,  G06V10/30 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06V10/774

Abstract: 本发明公开了一种基于异种神经网络的多模态东北虎再辨识方法及装置，涉及机器视觉技术领域，可应用于跟踪东北虎的活动轨迹调查，对保护濒危的东北虎具有重大意义。本发明的异种神经网络包括用双分支残差神经网络和Transformer网络，其中，双分支残差卷积神经网络用于先对红外图像和可见光图像学习局部特征；Transformer网络对由双分支残差卷积神经网络学得的红外图像和可见光图像的局部特征，利用自注意力机制学习东北虎的全局特征。双分支残差卷积神经网络的各分支结构相同但参数独立，用于处理红外和可见光东北虎图像光谱、分辨率、对比度等特性；而Transformer网络从全局视角学习信息东北虎特征，减少图像模态差异带来的噪声影响，实现高准确率的东北虎再辨识。

公开(公告)号：CN114743128B

公开(公告)日：2024-08-09

申请号：CN202210225924.6

申请日：2022-03-09

Applicant: 华侨大学 ,  厦门亿联网络技术股份有限公司

Inventor： 朱建清 ,  孟钰 ,  孔超娜 ,  朱乐怡 ,  蔡彦韬 ,  曾焕强 ,  廖昀 ,  杜吉祥

IPC: G06V20/40 ,  G06V10/30 ,  G06N3/0464 ,  G06N3/08 ,  G06V10/774

Abstract: 本发明公开了一种基于异种神经网络的多模态东北虎再辨识方法及装置，涉及机器视觉技术领域，可应用于跟踪东北虎的活动轨迹调查，对保护濒危的东北虎具有重大意义。本发明的异种神经网络包括用双分支残差神经网络和Transformer网络，其中，双分支残差卷积神经网络用于先对红外图像和可见光图像学习局部特征；Transformer网络对由双分支残差卷积神经网络学得的红外图像和可见光图像的局部特征，利用自注意力机制学习东北虎的全局特征。双分支残差卷积神经网络的各分支结构相同但参数独立，用于处理红外和可见光东北虎图像光谱、分辨率、对比度等特性；而Transformer网络从全局视角学习信息东北虎特征，减少图像模态差异带来的噪声影响，实现高准确率的东北虎再辨识。