公开(公告)号：CN117391983B

公开(公告)日：2025-01-10

申请号：CN202311405386.X

申请日：2023-10-26

Applicant: 安徽大学

Inventor： 卢一相 ,  龚代维 ,  高清维 ,  竺德 ,  孙冬 ,  赵大卫

IPC: G06T5/50 ,  G06T3/4038 ,  G06V10/25 ,  G06V10/42 ,  G06V10/44 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464

Abstract: 本申请提供一种红外图像与可见光图像融合方法，其包括：将红外图像与可见光图像分别输入至单模态特征提取分支网络；利用残差连接的特征提取模块获得红外特征以及可见光特征；混合注意力机制模块运算步骤；获得单模态红外特征与单模态可见光特征；获得多模态红外特征以及多模态可见光特征；混合模态特征提取步骤；判断单模态特征提取分支网络的级数是否小于预设级数，若是，循环混合注意力机制模块运算步骤至混合模态特征提取步骤，若否，将最后一级卷积得到的单模态红外特征以及单模态可见光特征与在最后一层Transformer模块中得到的多模态红外特征与多模态可见光特征分别相加之后再进行拼接；将拼接后的特征输入至解码器网络生成融合图像。

公开(公告)号：CN117391983A

公开(公告)日：2024-01-12

申请号：CN202311405386.X

申请日：2023-10-26

Applicant: 安徽大学

Inventor： 卢一相 ,  龚代维 ,  高清维 ,  竺德 ,  孙冬 ,  赵大卫

IPC: G06T5/50 ,  G06T3/4038 ,  G06V10/25 ,  G06V10/42 ,  G06V10/44 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464

Abstract: 本申请提供一种红外图像与可见光图像融合方法，其包括：将红外图像与可见光图像分别输入至单模态特征提取分支网络；利用残差连接的特征提取模块获得红外特征以及可见光特征；混合注意力机制模块运算步骤；获得单模态红外特征与单模态可见光特征；获得多模态红外特征以及多模态可见光特征；混合模态特征提取步骤；判断单模态特征提取分支网络的级数是否小于预设级数，若是，循环混合注意力机制模块运算步骤至混合模态特征提取步骤，若否，将最后一级卷积得到的单模态红外特征以及单模态可见光特征与在最后一层Transformer模块中得到的多模态红外特征与多模态可见光特征分别相加之后再进行拼接；将拼接后的特征输入至解码器网络生成融合图像。