公开(公告)号：CN115311687A

公开(公告)日：2022-11-08

申请号：CN202210951558.2

申请日：2022-08-09

Applicant: 安徽大学

Inventor： 李成龙 ,  李尚泽 ,  鹿安东 ,  黄岩 ,  王亮 ,  程致远

IPC: G06V40/10 ,  G06V10/80 ,  G06V10/74 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供联合令牌和特征对齐的自然语言行人检索方法及系统包括：使用双流特征学习网络中的图像分支提取输入行人图像的视觉特征；使用双流特征学习网络中的文本分支提取输入行人描述的文本特征；对图像和文本分支提取到的全局特征图在特征空间内进行对齐；使用特征空间中对齐的图像全局特征生成令牌序列；在生成令牌序列和真实令牌序列之间进行令牌对齐；对图像和文本特征进行跨模态融合交互；联合令牌和特征对齐的自然语言行人检索模型训练；联合令牌和特征对齐的自然语言行人检索模型测试。本发明解决了歧义性嵌入、复杂度高、依赖预置数据以及模态距离、类内距离优化效果差的技术问题。

公开(公告)号：CN115018884A

公开(公告)日：2022-09-06

申请号：CN202210871982.6

申请日：2022-07-19

Applicant: 安徽大学

Inventor： 李成龙 ,  程致远 ,  鹿安东 ,  张彰 ,  王亮 ,  李尚泽

IPC: G06T7/246 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开一种基于多策略融合树的可见光红外视觉跟踪方法，所述方法包括：获取可见光图像样本和热红外图像样本；将可见光图像样本和热红外图像样本输入至预先训练好的目标跟踪网络模型，目标跟踪网络模型包括可见光模态适配器、热红外模态适配器、融合树网络和实例适配器，各模态对应的适配器包括多个网络层级；融合树网络当前层级的输出特征与各模态对应的适配器当前层级的输出特征进行矩阵相加融合后传入各模态对应的适配器的下一层级网络中；将各模态对应的适配器最后一层级输出的模态特征图拼接后输入实例适配器，预测目标跟踪结果。本发明引入特殊的多策略融合树结构来实现多种不同融合策略的结合，以在复杂场景中获得稳健融合结果。

公开(公告)号：CN115018884B

公开(公告)日：2024-03-15

申请号：CN202210871982.6

申请日：2022-07-19

Applicant: 安徽大学

Inventor： 李成龙 ,  程致远 ,  鹿安东 ,  张彰 ,  王亮 ,  李尚泽

IPC: G06T7/246 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/048

Abstract: 本发明公开一种基于多策略融合树的可见光红外视觉跟踪方法，所述方法包括：获取可见光图像样本和热红外图像样本；将可见光图像样本和热红外图像样本输入至预先训练好的目标跟踪网络模型，目标跟踪网络模型包括可见光模态适配器、热红外模态适配器、融合树网络和实例适配器，各模态对应的适配器包括多个网络层级；融合树网络当前层级的输出特征与各模态对应的适配器当前层级的输出特征进行矩阵相加融合后传入各模态对应的适配器的下一层级网络中；将各模态对应的适配器最后一层级输出的模态特征图拼接后输入实例适配器，预测目标跟踪结果。本发明引入特殊的多策略融合树结构来实现多种不同融合策略的结合，以在复杂场景中获得稳健融合结果。