公开(公告)号：CN116630850A

公开(公告)日：2023-08-22

申请号：CN202310555213.X

申请日：2023-05-17

Applicant: 南京信息工程大学

Inventor： 胡昭华 ,  刘浩男 ,  林潇 ,  王莹

IPC: G06V20/40 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于多注意力任务融合与边界框编码的孪生目标跟踪方法，首先构建孪生目标跟踪网络，第一多注意力融合模块对模板特征提取分支进行通道注意力和空间注意力增强操作，第二多注意力融合模块对搜索特征提取分支进行通道注意力和空间注意力的增强操作，输出特征共同进入互相关匹配网络与边界框编码特征进行融合，将融合得特征输入分类回归网络得到分类得分图和回归预测图。本发明通过将特征提取网络分为模板特征提取分支和搜索特征提取分支，再利用特征提取网络中加入得多注意力融合模块进行通道注意力和空间注意力的预处理，能够很好地应对遮挡、视野消失、运动模糊、背景杂乱、尺度变化等问题，具备良好跟踪性能。

公开(公告)号：CN115116032B

公开(公告)日：2025-01-14

申请号：CN202210681167.3

申请日：2022-06-15

Applicant: 南京信息工程大学

Inventor： 胡昭华 ,  王莹 ,  林潇 ,  刘浩男

IPC: G06V20/58 ,  G06V10/82 ,  G06V10/774 ,  G06N3/0464 ,  G06N3/082

Abstract: 本发明公开一种基于改进YOLOv5的交通标志检测方法，基于YOLOv5神经网络、以及包含标签的交通图像的交通标志数据集。在YOLOv5神经网络的主干部分添加特征增强FEM模块和区域上下文模块，在输出端部分之后增加CIoU‑NMS模块，依次顺序连接改进YOLOv5神经网络主干部分、颈部、改进YOLOv5神经网络输出部分，构建并训练以交通标志样本图像为输入、交通标志样本图像所对应的真值标签为输出改进YOLOv5的交通标志检测模型。应用交通标志检测模型，获得目标交通标志图像对应的标签。本发明提出了新的区域上下文模块和特征增强模块，用在YOLOv5检测算法中，交通标志检测性能有所提升。

公开(公告)号：CN115937249A

公开(公告)日：2023-04-07

申请号：CN202211120456.2

申请日：2022-09-15

Applicant: 南京信息工程大学

Inventor： 胡昭华 ,  林潇 ,  刘浩男 ,  王莹

IPC: G06T7/246 ,  G06V10/25 ,  G06V10/74 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明公开了一种基于孪生网络的多预测输出对齐的目标跟踪方法及装置，包括：获取视频；对所述视频进行预处理，提取得到模板图像Z和搜索区域图像X；其中将视频序列首帧提取的以目标为中心的图像作为模板图像Z，将后续帧中以上一帧预测目标位置为中心的图像作为搜索区域图像X；将模板图像Z和搜索区域图像X输入预训练好的目标跟踪网络模型；根据所述目标跟踪网络模型的输出，确定目标跟踪结果。所述目标跟踪网络模型通过补充模块能够对基础跟踪器预测的目标边界框进行微调，生成能够紧密包裹目标的边界框，进而进行更精准的目标区域预测。

公开(公告)号：CN115546252A

公开(公告)日：2022-12-30

申请号：CN202211344364.2

申请日：2022-10-31

Applicant: 南京信息工程大学

Inventor： 胡昭华 ,  刘浩男 ,  林潇 ,  王莹

IPC: G06T7/246 ,  G06V20/40 ,  G06V10/40 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于互相关匹配增强孪生网络的目标跟踪方法及系统，包括：对所采集的待跟踪目标的视频序列进行裁剪，获得所有帧图像的模板图像和搜索图像；将所述模板图像和搜索图像输入至构建并训练好的互相关匹配增强孪生网络中，提取模板图像和搜索图像的模板特征和搜索特征；对模板特征和搜索特征进行互相关匹配得到互相关特征；对模板图像进行边界框信息编码得到边界框编码特征；对互相关特征与边界框编码特征的融合特征进行分类计算和回归计算，得到相应的分类得分图和回归预测图；根据分类得分图中响应值最大的位置，结合回归预测图的偏移量，获得目标在视频序列帧上的最终位置。本发明对复杂场景变化跟踪的适应能力强且精度高。

公开(公告)号：CN115116032A

公开(公告)日：2022-09-27

申请号：CN202210681167.3

申请日：2022-06-15

Applicant: 南京信息工程大学

Inventor： 胡昭华 ,  王莹 ,  林潇 ,  刘浩男

IPC: G06V20/58 ,  G06V10/82 ,  G06V10/774 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开一种基于改进YOLOv5的交通标志检测方法，基于YOLOv5神经网络、以及包含标签的交通图像的交通标志数据集。在YOLOv5神经网络的主干部分添加特征增强FEM模块和区域上下文模块，在输出端部分之后增加CIoU‑NMS模块，依次顺序连接改进YOLOv5神经网络主干部分、颈部、改进YOLOv5神经网络输出部分，构建并训练以交通标志样本图像为输入、交通标志样本图像所对应的真值标签为输出改进YOLOv5的交通标志检测模型。应用交通标志检测模型，获得目标交通标志图像对应的标签。本发明提出了新的区域上下文模块和特征增强模块，用在YOLOv5检测算法中，交通标志检测性能有所提升。