-
公开(公告)号:CN116311363A
公开(公告)日:2023-06-23
申请号:CN202310211000.5
申请日:2023-03-07
Applicant: 西北工业大学
Abstract: 本发明涉及一种基于动态网络特征融合和YOLOv5的RGB‑红外多源图像目标检测方法,设计了一种基于动态网络特征融合和YOLOv5的RGB‑红外多源图像目标检测模型MDFF‑YOLOv5。本发明基于单阶段可见光YOLOv5目标检测模型,设计了多源特征提取模块,实现了RGB‑红外图像对多尺度特征提取;受注意力机制和专家模型动态网络的启发,构建了动态网络多源特征融合模块,实现了通道级、空间级和上下文长距离联系的多源特征动态融合,提高了模型的鲁棒性。精度方面,本发明的MDFF‑YOLOv5在KAIST多源行人检测数据集上全天平均对数漏检率为6.97%,检测速度达19.61FPS。
-
公开(公告)号:CN116665036B
公开(公告)日:2024-09-17
申请号:CN202310211247.7
申请日:2023-03-07
Applicant: 西北工业大学
IPC: G06V20/10 , G06V10/764 , G06V10/774 , G06V10/80 , G06V10/40 , G06T7/10
Abstract: 本发明涉及一种基于单模态辅助监督和YOLOv5的RGB‑红外多源图像目标检测方法,设计了一种单模态辅助监督的RGB‑红外多源YOLOv5图像目标检测模型MSAS‑YOLOv5。该模型使用兼顾了速度和精度的YOLOv5作为基础方法,高效地提取RGB可见光和热红外图像的多层级特征。设计了单模态辅助监督的方法,将语义分割辅助任务和单模态检测辅助任务结合。为可见光和热红外模态设置了独立的目标检测预测支路,并使用独立的可见光热红外模态标注对两个模态的预测分别进行监督。精度方面,本发明的MSAS‑YOLOv5在KAIST数据集上达到5.89%的平均对数漏检率,对于目标检测物体有更小的漏检程度更大的监督。FPS达到了24.39,比主流多源目标检测方法有更快的速度。
-
公开(公告)号:CN116597177B
公开(公告)日:2024-08-30
申请号:CN202310216711.1
申请日:2023-03-08
Applicant: 西北工业大学
IPC: G06V10/75 , G06V10/42 , G06V10/80 , G06N3/084 , G06N3/0464
Abstract: 本发明涉及一种基于双分支并行深度交互的多源图像块匹配方法,属于图像处理技术领域。设计了一种高精度的多源图像块匹配网络模型,使用由孪生和伪孪生构成的四分支网络提取跨模态图像间的共有特征和私有特征。使用尺度通道注意力模块对不同尺度特征分别进行编码,每个尺度都通过通道注意力提取跨模态一致性特征;同时设计空间相关性特征增强模块学习不同模态间特征的相关度。最后采用深度交互融合与预测模块对空间和通道特征融合并预测匹配结果。本发明的SCCA‑Net在VL‑CMIM数据集上FPR95的平均值可以达到3.95,性能远远优于其他方法。
-
公开(公告)号:CN115906935A
公开(公告)日:2023-04-04
申请号:CN202211299553.2
申请日:2022-10-23
Applicant: 西北工业大学
IPC: G06N3/0464 , G06N3/048 , G06N3/063
Abstract: 本发明公开了一种并行可微分神经网络架构搜索方法,首先构建带有二进制门的双路径超级网络;然后利用sigmoid函数,进行搜索空间连续化;接下来运用梯度下降的方式对所述超级网络进行优化,得到最优基本单元,包括普通单元和归约单元;最后利用得到的基本单元进行堆叠,得到所需的深度神经网络,对深度神经网络进行重训练至网络收敛。通过设计快速并行的可微分神经网络架构搜索方法,显著提高了神经网络架构搜索的速度和性能。
-
公开(公告)号:CN119339085B
公开(公告)日:2025-03-07
申请号:CN202411866006.7
申请日:2024-12-18
Applicant: 西北工业大学
Abstract: 本申请涉及深度学习技术领域,特别涉及一种基于层级共享架构搜索的轻量级RGB‑D图像语义分割方法,包括:构建并预训练双分支轻量级骨干网络;构建适用于RGB‑D图像语义分割的分层的单元级搜索空间,最终得到跨模态多尺度特征自适应融合网络;将双分支轻量级骨干网络的第三层、第四层和第五层的输出,输入至跨模态多尺度特征自适应融合网络中进行搜索,并使用梯度下降的优化算法进行优化,得到最优的跨模态多尺度特征自适应融合网络;将双分支轻量级骨干网络的第三层、第四层和第五层的输出,输入至最优的跨模态多尺度特征自适应融合网络进行重新训练,得到对多模态输入图像的语义分割结果。该方法实现了语义分割精度与速度之间的平衡。
-
公开(公告)号:CN116563528A
公开(公告)日:2023-08-08
申请号:CN202310217739.7
申请日:2023-03-08
Applicant: 西北工业大学
IPC: G06V10/26 , G06V10/42 , G06V10/80 , G06N3/084 , G06N3/0464
Abstract: 本发明涉及一种神经网络架构搜索的双模态图像协同语义分割方法,属于计算机视觉技术领域。设计了双模态图像协同语义分割模型,包括模态A图像编码器和模态B图像编码器和一个解码器;所述的方法包括构建适用于双模态图像语义分割的搜索空间,将不同模态的模态A图像和模态B图像输入到所述的搜索空间中进行搜索,利用归一化指数函数对搜索空间进行连续化,利用梯度下降的方式对网络进行优化;对优化后的网络进行解码得到最优的适用于双模态图像的语义分割网络;将模态A图像和模态B图像输入到步骤3解码得到的语义分割网络进行重新训练,得到最终的双模态图像语义分割网络,利用双模态图像语义分割网络对图像进行分割。
-
公开(公告)号:CN115906935B
公开(公告)日:2024-10-29
申请号:CN202211299553.2
申请日:2022-10-23
Applicant: 西北工业大学
IPC: G06N3/0464 , G06N3/048 , G06N3/063
Abstract: 本发明公开了一种并行可微分神经网络架构搜索方法,首先构建带有二进制门的双路径超级网络;然后利用sigmoid函数,进行搜索空间连续化;接下来运用梯度下降的方式对所述超级网络进行优化,得到最优基本单元,包括普通单元和归约单元;最后利用得到的基本单元进行堆叠,得到所需的深度神经网络,对深度神经网络进行重训练至网络收敛。通过设计快速并行的可微分神经网络架构搜索方法,显著提高了神经网络架构搜索的速度和性能。
-
公开(公告)号:CN116563528B
公开(公告)日:2024-09-27
申请号:CN202310217739.7
申请日:2023-03-08
Applicant: 西北工业大学
IPC: G06V10/26 , G06V10/42 , G06V10/80 , G06N3/084 , G06N3/0464
Abstract: 本发明涉及一种神经网络架构搜索的双模态图像协同语义分割方法,属于计算机视觉技术领域。设计了双模态图像协同语义分割模型,包括模态A图像编码器和模态B图像编码器和一个解码器;所述的方法包括构建适用于双模态图像语义分割的搜索空间,将不同模态的模态A图像和模态B图像输入到所述的搜索空间中进行搜索,利用归一化指数函数对搜索空间进行连续化,利用梯度下降的方式对网络进行优化;对优化后的网络进行解码得到最优的适用于双模态图像的语义分割网络;将模态A图像和模态B图像输入到步骤3解码得到的语义分割网络进行重新训练,得到最终的双模态图像语义分割网络,利用双模态图像语义分割网络对图像进行分割。
-
公开(公告)号:CN116665036A
公开(公告)日:2023-08-29
申请号:CN202310211247.7
申请日:2023-03-07
Applicant: 西北工业大学
IPC: G06V20/10 , G06V10/764 , G06V10/774 , G06V10/80 , G06V10/40 , G06T7/10
Abstract: 本发明涉及一种基于单模态辅助监督和YOLOv5的RGB‑红外多源图像目标检测方法,设计了一种单模态辅助监督的RGB‑红外多源YOLOv5图像目标检测模型MSAS‑YOLOv5。该模型使用兼顾了速度和精度的YOLOv5作为基础方法,高效地提取RGB可见光和热红外图像的多层级特征。设计了单模态辅助监督的方法,将语义分割辅助任务和单模态检测辅助任务结合。为可见光和热红外模态设置了独立的目标检测预测支路,并使用独立的可见光热红外模态标注对两个模态的预测分别进行监督。精度方面,本发明的MSAS‑YOLOv5在KAIST数据集上达到5.89%的平均对数漏检率,对于目标检测物体有更小的漏检程度更大的监督。FPS达到了24.39,比主流多源目标检测方法有更快的速度。
-
公开(公告)号:CN119339085A
公开(公告)日:2025-01-21
申请号:CN202411866006.7
申请日:2024-12-18
Applicant: 西北工业大学
Abstract: 本申请涉及深度学习技术领域,特别涉及一种基于层级共享架构搜索的轻量级RGB‑D图像语义分割方法,包括:构建并预训练双分支轻量级骨干网络;构建适用于RGB‑D图像语义分割的分层的单元级搜索空间,最终得到跨模态多尺度特征自适应融合网络;将双分支轻量级骨干网络的第三层、第四层和第五层的输出,输入至跨模态多尺度特征自适应融合网络中进行搜索,并使用梯度下降的优化算法进行优化,得到最优的跨模态多尺度特征自适应融合网络;将双分支轻量级骨干网络的第三层、第四层和第五层的输出,输入至最优的跨模态多尺度特征自适应融合网络进行重新训练,得到对多模态输入图像的语义分割结果。该方法实现了语义分割精度与速度之间的平衡。
-
-
-
-
-
-
-
-
-