公开(公告)号：CN119478355A

公开(公告)日：2025-02-18

申请号：CN202411522575.X

申请日：2024-10-28

Applicant: 桂林电子科技大学

Inventor： 杨泽超 ,  陈光喜 ,  唐宇涛 ,  邹泽萍 ,  任婕 ,  王文颢 ,  邱睿 ,  徐硕江 ,  黄杰 ,  刘助水 ,  刘国华

IPC: G06V10/25 ,  G06V10/80 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0499

Abstract: 本发明公开了一种基于局部到全局多模态融合的3D目标检测方法，方法包括：首先获取点云及其关联的六视图图像，采用极坐标采样技术对点云进行密集化处理，并通过3D主干网络生成不同下采样率的体素特征，利用区域建议网络生成初始3D建议框；同时，使用2D主干网络从六视图图像中提取密集的语义图像特征。在多模态融合阶段，局部融合模块和全局融合模块协同工作，将多层次体素特征、语义图像特征、初始3D建议框以及原始点云的位置信息自适应地整合在一起，并通过动态聚合模块实现局部与全局融合特征间的信息交互。本发明利用局部到全局的跨模态融合，整合细粒度和整体特征，显著提升了3D目标检测性能。

公开(公告)号：CN119559628A

公开(公告)日：2025-03-04

申请号：CN202411604366.X

申请日：2024-11-11

Applicant: 桂林电子科技大学

Inventor： 陈光喜 ,  杨泽超 ,  唐宇涛 ,  任婕 ,  王文颢 ,  邱睿 ,  徐硕江 ,  刘国华 ,  刘助水 ,  邹泽萍

IPC: G06V20/64 ,  G06V10/20 ,  G06V10/25 ,  G06V10/44 ,  G06V10/75 ,  G06V10/74 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464

Abstract: 本发明公开了一种基于框匹配的鲁棒多模态3D目标检测方法，方法包括：首先，从通过Polar Sampling处理后的密集化LiDAR点云和多视角图像中分别提取特征，生成3D和2D候选框。通过学习3D与2D候选框间的对应关系，减少了对精确校准的依赖，实现了高效的多模态特征融合。该过程包含两个层级的匹配：视图级别匹配确定最相关的图像视图特征，提案级别匹配则建立3D与2D候选框的精确对应。基于匹配的融合模块结合这些候选框的ROI特征，生成最终预测3D框。本发明通过框级匹配实现跨模态特征对齐，不仅整合了细粒度和整体特征，还显著增强了系统应对传感器异步、位置偏移及图像退化等实际问题的能力，从而大幅提升了3D目标检测的稳定性和安全性。