基于自标注训练样本的三维目标检测方法、系统及装置

    公开(公告)号:CN112257605A

    公开(公告)日:2021-01-22

    申请号:CN202011146504.6

    申请日:2020-10-23

    Inventor: 张兆翔 张驰 杨振

    Abstract: 本发明属于计算机视觉、模式识别和机器学习领域,具体涉及了一种基于自标注训练样本的三维目标检测方法、系统及装置,旨在解决真实带标签数据获取难度大、代价高,而虚拟数据训练的模型无法适应真实场景的问题。本发明包括:通过训练好的模型进行输入图像序列的三维目标检测,其中,模型训练方法包括:向CARLA模拟器中嵌入高质量的模型;通过基于激光雷达引导的采样算法对CARLA模拟器生成的点云数据样本进行增强;以三维目标检测器VoxelNet为基础,通过引入体素级别和锚点级别的领域自适应模块进行领域偏移的对齐,并且增加一致性约束来搭建领域自适应的三维目标检测器DA‑VoxelNet。本发明使得由虚拟数据训练的三维目标检测模型能够适应真实场景,检测效果好、精度高。

    一种连贯性增强的图像段落语义描述方法

    公开(公告)号:CN118734857A

    公开(公告)日:2024-10-01

    申请号:CN202410552569.2

    申请日:2024-05-07

    Inventor: 鉴萍 杨振 赵红霞

    Abstract: 本发明涉及一种连贯性增强的图像段落语义描述方法,属于自然语言处理与计算机视觉技术领域。首先利用预训练的视觉模型提取图像中显著物体的特征向量。其次,在视觉信息增强中,先通过聚合层将特征向量的数量聚合为句子描述的数量,实现视觉特征向量直接和句子描述对齐,再通过投影层将特征向量投影到描述生成空间中。再次,利用融合门机制融合上一句已生成描述的语义向量和投影后的特征向量。最后,构建句子级损失和单词级损失,利用梯度下降方法更新模型参数。本发明有效提升了图像段落语义描述的连贯性,弥补了基于传统图像段落语义描述模型导致的段落文本不连贯、缺失图像细节等问题,为进一步提升图像段落语义描述系统性能提供了指导和参考。

    基于自标注训练样本的三维目标检测方法、系统及装置

    公开(公告)号:CN112257605B

    公开(公告)日:2021-07-23

    申请号:CN202011146504.6

    申请日:2020-10-23

    Inventor: 张兆翔 张驰 杨振

    Abstract: 本发明属于计算机视觉、模式识别和机器学习领域,具体涉及了一种基于自标注训练样本的三维目标检测方法、系统及装置,旨在解决真实带标签数据获取难度大、代价高,而虚拟数据训练的模型无法适应真实场景的问题。本发明包括:通过训练好的模型进行输入图像序列的三维目标检测,其中,模型训练方法包括:向CARLA模拟器中嵌入高质量的模型;通过基于激光雷达引导的采样算法对CARLA模拟器生成的点云数据样本进行增强;以三维目标检测器VoxelNet为基础,通过引入体素级别和锚点级别的领域自适应模块进行领域偏移的对齐,并且增加一致性约束来搭建领域自适应的三维目标检测器DA‑VoxelNet。本发明使得由虚拟数据训练的三维目标检测模型能够适应真实场景,检测效果好、精度高。

Patent Agency Ranking