-
公开(公告)号:CN113848884A
公开(公告)日:2021-12-28
申请号:CN202111043186.5
申请日:2021-09-07
Applicant: 华侨大学
IPC: G05D1/02
Abstract: 本发明公开一种基于特征融合和时空约束的无人驾驶工程机械决策方法,包括:采集工程机械行驶图像、三维点云数据和决策所需的数据,建立基于卷积模块和多头自注意力模块相融合的时空决策网络,多头自注意力模块提取图像全局特征,卷积模块提取局部特征,LSTM网络提取时间特征,与PointNet特征提取网络获得的点云特征和全局规划算法生成的规划指令进行融合,构建时空约束网络的框架。根据采集的双目图像和点云数据,全局路径规划算法的规划指令,时空决策网络直接输出左右履带电信号值传输到工程机械控制系统,从而实现行驶。本发明根据双目图像提取时空特征,考虑了图像前后帧之间的关系,再与点云特征进行特征融合,弥补了单一传感器获取信息失效和不足的情况,可以保证工程机械安全而可靠的行驶。
-
公开(公告)号:CN114550132B
公开(公告)日:2024-09-10
申请号:CN202210117673.X
申请日:2022-02-08
Applicant: 华侨大学
IPC: G06V20/58 , G06V10/764 , G06V10/56 , G01S7/48 , G05D1/43
Abstract: 本发明提供了一种自动调节清扫车及其方法、装置、设备、介质,包括:获取马路图像,对马路图像进行提取,生成物体类别信息;获取原始点云数据,将原始点云数据划分四份,进行预处理,生成物体的形状和尺寸信息;对摄像机坐标系和激光雷达坐标系进行比较,确定摄像机和激光雷达坐标系位置关系;根据位置关系、形状和尺寸信息,识别原始点云数据与类别信息形状对应的物体种类;对物体种类和马路图像进行映射,生成距离信息;根据物体种类和距离信息对物体定位,控制车速对物体进行清扫,根据形状信息和尺寸信息控制扫盘转速、风机吸力和水泵流量,实现道路的清扫。旨在解决现有清扫车方案存在调节清扫作业状态单一,效果差,耗费人力财力的问题。
-
公开(公告)号:CN113848884B
公开(公告)日:2023-05-05
申请号:CN202111043186.5
申请日:2021-09-07
Applicant: 华侨大学
IPC: G05D1/02
Abstract: 本发明公开一种基于特征融合和时空约束的无人驾驶工程机械决策方法,包括:采集工程机械行驶图像、三维点云数据和决策所需的数据,建立基于卷积模块和多头自注意力模块相融合的时空决策网络,多头自注意力模块提取图像全局特征,卷积模块提取局部特征,LSTM网络提取时间特征,与PointNet特征提取网络获得的点云特征和全局规划算法生成的规划指令进行融合,构建时空约束网络的框架。根据采集的双目图像和点云数据,全局路径规划算法的规划指令,时空决策网络直接输出左右履带电信号值传输到工程机械控制系统,从而实现行驶。本发明根据双目图像提取时空特征,考虑了图像前后帧之间的关系,再与点云特征进行特征融合,弥补了单一传感器获取信息失效和不足的情况,可以保证工程机械安全而可靠的行驶。
-
公开(公告)号:CN114550132A
公开(公告)日:2022-05-27
申请号:CN202210117673.X
申请日:2022-02-08
Applicant: 华侨大学
Abstract: 本发明提供了一种自动调节清扫车及其方法、装置、设备、介质,包括:获取马路图像,对马路图像进行提取,生成物体类别信息;获取原始点云数据,将原始点云数据划分四份,进行预处理,生成物体的形状和尺寸信息;对摄像机坐标系和激光雷达坐标系进行比较,确定摄像机和激光雷达坐标系位置关系;根据位置关系、形状和尺寸信息,识别原始点云数据与类别信息形状对应的物体种类;对物体种类和马路图像进行映射,生成距离信息;根据物体种类和距离信息对物体定位,控制车速对物体进行清扫,根据形状信息和尺寸信息控制扫盘转速、风机吸力和水泵流量,实现道路的清扫。旨在解决现有清扫车方案存在调节清扫作业状态单一,效果差,耗费人力财力的问题。
-
-
-