多模态特征融合图像分类方法及在人形机器人中的应用

    公开(公告)号:CN118628802A

    公开(公告)日:2024-09-10

    申请号:CN202410712100.0

    申请日:2024-06-04

    Inventor: 张波 贺亮

    Abstract: 本发明属于图像识别与理解技术领域,具体涉及多模态特征融合图像分类方法及在人形机器人中的应用。本发明提供的多模态特征融合图像分类方法,对深度图像和雷达图像进行分块与填充预处理,然后利用结合三维卷积和异质核卷积的深度图像特征提取模块,以及二维卷积处理雷达图像;运用基于交叉注意力的Transformer网络融合深度图像和雷达图像的特征;通过多尺度Transformer网络进行深层次的特征提取与融合;将融合特征输入分类器以完成物体识别。本发明有效融合了CNN与Transformer的优势,通过多尺度处理和跨模态特征融合,提升分类识别能力,并进一步用于提升人形机器人的环境适应性和导航精度。

    一种使用大型语言模型的机器臂抓握姿态决策的方法

    公开(公告)号:CN118386250A

    公开(公告)日:2024-07-26

    申请号:CN202410800972.2

    申请日:2024-06-20

    Inventor: 封启纪 贺亮 马延

    Abstract: 本发明公开了一种使用大型语言模型的机器臂抓握姿态决策的方法,包括以下步骤:通过场景语义分割模块对真实世界的照片进行分割,得到场景中潜在的物品实例位置的掩码,将掩码与原本的照片进行相交计算,得到照片中物品的实例图像并输入物体识别模块,得到实例图像中物品实例的可能的种类名称以及该物品是该种类的种类概率,将可能的种类名称、种类概率和用户需求一同输入到大型语言模型决策模块,得到决策的物品种类,将决策的物品种类对应掩码的坐标,输入到抓握姿态生成模块中,根据输入的掩码的坐标对所有抓握姿态的像素坐标进行筛选,按照距离最近选择,得到距离输入的掩码的坐标最近的抓握姿态,提升了系统的灵活性和适应性。

    一种人形机器人腿部线性执行器
    3.
    发明公开

    公开(公告)号:CN117508398A

    公开(公告)日:2024-02-06

    申请号:CN202311544029.1

    申请日:2023-11-20

    Inventor: 贺亮 周迎军

    Abstract: 本发明属于传动装置及人形机器人技术领域,具体涉及一种人形机器人腿部线性执行器。执行器包括外壳以及分别设置在外壳两端的关节输出端;外壳内具有将电能转换为旋转动能的电机单元,具有将旋转动能转换为线性动能的行星滚柱丝杠副单元,还具有共同确定行星滚柱丝杠副单元位置的一级角度检测单元和二级角度检测单元。本发明的人形机器人腿部线性执行器,具有高度集成和紧凑的结构,将电机、行星滚柱丝杠副、角度传感器和行星减速机构等在有限空间内高度集成,提供较大的驱动力,实现高的功率密度;通过一级和二级角度检测单元的配合,可以精确检测和控制行星滚柱丝杠的位置和运动;易于安装、拆卸和维护。

    一种根据输入饱和的L2增益鲁棒路径跟踪方法

    公开(公告)号:CN115629549B

    公开(公告)日:2023-04-04

    申请号:CN202211644462.8

    申请日:2022-12-21

    Abstract: 一种根据输入饱和的L2增益鲁棒路径跟踪方法,建立考虑外部干扰信号和输入饱和的端口哈密尔顿系统如下:;其中,为系统状态变量的导数;系统状态量;为车辆质心与期望路径的侧向偏差;为车辆质心与期望路径的侧向偏差的导数;为实际横摆角和期望横摆角差值;为实际横摆角速度和期望横摆角速度的差值。本发明所述的根据输入饱和的L2增益鲁棒路径跟踪方法,在仿真环境中验证考虑输入饱和的L2增益鲁棒路径跟踪方法的有效性;设计的自适应控制器能够克服外部干扰信号的影响,保证车辆能够有效地跟踪期望路径。

    一种根据输入饱和的L2增益鲁棒路径跟踪方法

    公开(公告)号:CN115629549A

    公开(公告)日:2023-01-20

    申请号:CN202211644462.8

    申请日:2022-12-21

    Abstract: 一种根据输入饱和的L2增益鲁棒路径跟踪方法,建立考虑外部干扰信号和输入饱和的端口哈密尔顿系统如下:;其中,为系统状态变量的导数;系统状态量;为车辆质心与期望路径的侧向偏差;为车辆质心与期望路径的侧向偏差的导数;为实际横摆角和期望横摆角差值;为实际横摆角速度和期望横摆角速度的差值。本发明所述的根据输入饱和的L2增益鲁棒路径跟踪方法,在仿真环境中验证考虑输入饱和的L2增益鲁棒路径跟踪方法的有效性;设计的自适应控制器能够克服外部干扰信号的影响,保证车辆能够有效地跟踪期望路径。

    一种非结构化环境四足机器人立体视觉定位建图方法

    公开(公告)号:CN114723811A

    公开(公告)日:2022-07-08

    申请号:CN202210178383.6

    申请日:2022-02-25

    Abstract: 一种非结构化环境四足机器人立体视觉定位建图方法,包括对相机和IMU内方位参数进行互标定;使用双目相机两帧间的IMU信息预测上一帧的像素点在当前帧的位置,利用最小化光度误差得到两帧之间的像素跟踪信息,提取成功跟踪的特征组合;计算关键帧队列中当前关键帧左、右图像的ORB局部图像特征描述算子;等待当前关键帧的特征提取完成后,进行双目立体像对匹配,融合通过最小化光度误差得到的像素与通过特征提取得到的像素位置,筛选当前关键帧的冗余地图特征点,根据双目匹配的结果创建新的地图特征点;利用位姿图优化减小该周期内机器人运动漂移,进行回环检测。自主进行非结构化环境下的视觉位姿状态估计,便于机器人完成室外非结构化环境下的导航定位。

    一种基于多模态模型的人形机器人实时抓取路径规划方法

    公开(公告)号:CN117841002A

    公开(公告)日:2024-04-09

    申请号:CN202410194916.9

    申请日:2024-02-22

    Abstract: 本发明属于机器人视觉领域,具体公开了一种基于多模态模型的人形机器人实时抓取路径规划方法,包括以下步骤:S1采用多模态深度学习模型对环境场景进行零样本实例分割,模型的输入参数有原点云,进行BEV以及后处理的点云以及二维图片,还有来自词嵌入模型的语义特征;四个模态特征进行交互,并且结合二维分割结果的实例中心产生最终的三维实例分割;S2用三维实例分割后的实例计算物体本身坐标及旋转位姿,使用语义以及物体的实例进行输入生成物体的旋转向量,然后进行四元数的计算;S3采用四叉树升降采样算法与八叉树点云切片算法对点云处理进行加速;S4进行实时路径规划;本发明采用了零样本分割,减少三维点云标注难度,模型具有强大的泛化能力。

    一种不完备模型的自演化建模方法及系统

    公开(公告)号:CN116911079B

    公开(公告)日:2024-02-09

    申请号:CN202311176977.4

    申请日:2023-09-13

    Abstract: 本发明属于空间操控技术领域,具体涉及一种不完备模型的自演化建模方法及系统。本发明聚焦空间操控领域目标分类建模技术,提出以异构信息完善不完备模型的自演化建模方法,首先建立目标虚拟视景,之后获得目标的视觉测量模型,并通过视觉测量模型进行目标初步的类型确认,在此不完备视觉模型的基础上,通过机械臂碰触目标获取额外的目标表征信息,建立触觉感知模型,触觉作为视觉的异构信息,将触觉感知模型引入虚拟视景中目标的描述中,获得视觉测量模型与触觉感知模型相结合的自演化目标描述模型,通过实时测量目标的视觉与触觉信息,精准识别目标类型,完善虚拟视景中的模型信息。该方法为后续的空间操控航天器对目标建模提供一种新思路。

    一种人形机器人封闭环境下三维点云地图重建方法

    公开(公告)号:CN117237561B

    公开(公告)日:2024-01-26

    申请号:CN202311508622.0

    申请日:2023-11-14

    Abstract: 一种人形机器人封闭环境下三维点云地图重建方法,包括如下步骤:S1:由人形机器人收集现实场景内的信息;对收集到的信息进行处理,得到现实场景的三维点云模型;S2:对三维点云模型进行点云分割,然后得到现实场景内每一个物体的点云模型;S3:计算现实场景内每一个物体在点云坐标系的坐标;S4:当现实场景的尺寸未知时,计算现实场景的尺寸;S5:计算现实场景内所有的物体在现实场景坐标系下的坐标;S6:地面检测,地图重建完成。本发明所述的一种人形机器人封闭环境下三维点云地图重建方法,采用点云三维重建,使人形机器人采用更加灵活、所需硬件更少的方式,自动完成对在一个封闭环境下进行环境地图的构建,以及对环境信息的理解。

Patent Agency Ranking