公开(公告)号：CN118528249A

公开(公告)日：2024-08-23

申请号：CN202410395856.7

申请日：2024-04-02

Applicant: 重庆大学

Inventor： 赖俊峰 ,  凌凯 ,  宋永端 ,  李思锐 ,  章纬琳 ,  胡倬浩 ,  张志鹏 ,  汪尚泽 ,  罗峻宇 ,  赵祝睿

IPC: B25J9/16 ,  G06F3/01 ,  G06V40/20 ,  G06V10/82 ,  G06V10/25 ,  G06N3/0464 ,  G06N3/0495

Abstract: 本发明公开了一种基于改进YOLOv8网络模型的机械臂手势交互方法，属于机器人人机交互领域；首先调整深度相机和姿态和人之间的距离使得深度相机能够拍摄到人的手部姿态即人体手势，获得人体手势的RGB图像；将带有人体手势的RGB图像输入预先训练的改进后的YOLOv8模型，得到输出为带有目标检测框和置信度的手势识别结果图像；根据输出的手势识别结果图像，获取相应的手势类别信息，并按照实现定义好的手势交互指令表，生成相应的手势交互指令。将生成的手势交互指令传递给机械臂控制柜或夹爪控制器，控制机械臂执行交互任务。本发明中改进后的模型参数量和计算量更小，便于嵌入式等计算能力较低的设备的部署，同时提高了模型的检测速度和检测精度，更具实用性。