公开(公告)号：CN114066932A

公开(公告)日：2022-02-18

申请号：CN202111130790.1

申请日：2021-09-26

Applicant: 浙江工业大学

Inventor： 欧林林 ,  许成军 ,  张旭环 ,  张鑫 ,  禹鑫燚

IPC: G06T7/246 ,  G06T7/73

Abstract: 一种实时的基于深度学习的多人人体三维姿态估计和跟踪方法，首先，本发明将RGB图像信息经过特征提取网络得到特征举证(feature map)。然后利用CPM网络回归人体2D关节点位置及每个关节对应的置信分数(Heat Map and PAFs)；然后将已获取的2D关节点信息和特征矩阵输入到ResNet残差块中回归3D姿态(Location Map)；最后，提出了一种优先冗余关联算法，将检测到的二维关键点和三维位置图分配给个体。此外，本发明针对多人人体姿态跟踪问题，提出一种基于贪婪策略的多人人体姿态跟踪算法，能够有效地跟踪多个人的三维姿态，即使在配对过程中由于关联错误或遮挡而缺少某些帧的情况下。本发明满足实时性和轻量级要求，可以应用于多种实际应用。

公开(公告)号：CN113829343B

公开(公告)日：2023-09-29

申请号：CN202111115194.6

申请日：2021-09-23

Applicant: 浙江工业大学

Inventor： 欧林林 ,  张旭环 ,  许成军 ,  张鑫 ,  禹鑫燚

IPC: B25J9/16

Abstract: 基于多人人体姿态估计器的多人人机协作交互系统，包括感知模块、控制模块、决策模块；感知模块通过相机去感知人机交互中的多人人体姿态信息和机器人位置信息；将获取的人机姿态信息传递给决策模块和控制模块，决策模块结合任务需求对收集到的人体姿态和机器人状态进行监听(GUI)和更新，并反馈到感知模块，同时更新人机状态；控制模块通过获取决策模块提供的目标位置信息和感知模块提供的机器人当前状态信息，对当前机器人任务路径重新规划，将更新后的任务轨迹通过机器人控制器发送到真实机械臂，同时将机器人的更新后的状态信息反馈给决策模块。GUI是用来可视化相关的实验结果，如相机视频流等。

公开(公告)号：CN113829343A

公开(公告)日：2021-12-24

申请号：CN202111115194.6

申请日：2021-09-23

Applicant: 浙江工业大学

Inventor： 欧林林 ,  张旭环 ,  许成军 ,  张鑫 ,  禹鑫燚

IPC: B25J9/16

Abstract: 基于多人人体姿态估计器的多人人机协作交互系统，包括感知模块、控制模块、决策模块；感知模块通过相机去感知人机交互中的多人人体姿态信息和机器人位置信息；将获取的人机姿态信息传递给决策模块和控制模块，决策模块结合任务需求对收集到的人体姿态和机器人状态进行监听(GUI)和更新，并反馈到感知模块，同时更新人机状态；控制模块通过获取决策模块提供的目标位置信息和感知模块提供的机器人当前状态信息，对当前机器人任务路径重新规划，将更新后的任务轨迹通过机器人控制器发送到真实机械臂，同时将机器人的更新后的状态信息反馈给决策模块。GUI是用来可视化相关的实验结果，如相机视频流等。