一种手部姿态三维重建方法、装置及存储介质

    公开(公告)号:CN113362452A

    公开(公告)日:2021-09-07

    申请号:CN202110629489.9

    申请日:2021-06-07

    Applicant: 中南大学

    Abstract: 本发明公开了一种手部姿态三维重建方法、装置及存储介质,其中方法包括:实时获取一组多角度下的手部图像;将获取的一组多角度下的手部图像输入预先训练好的关节三维坐标预测模型中,得到手部各关节点的三维坐标;其中关节三维坐标预测模型基于多组标注有手部关节点的多角度下手部图像对神经网络进行弱监督训练得到;基于手部各关节点的三维坐标使用空间向量法,实时计算得到各相邻手指骨骼之间的夹角;基于实时计算得到的各相邻手指骨骼之间的夹角调整预先建立的人体手部三维模型中各关节的位置,实现手部姿态运动可视化。利用多角度二维图像作为输入很好的解决了手部转动过程遮挡问题,使用弱监督训练模型提升了二维坐标回归三维坐标的精度。

    一种手部姿态三维重建方法、装置及存储介质

    公开(公告)号:CN113362452B

    公开(公告)日:2022-11-15

    申请号:CN202110629489.9

    申请日:2021-06-07

    Applicant: 中南大学

    Abstract: 本发明公开了一种手部姿态三维重建方法、装置及存储介质,其中方法包括:实时获取一组多角度下的手部图像;将获取的一组多角度下的手部图像输入预先训练好的关节三维坐标预测模型中,得到手部各关节点的三维坐标;其中关节三维坐标预测模型基于多组标注有手部关节点的多角度下手部图像对神经网络进行弱监督训练得到;基于手部各关节点的三维坐标使用空间向量法,实时计算得到各相邻手指骨骼之间的夹角;基于实时计算得到的各相邻手指骨骼之间的夹角调整预先建立的人体手部三维模型中各关节的位置,实现手部姿态运动可视化。利用多角度二维图像作为输入很好的解决了手部转动过程遮挡问题,使用弱监督训练模型提升了二维坐标回归三维坐标的精度。

Patent Agency Ranking