使用RGB相机实现人体动作捕捉的系统及其方法

    公开(公告)号:CN114495274B

    公开(公告)日:2024-09-24

    申请号:CN202210084865.5

    申请日:2022-01-25

    Applicant: 上海大学

    Abstract: 本发明涉及一种使用RGB相机的人体动作捕捉的系统,其中,该系统包括人体三维姿态估计模块、虚拟人物模型空间定位处理模块、虚拟人物模型姿态重定向处理模块以及人体动作捕捉输出模块。本发明还涉及一种相应的方法,该方法包括(1)模型搭建:获取模型一得到人体三维姿态;获取模型二,完成虚拟人物模型空间定位和姿态重定向任务。(2)平台搭建:建立终端计算机和云端服务器的网络连接;终端计算机获取RGB相机的图像并发送至云端服务器;云端服务器从连续图像和符合Humanoid标准的虚拟人物模型使用模型一和模型二估计出人体三维位姿,并发送至终端计算机。本发明提出的方法和系统与其他发明相比,模型结构简单,满足个人和团队的多媒体制作创作需求。

    一种基于多层次学习模型的菜品识别与计价系统及方法

    公开(公告)号:CN111461694B

    公开(公告)日:2023-07-18

    申请号:CN202010189968.9

    申请日:2020-03-17

    Applicant: 上海大学

    Abstract: 本发明公开了一种基于多层次学习模型的菜品识别与计价系统及方法。本系统在运行逻辑上由自下而上的多层次结构组成,包括终端交互层、餐厅识别层和云端优化层,层次之间存在信息流闭环迭代更新机制,协同完成上层模型优化融合以及下层模型迭代更新与识别。系统以餐厅识别层为功能核心,其与下层组成菜品图像信息交互以及菜品识别模型迭代训练更新的闭环通路;与上层组成全局菜品识别模型优化、融合的闭环通路。系统层次结构设计解耦了菜品识别复杂系统功能,以不同层次模型分布迭代更新与优化的方式提高菜品识别模型丰富度和准确率。随着时间的推移,系统识别的各项指标会逐步提高,系统使用的时间越长,识别的准确度越高。

    一种快速处理移动机器人定位“绑架”问题的方法

    公开(公告)号:CN109556607A

    公开(公告)日:2019-04-02

    申请号:CN201811241001.X

    申请日:2018-10-24

    Applicant: 上海大学

    Abstract: 本发明公开了一种快速处理移动机器人定位“绑架”问题的方法,属于移动机器人技术领域。本方法步骤是:通过事先采集的训练数据对基于深度学习的卷积神经网络模型进行训练,使其输入一张图片即可得到拍摄图片时刻相机的粗略位姿,当机器人判断自身发生“绑架”问题时,将此时机器人上的相机拍摄的图片发送给卷积神经网络模型以获得一个粗略位姿,再以特定的格式通过粒子滤波定位算法,减少算法中迭代收敛的次数,达到快速解决“绑架”问题的目标。该方法可在人为地将机器人移动到任意位置后,对移动机器人进行快速而精确地重定位。

    一种基于实例分割和VSLAM的语义地图构建方法

    公开(公告)号:CN113916245B

    公开(公告)日:2024-07-19

    申请号:CN202111176088.9

    申请日:2021-10-09

    Applicant: 上海大学

    Abstract: 本发明涉及移动机器人定位导航技术领域,公开了一种基于实例分割和VSLAM的语义地图构建方法,其步骤为:S1:将获取的RGB图像和深度图进行匹配,得到RGB‑D帧;S2:所有RGB‑D帧逐帧进行位姿估计,找出所有RGB‑D帧中的关键帧;S3:对所有RGB‑D关键帧中的RGB图像逐帧进行实例分割,得到每个RGB‑D关键帧的实例分割结果;S4:将经步骤S3处理后的RGB‑D关键帧转换为点云;S5:创建每个RGB‑D关键帧点云中的实例集合,首先将所有RGB‑D关键帧点云中的实例集合融合到空白的初始实例地图中,得到实例地图;S6:将所有RGB‑D关键帧点云中的背景点云进行融合,得到全局背景点云;S7:对实例地图和全局背景点云进行优化、融合,得到语义地图。本发明的语义地图构建方法构建的语义地图精度高,且可以实现实时构建。

    一种基于实例分割和VSLAM的语义地图构建方法

    公开(公告)号:CN113916245A

    公开(公告)日:2022-01-11

    申请号:CN202111176088.9

    申请日:2021-10-09

    Applicant: 上海大学

    Abstract: 本发明涉及移动机器人定位导航技术领域,公开了一种基于实例分割和VSLAM的语义地图构建方法,其步骤为:S1:将获取的RGB图像和深度图进行匹配,得到RGB‑D帧;S2:所有RGB‑D帧逐帧进行位姿估计,找出所有RGB‑D帧中的关键帧;S3:对所有RGB‑D关键帧中的RGB图像逐帧进行实例分割,得到每个RGB‑D关键帧的实例分割结果;S4:将经步骤S3处理后的RGB‑D关键帧转换为点云;S5:创建每个RGB‑D关键帧点云中的实例集合,首先将所有RGB‑D关键帧点云中的实例集合融合到空白的初始实例地图中,得到实例地图;S6:将所有RGB‑D关键帧点云中的背景点云进行融合,得到全局背景点云;S7:对实例地图和全局背景点云进行优化、融合,得到语义地图。本发明的语义地图构建方法构建的语义地图精度高,且可以实现实时构建。

    一种包装盒标签中喷码区域的快速定位与检测方法

    公开(公告)号:CN109724990B

    公开(公告)日:2021-08-06

    申请号:CN201910013660.6

    申请日:2019-01-08

    Applicant: 上海大学

    Abstract: 本发明涉及视觉检测技术领域,是一种包装盒标签中喷码区域的快速定位与检测方法。所使用的硬件由工业相机、传送带以及计算机组成。该方法的流程为:首先离线构建标签区域特征参数库、喷码区域特征参数库以及喷码区域与标签区域相对姿态参数库等;其次采用工业相机在线循环采集包装盒图像,当获得的包装盒图像的标签区域符合形状匹配要求,则对标签区域进行目标喷码区域的定位分割;然后将喷码字符串进行单个字符分割,并将分割后的字符送入神经网络分类器进行识别;最后通过对喷码字符识别的结果是否符合预设要求来判断标签的合格性,并将判断结果输出至成像软件界面显示。该方法具有速度快、算法适应性强、操作方便等特点。

    一种基于多层次学习模型的菜品识别与计价系统及方法

    公开(公告)号:CN111461694A

    公开(公告)日:2020-07-28

    申请号:CN202010189968.9

    申请日:2020-03-17

    Applicant: 上海大学

    Abstract: 本发明公开了一种基于多层次学习模型的菜品识别与计价系统及方法。本系统在运行逻辑上由自下而上的多层次结构组成,包括终端交互层、餐厅识别层和云端优化层,层次之间存在信息流闭环迭代更新机制,协同完成上层模型优化融合以及下层模型迭代更新与识别。系统以餐厅识别层为功能核心,其与下层组成菜品图像信息交互以及菜品识别模型迭代训练更新的闭环通路;与上层组成全局菜品识别模型优化、融合的闭环通路。系统层次结构设计解耦了菜品识别复杂系统功能,以不同层次模型分布迭代更新与优化的方式提高菜品识别模型丰富度和准确率。随着时间的推移,系统识别的各项指标会逐步提高,系统使用的时间越长,识别的准确度越高。

    一种包装盒标签中喷码区域的快速定位与检测方法

    公开(公告)号:CN109724990A

    公开(公告)日:2019-05-07

    申请号:CN201910013660.6

    申请日:2019-01-08

    Applicant: 上海大学

    Abstract: 本发明涉及视觉检测技术领域,是一种包装盒标签中喷码区域的快速定位与检测方法。所使用的硬件由工业相机、传送带以及计算机组成。该方法的流程为:首先离线构建标签区域特征参数库、喷码区域特征参数库以及喷码区域与标签区域相对姿态参数库等;其次采用工业相机在线循环采集包装盒图像,当获得的包装盒图像的标签区域符合形状匹配要求,则对标签区域进行目标喷码区域的定位分割;然后将喷码字符串进行单个字符分割,并将分割后的字符送入神经网络分类器进行识别;最后通过对喷码字符识别的结果是否符合预设要求来判断标签的合格性,并将判断结果输出至成像软件界面显示。该方法具有速度快、算法适应性强、操作方便等特点。

    一种叉车式AGV磁导轨跟踪控制系统及方法

    公开(公告)号:CN109279543A

    公开(公告)日:2019-01-29

    申请号:CN201811315946.1

    申请日:2018-11-07

    Applicant: 上海大学

    Abstract: 本发明公开了一种叉车式AGV磁导轨跟踪控制系统及方法。控制系统包含磁导轨感知子系统、速度和角度检测子系统、舵轮控制子系统和跟踪控制子系统。控制方法的基本步骤是跟踪控制子系统从磁导轨感知子系统获取传感器信息,确定车身姿态与相对位置,并结合从速度和角度检测子系统中获取的舵轮旋转角速度和方向角度,确定叉车式AGV当前运行状态,根据运行状态使用不同模式跟踪磁导轨。该系统及方法能够在只依赖单一磁导轨传感器检测的情况下,进行车身定位与运行状态识别,并自动调整叉车式AGV舵轮旋转角速度和舵轮方向角度,一体化实现对叉车式AGV车速的平滑控制以及对直线、曲线磁导轨的稳定跟踪。

    一种仓储货物多QR码一体化视觉定位方法

    公开(公告)号:CN109977714B

    公开(公告)日:2022-06-10

    申请号:CN201910006108.4

    申请日:2019-01-04

    Applicant: 上海大学

    Abstract: 本发明公开了一种仓储货物多QR码一体化视觉定位方法,涉及图像检测领域,更具体地,涉及一种多QR码一体化视觉定位的方法。本发明解决由于QR码所处环境复杂以及多角度拍摄等因素导致现有检测方法无法精准定位QR码的技术问题。本发明首先对图像进行滤波,转灰度图,二值化等预处理操作,然后根据二值图像中的闭合轮廓信息粗略定位出位置探测图形的位置,根据同一个QR码中3个位置探测图形在图像中所呈现的面积相似的特点对位置探测图形进行精定位,进而最终定位出QR码。该方法能在复杂的环境中从多个拍摄角度精准地定位出场景中的多个二维码,具有较强的鲁棒性,在实际使用中具有很好的表现。

Patent Agency Ranking