-
公开(公告)号：CN113838042B
公开(公告)日：2023-11-10
申请号：CN202111163679.2
申请日：2021-09-30
Applicant: 清华大学
IPC: G06T7/00 , G06V10/44 , G06V10/764 , G06N3/0442 , B25J9/16
Abstract: 本公开提供的双机械臂操作问答方法、装置、电子设备和存储介质，包括：将获取的操作场景的RGB图像和深度图像并行输入残差‑特征分层网络，以提取RGB图像和深度图像的特征映射；输入物品操作问题经过基于长短时记忆网络的自然语言处理模型处理后输出第一特征向量；将特征映射与第一特征向量进行连接得到双机械臂的操作初始状态；构建双机械臂问答操作模型，将操作初始状态输入至双机械臂问答操作模型中进行训练，输出双机械臂的操作动作，与环境进行交互，得到物品操作问题答案并输出。本公开打破了传统上问答系统的被动感知，将其转变为主动探索环境，并且双机械臂协同操作能够实现复杂任务的有序控制，减少对工装夹具的依赖。
-
公开(公告)号：CN113838042A
公开(公告)日：2021-12-24
申请号：CN202111163679.2
申请日：2021-09-30
Applicant: 清华大学
Abstract: 本公开提供的双机械臂操作问答方法、装置、电子设备和存储介质，包括：将获取的操作场景的RGB图像和深度图像并行输入残差‑特征分层网络，以提取RGB图像和深度图像的特征映射；输入物品操作问题经过基于长短时记忆网络的自然语言处理模型处理后输出第一特征向量；将特征映射与第一特征向量进行连接得到双机械臂的操作初始状态；构建双机械臂问答操作模型，将操作初始状态输入至双机械臂问答操作模型中进行训练，输出双机械臂的操作动作，与环境进行交互，得到物品操作问题答案并输出。本公开打破了传统上问答系统的被动感知，将其转变为主动探索环境，并且双机械臂协同操作能够实现复杂任务的有序控制，减少对工装夹具的依赖。
-
公开(公告)号：CN113534678A
公开(公告)日：2021-10-22
申请号：CN202110618613.1
申请日：2021-06-03
Applicant: 清华大学
IPC: G05B17/02
Abstract: 本发明属于机器人控制技术领域，尤其涉及一种操作问答任务的仿真到物理系统的迁移方法。本方法利用深度视觉传感器分别获取仿真环境和现实世界任务场景的图像组，构建循环生成对抗网络模型，结合物理系统和仿真环境的状态图片进行联合训练，生成风格迁移图；利用视觉和物理参数随机化特征方法拟合真实实验状态，获取图像和文本的细粒度特征进行双线性因子化池化融合；将融合的特征作为马尔可夫决策过程的状态中训练，根据奖励得出机械臂动作序列，控制机械臂的运动；添加目标检测器在计算中心中协助目标检测，增加目标检测提高任务正确率，完成操作任务问答过程。改方法实现了机械臂的智能探索，人机交互等功能，有效的展现了机械臂的智能化特性。
-
-
-
Search Results
4
records
(took 0.02 seconds)
