公开(公告)号：CN111553949B

公开(公告)日：2023-05-19

申请号：CN202010361914.6

申请日：2020-04-30

Applicant: 张辉

Inventor： 张辉 ,  李锟 ,  刘理 ,  钟杭 ,  李晨 ,  王耀南 ,  毛建旭 ,  朱青 ,  易俊飞

IPC: G06T7/73 ,  G06T7/11 ,  G06T7/13 ,  G06N3/08 ,  G06N3/0464

Abstract: 本发明提供的基于单帧RGB‑D图像深度学习对不规则工件的定位抓取方法，包括:S1，机械臂移动到指定工位，深度相机采集目标的单帧RGB图像和深度图像；S2，归一化处理RGB图像；S3，RGB图像输入深度学习的目标检测网络并输出目标类别置信度和目标边界框；S4，调整RGB图像后输入深度学习的特征点估计网络，获得目标的多个特征点投影坐标；S5，根据多个特征点投影坐标结合高精度快速求解法估计目标姿态；S6，对深度图像进行双边滤波处理；S7，利用候选框并集区域分割处理后的深度图像，确定目标质心作为抓取点；S8，对抓取目标进行姿态校正，控制机械臂抓取目标。在不改变原有生产线的情况下，对无序、不规则工件快速精确抓取，节约设备的改造成本。

公开(公告)号：CN111553949A

公开(公告)日：2020-08-18

申请号：CN202010361914.6

申请日：2020-04-30

Applicant: 张辉

Inventor： 张辉 ,  李锟 ,  刘理 ,  钟杭 ,  李晨 ,  王耀南 ,  毛建旭 ,  朱青 ,  易俊飞

IPC: G06T7/73 ,  G06T7/11 ,  G06T7/13 ,  G06N3/08 ,  G06N3/04

Abstract: 本发明提供的基于单帧RGB-D图像深度学习对不规则工件的定位抓取方法，包括:S1，机械臂移动到指定工位，深度相机采集目标的单帧RGB图像和深度图像；S2，归一化处理RGB图像；S3，RGB图像输入深度学习的目标检测网络并输出目标类别置信度和目标边界框；S4，调整RGB图像后输入深度学习的特征点估计网络，获得目标的多个特征点投影坐标；S5，根据多个特征点投影坐标结合高精度快速求解法估计目标姿态；S6，对深度图像进行双边滤波处理；S7，利用候选框并集区域分割处理后的深度图像，确定目标质心作为抓取点；S8，对抓取目标进行姿态校正，控制机械臂抓取目标。在不改变原有生产线的情况下，对无序、不规则工件快速精确抓取，节约设备的改造成本。

公开(公告)号：CN111738261A

公开(公告)日：2020-10-02

申请号：CN202010619800.7

申请日：2020-06-30

Applicant: 张辉

Inventor： 张辉 ,  赵晨阳 ,  刘理 ,  钟杭 ,  梁志聪 ,  王耀南 ,  毛建旭 ,  朱青

IPC: G06K9/32 ,  G06K9/62 ,  G06N3/04 ,  G06T7/66 ,  G06T7/73 ,  G06T7/80 ,  B25J9/16

Abstract: 本发明具体公开了一种基于位姿估计和校正的单图像机器人无序目标抓取方法，所述方法包括：S1、生成待抓取物体模型的图像数据集；S2、根据步骤S1的图像数据集构建卷积神经网络模型；S3、将待抓取物体的二维图像导入训练好的卷积神经网络模型中提取对应的置信图和向量场；S4、获取待抓取物体的预测平移量和预测旋转量；S5、找到待抓取物体最优抓取点并计算深度相机的测量平移量；S6、根据待抓取物体的预测平移量和深度相机的测量平移量进行抓取安全距离校正，若校正成功则执行校正数据抓取，若校正失败则进入S7；S7、重复步骤S3-S6。本发明中无序目标抓取方法具有可靠性高、鲁棒性强和实时性好的特点，能够满足现有工业生产要求，具有较高的应用价值。

公开(公告)号：CN111738261B

公开(公告)日：2023-08-04

申请号：CN202010619800.7

申请日：2020-06-30

Applicant: 张辉

Inventor： 张辉 ,  赵晨阳 ,  刘理 ,  钟杭 ,  梁志聪 ,  王耀南 ,  毛建旭 ,  朱青

IPC: G06T7/73 ,  G06V10/25 ,  G06V10/77 ,  G06V10/764 ,  G06V10/75 ,  G06V10/82 ,  G06N3/0464 ,  G06T7/66 ,  G06T7/80 ,  B25J9/16

Abstract: 本发明具体公开了一种基于位姿估计和校正的单图像机器人无序目标抓取方法，所述方法包括：S1、生成待抓取物体模型的图像数据集；S2、根据步骤S1的图像数据集构建卷积神经网络模型；S3、将待抓取物体的二维图像导入训练好的卷积神经网络模型中提取对应的置信图和向量场；S4、获取待抓取物体的预测平移量和预测旋转量；S5、找到待抓取物体最优抓取点并计算深度相机的测量平移量；S6、根据待抓取物体的预测平移量和深度相机的测量平移量进行抓取安全距离校正，若校正成功则执行校正数据抓取，若校正失败则进入S7；S7、重复步骤S3‑S6。本发明中无序目标抓取方法具有可靠性高、鲁棒性强和实时性好的特点，能够满足现有工业生产要求，具有较高的应用价值。

公开(公告)号：CN112053317A

公开(公告)日：2020-12-08

申请号：CN202010336427.4

申请日：2020-04-26

Applicant: 张辉

Inventor： 张辉 ,  厉洪浩 ,  刘理 ,  钟杭 ,  易俊飞 ,  王耀南 ,  袁小芳 ,  毛建旭 ,  朱青

IPC: G06T7/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G01N21/88

Abstract: 本发明公开了一种基于级联神经网络的工件表面缺陷检测方法,本发明中的神经网络模型由五个部分设计组成，分别是：第一阶段中用于特征提取的残差神经网络、可变形卷积神经网络、特征金字塔网络、第二阶段中用于检测器训练的级联神经网络(Cascade R‑CNN)、神经网络模型的代价函数。首先将采集待检测图像输入到第一阶段用于提取特征，然后将提取的特征输入第二阶段用于检测器的训练，当神经网络模型的代价函数最小时，检测器的效果最优。本发明克服了传统非智能化的工业产品表面缺陷检测速度慢，并且存在漏检、误检等诸多不利因素，可进行缺陷的智能识别，达到高精度检测，减少人工干预，节约劳动成本的目的。