公开(公告)号：CN116475563A

公开(公告)日：2023-07-25

申请号：CN202310661620.9

申请日：2023-06-06

Applicant: 厦门大学

Inventor： 刘向荣 ,  褚兆琪 ,  柳娟 ,  胡亚伟

IPC: B23K26/044 ,  B23K26/70 ,  B25J9/16 ,  B25J11/00

Abstract: 本发明公开一种深度学习三维焊缝跟踪方法及装置，其包括：实时采样图像输入给训练好的深度学习模型，得到焊缝接头结构类型和焊缝特征点信息；焊缝特征点信息通过标定得到的空间变换关系转化为焊接路径；根据焊接路径带动焊接头进行焊接；当识别出焊缝的终点或者焊接超时或累计运动距离超过设定值后，停止焊接并将焊接机器人移回原点；本发明对深度学习模型CenterNet和CenterTrack的训练步骤进行修改，调整了它们的网络结构，并通过单次网络结构搜索得到适用于提取焊缝图片特征的网络结构，使其更适应线结构光采样的焊缝图像；并对焊缝特征提取网络进行自监督预训练获得预训练权重，在减少网络结构复杂度的基础上，降低算法推理时间，同时提高识别的精确度。

公开(公告)号：CN114131149B

公开(公告)日：2022-09-20

申请号：CN202111598385.2

申请日：2021-12-24

Applicant: 厦门大学

Inventor： 刘向荣 ,  胡亚伟 ,  柳娟

IPC: B23K9/127

Abstract: 本发明提供一种基于CenterNet的激光视觉焊缝跟踪系统、设备及存储介质，其中，系统包括：工控机与六轴机器人之间通过以太网进行连接，工控机读取六轴机器人的状态参数；工控机与线结构光传感器之间使用USB进行连接，工控机读取图像数据激光视觉焊缝跟踪控制软件安装在工控机中；工控机将读取到的六轴机器人的状态参数和图像数据进行预处理，得到预处理后数据；激光视觉焊缝跟踪控制软件以预处理后数据为输入，得到六轴机器人的运动指令和置信度。本申请避免了对焊缝特征点提取和机器人运动规划这两个问题的割裂。不仅加快了运算速度，提高焊缝跟踪的实时性，同时也加大了优化的空间，从而提高焊缝跟踪的准确性。

公开(公告)号：CN114131149A

公开(公告)日：2022-03-04

申请号：CN202111598385.2

申请日：2021-12-24

Applicant: 厦门大学

Inventor： 刘向荣 ,  胡亚伟 ,  柳娟

IPC: B23K9/127

Abstract: 本发明提供一种基于CenterNet的激光视觉焊缝跟踪系统、设备及存储介质，其中，系统包括：工控机与六轴机器人之间通过以太网进行连接，工控机读取六轴机器人的状态参数；工控机与线结构光传感器之间使用USB进行连接，工控机读取图像数据激光视觉焊缝跟踪控制软件安装在工控机中；工控机将读取到的六轴机器人的状态参数和图像数据进行预处理，得到预处理后数据；激光视觉焊缝跟踪控制软件以预处理后数据为输入，得到六轴机器人的运动指令和置信度。本申请避免了对焊缝特征点提取和机器人运动规划这两个问题的割裂。不仅加快了运算速度，提高焊缝跟踪的实时性，同时也加大了优化的空间，从而提高焊缝跟踪的准确性。