一种机器人视觉引导抓取方法
    2.
    发明公开

    公开(公告)号:CN116787432A

    公开(公告)日:2023-09-22

    申请号:CN202310704172.6

    申请日:2023-06-14

    Abstract: 本发明涉及一种机器人视觉引导抓取方法,输入待抓取工件图样,通过虚拟引擎生成工件的虚拟图片;将视觉系统采集的图像裁剪拼接,并配合随机算法,生成工件在不同位置下的均匀分布图像;利用cycleGAN网络对图像进行优化,并引入梯度损失函数和多通道混合注意力机制以提升提高检测模型的图像的清晰度及提高学习效率与生成效果;利用yolov7算法预测工件表面关键点检测,通过提出的GeIOU函数作为损失函数提高预测准确度;利用EPnP算法将工件表面关键点转换为位资关键点,同时通过6DOF位姿计算完成抓取位置计算。本发明通过梯度损失函数和多通道混合注意力机制提高网络的学习效率与生成效果,同时在保证生成图像清晰度的前提下,消除拼接图像中工件与背景的灰度差。

    基于轻量化多尺度融合Transformer网络的道路语义分割方法

    公开(公告)号:CN119445107A

    公开(公告)日:2025-02-14

    申请号:CN202411494061.8

    申请日:2024-10-24

    Abstract: 本发明涉及人工智能和自动驾驶技术领域,具体涉及基于轻量化多尺度融合Transformer网络的道路语义分割方法,包含轻量化编码器网络模块、轻量化多尺度融合Transformer网络模块,轻量化解码器网络模块与空间注意力网络模块,轻量化编码器网络模块将深度可分离卷积与非对称空洞卷积混合,不仅有效扩大感受野,以捕捉道路场景中的丰富上下文信息,且显著降低了计算复杂度,轻量化多尺度融合Transformer网络模块对多个尺度提取的特征图进行重构,该模块运用可分离跨通道注意力机制,有效捕捉不同尺度特征图之间的内在依赖与关联。本发明所设计的道路场景语义分割方法准确率高,复杂度低,实时性好,适用于车载设备,并实现了分割精度与计算效率的良好平衡,在自动驾驶领域有重要的应用价值。

    基于视觉定位的PCB焊接方法及系统

    公开(公告)号:CN115049726B

    公开(公告)日:2025-01-24

    申请号:CN202210651039.4

    申请日:2022-06-09

    Abstract: 本发明公开的一种基于视觉定位的PCB焊接方法,包括:采集当前待识别PCB芯片的图像,将采集图像与各粗定位模板进行匹配,匹配出采集图像中待识别PCB芯片中心的图像坐标;基于采集图像中待识别PCB芯片中心构建样本图像,将样本图像输入识别网络,识别采集图像中待识别PCB芯片的类别;基于待识别PCB芯片中心的图像坐标确定采集图像中的定精定位区域,基于精定位区域与精定位模板间的匹配确定精定位模板的焊接点在当前采集图像中的图像坐标;将焊接点在采集图像中的图像坐标转换至机器人坐标系,控制机器人末端的焊锡枪移动至焊接点位置进行焊接操作。实现工业机器人对PCB芯片的自主识别与自动化焊接,可应用于多种类PCB芯片产品的混线生产。

    面向车载设备的压缩视频驾驶员行为识别方法

    公开(公告)号:CN115171080A

    公开(公告)日:2022-10-11

    申请号:CN202210666671.6

    申请日:2022-06-14

    Abstract: 本发明提供一种面向车载设备的压缩视频驾驶员行为识别方法,首先采用ffmpeg直接对摄像头捕捉的MPEG‑4压缩视频数据流进行处理,有效利用P‑frame中的运动矢量和残余误差;其次设计多分支时空卷积网络模型,通过轻量化2D/3D卷积网络结构分别从I‑frame和P‑frame中提取外观信息与动作信息,从而降低模型的参数量和计算复杂度;进一步地,本发明结合跨层连接模块与时空特征池化模块用于外观信息与动作信息的融合,实现分心驾驶行为时空表征;最后,本发明采用知识蒸馏学习策略,即引入老师模型引导轻量化模型,进一步改善识别精度。本发明准确率高,复杂度低,实时性好,适用于车载嵌入式设备。

    基于视觉定位的PCB焊接方法及系统

    公开(公告)号:CN115049726A

    公开(公告)日:2022-09-13

    申请号:CN202210651039.4

    申请日:2022-06-09

    Abstract: 本发明公开的一种基于视觉定位的PCB焊接方法,包括:采集当前待识别PCB芯片的图像,将采集图像与各粗定位模板进行匹配,匹配出采集图像中待识别PCB芯片中心的图像坐标;基于采集图像中待识别PCB芯片中心构建样本图像,将样本图像输入识别网络,识别采集图像中待识别PCB芯片的类别;基于待识别PCB芯片中心的图像坐标确定采集图像中的定精定位区域,基于精定位区域与精定位模板间的匹配确定精定位模板的焊接点在当前采集图像中的图像坐标;将焊接点在采集图像中的图像坐标转换至机器人坐标系,控制机器人末端的焊锡枪移动至焊接点位置进行焊接操作。实现工业机器人对PCB芯片的自主识别与自动化焊接,可应用于多种类PCB芯片产品的混线生产。

    一种无人机精准着艇的控制方法及系统

    公开(公告)号:CN115033023B

    公开(公告)日:2024-12-20

    申请号:CN202210778708.4

    申请日:2022-06-30

    Abstract: 本发明公开一种无人机精准着艇的控制方法,包括如下步骤:S1、建立无人机与无人艇间的通讯连接,实时向对方发送各自当前的位置及姿态数据,无人机基于无人艇的位置数据追踪至无人艇的正上方;S2、采用深度相机采集无人艇上的定位标识,获取定位标识在地球坐标系下的坐标,无人机在下降过程中追踪不同尺寸的定位标识;S3、在无人机的下降至距无人艇的高度低于高度阈值H1时,控制开始进入位姿同步模式,即开始控制无人机与无人艇的位姿保持同步;S4、在无人机距下降至距无人艇的高度低于高度阈值H2,控制无人艇位置保持不变,无人机加速着陆至定位标识的中心,退出位姿同步模式,完成着艇作业。提高了无人艇倾斜时无人机着陆的成功率。

    一种基于高速视觉的振动特征提取方法

    公开(公告)号:CN117496390A

    公开(公告)日:2024-02-02

    申请号:CN202311222230.8

    申请日:2023-09-20

    Abstract: 本发明公开了一种基于高速视觉的振动特征提取方法,属于视觉振动分析技术领域,包括确定振动特征提取的待测目标,根据待测目标的特征搭建基于高速视觉的振动特征提取系统;启动高速相机实时采集待测目标的振动视频;对所采集到的振动视频中的高速视觉图像进行预处理等步骤。本发明采用高速视觉和图像处理算法相结合的方式,增加了基于视觉方法测量振动特性的识别范围;通过改进特征点检测和光流追踪法实现更快速率的亚像素位移追踪效果,同时提高了振动特征提取的精确度。

Patent Agency Ranking