一种基于前景感知增强的多模态目标检测系统及检测方法

    公开(公告)号:CN119723062A

    公开(公告)日:2025-03-28

    申请号:CN202510208849.6

    申请日:2025-02-25

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于前景感知增强的多模态目标检测系统及检测方法,充分结合了二维图像和三维点云的优势,并解决了前景点关注度低的问题。本发明通过前背景掩码机制以及焦点卷积模块,在二维和三维特征中分别强化前景信息,并通过通道和空间注意力模块进一步优化特征表达。最终,经过通道级联的增强融合特征经过区域建议网络和置信度前馈网络,筛选出置信度较高的检测结果。根据其目标类别确定不同的初始权重,计算预测边界框和真实边界框内前背景点的数量差异和位姿差异来进行损失聚合,并进行反向传播,以进一步优化预测边界框的位置精度,前景感知的聚合损失函数在训练过程中提供有效监督,进一步提升了模型的鲁棒性和准确性。

    一种针对大型装配过程全场景的统一化三维目标检测方法

    公开(公告)号:CN118864827A

    公开(公告)日:2024-10-29

    申请号:CN202411345989.X

    申请日:2024-09-26

    Applicant: 湖南大学

    Abstract: 一种针对大型装配过程全场景的统一化三维目标检测方法,包括:1、构建全场景激光雷达感知平台,采集三维点云数据;2、制作装配制造场景的检测数据集;3、构建三维目标检测模型;4、将训练集中的数据输入到三维目标检测模型中,得到目标分类结果和目标边界框回归结果;5、构建总损失函数,计算目标分类结果与目标边界框回归结果的损失值,循环4至5,直至总损失函数收敛,更新权重,得到训练后的三维目标检测模型;6、对训练后的三维目标检测模型进行测试,得到检测结果。本发明增加了装配效率,提高了装配质量,能及时发现和处理装配过程中的问题,避免了制造业中传统人工装配过程的安全隐患,有助于推动工业智能制造快速且高质量的发展。

    一种基于局部纹理增强网络的杆塔关键部件缺陷识别方法

    公开(公告)号:CN115761268A

    公开(公告)日:2023-03-07

    申请号:CN202211488812.6

    申请日:2022-11-25

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于局部纹理增强网络的杆塔关键部件缺陷识别方法,可以通过体征提取及纹理增强模块能够提取到具备纹理信息的判别性特征,同时通过特征融合模块对不同分辨率的特征进行融合,使得输出特征同时具备语义和像素级信息,最后通过杆塔部件缺陷识别模块对杆塔关键部件缺陷进行识别并输出缺陷的定位和置信度。此网络可直接应用于电力巡检过程,对杆塔的关键部件及缺陷进行识别,具有识别精度高、泛化能力强的特点,将传统电力巡检过程与前沿的深度学习方法和神经网络技术进行结合,可以有效地解决传统人工巡检效率低、现有检测方法效果差的问题,实现杆塔巡检过程的智能化和自主化,并在一定程度上能够保障电力线路的正常运转。

    一种大范围制造场景立体重建方法及系统

    公开(公告)号:CN119919594A

    公开(公告)日:2025-05-02

    申请号:CN202510398646.8

    申请日:2025-04-01

    Applicant: 湖南大学

    Abstract: 本发明公开了一种大范围制造场景立体重建方法及系统,首先搭建场景重建模型并训练,获取大范围制造场景下的待处理图像对并输入训练后的场景重建模型,场景重建模型的一元特征提取与增强模块接收输入图像对并进行特征提取与增强处理,将增强后的一元特征输入成本体积构建模块处理,输出联合体积,3D聚合模块接收联合体积并逐层优化,输出优化后的成本体积,视差预测模块获取优化后的成本体积并处理,输出待处理图像对对应的预测视差图,将预测视差图转化为真实世界下的三维空间数据,由此完成制造场景立体重建。该方法及系统不仅适用于具有复杂结构的大规模制造场景,还能够以高精度还原场景的空间细节。

    一种基于混合多尺度知识蒸馏的轻量化缺陷检测方法

    公开(公告)号:CN118154607B

    公开(公告)日:2024-08-09

    申请号:CN202410579980.9

    申请日:2024-05-11

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于混合多尺度知识蒸馏的轻量化缺陷检测方法,构建数据集;构建教师网络模型和轻量化学生网络模型;使用数据集对教师网络模型进行训练,并将训练好的教师网络模型权重文件保存;载入保存的教师网络模型权重文件到教师网络模型,将数据集中的缺陷图像输入至教师网络模型和学生网络模型中分别得到第一多尺度特征和第二多尺度特征,再分别输入至级联式知识混合模块得到最终的深度融合的第一多尺度特征和第二多尺度特征,进而计算混合多尺度知识损失,结合学生网络模型的预测损失利用反向传播算法来网络参数进行更新,得到训练好的轻量化学生网络模型完成智能制造产品的缺陷检测。提升对不同尺度缺陷的认知能力和识别性能。

Patent Agency Ranking