公开(公告)号：CN118196027A

公开(公告)日：2024-06-14

申请号：CN202410290896.5

申请日：2024-03-14

Applicant: 华中科技大学

Inventor： 沈卫明 ,  姜雨欣 ,  程育奇 ,  张天航

IPC: G06T7/00 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08 ,  G06V10/774 ,  G06V10/26 ,  G06V10/74

Abstract: 本发明属于工业图像处理相关技术领域，其公开了一种缺陷检测方法、多模态融合网络及设备，包括以下步骤：基于自注意机制、视觉的相似性图及文本引导的相似图得到注意力矩阵；将注意力矩阵以通道方式叠加成注意力图，并基于注意力图进行融合得到视觉信息及文本信息，进而用损失函数#imgabs0#对分割子模块进行训练，并基于训练后的分割子模块得到像素级缺陷定位结果；其中，训练过程中引入真值掩膜作为参考标签，分割子模块的输入为融合得到的视觉信息及文本信息。本发明通过多模态注意力融合方式来实现文本特征与视觉特征的融合，以有效捕获两种模态的互补信息，避免多模态融合期间出现特征干扰。

公开(公告)号：CN116580014A

公开(公告)日：2023-08-11

申请号：CN202310570502.7

申请日：2023-05-19

Applicant: 华中科技大学

Inventor： 沈卫明 ,  姜雨欣 ,  曹云康

IPC: G06T7/00 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08 ,  G06V10/77

Abstract: 本发明公开了一种工业缺陷检测方法及系统，属于工业图像处理技术领域，提供了一种基于图像级别和特征级别掩码策略的正常特征重构模型，可以根据异常特征重构出正常特征；在图像级别掩码策略中，从正常工业图像和基于正常图像构建的异常工业图像中提取正常和异常特征，分别作为输入信号和监督信号；输入信号和监督信号的不同促进了模型对全局信息的学习，以指导异常区域的重构。在特征级别掩码策略中，对融合压缩后的异常特征图进行特征提取后，随机掩盖掉所得的特征图的部分特征，然后对缺失部分进行重构，以强调像素间的局部相关性，有利于图像细粒度重构。两种掩码策略的应用能成功解决过泛化问题，工业缺陷检测的准确率较高。

公开(公告)号：CN117274204A

公开(公告)日：2023-12-22

申请号：CN202311254405.3

申请日：2023-09-26

Applicant: 华中科技大学

Inventor： 沈卫明 ,  姜雨欣 ,  曹云康

IPC: G06T7/00 ,  G06V20/70 ,  G06V10/26 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/094

Abstract: 本发明属于小样本缺陷检测相关技术领域，其公开了一种基于原型学习引导的判别分割网络的小样本缺陷检测方法，方法包括：获取一组正常小样本图像和缺陷小样本图像；采用训练完成的神经网络提取正常小样本图像和缺陷小样本图像中的特征获得小样本的初始特征；将小样本的初始特征输入原型生成网络获得嵌入特征块，原型生成网络的损失函数包括正常特征聚类损失函数、缺陷特征分离损失函数以及基于像素级差异的分类损失函数；将相似性图与嵌入特征块进行通道维度拼接后输入判别分割网络，实现小样本的缺陷分割识别。本申请可以实现更精细、更准确的缺陷检测和定位。

公开(公告)号：CN117274040A

公开(公告)日：2023-12-22

申请号：CN202311251098.3

申请日：2023-09-26

Applicant: 华中科技大学

Inventor： 沈卫明 ,  姜雨欣 ,  曹云康

IPC: G06T3/00 ,  G06V10/10 ,  G06V10/26 ,  G06T7/13 ,  G06T7/136 ,  G06T7/00 ,  H04N23/60

Abstract: 本发明属于工业图像处理相关技术领域，其公开了一种适用于自动化图像缺陷检测的图像获取方法及其应用，包括以下步骤：(1)拟合得到待检测零件底面的拟合平面；(2)基于调整后的点云数据提取待测零件的表面轮廓点；(3)选择多个中心点，并将表面轮廓点划分到距离其最近的中心点所在块，以完成零件表面分块划分；(4)基于点云数据计算出每个块的最小包围盒，并确定相机的拍摄方式；(5)计算零件的三维点云坐标与拍摄图像的二维投影之间的对应关系，进而去除不属于对应分块的像素，以获得适用于自动化图像缺陷检测的图像。本发明通过将零件划分为小块并对每块进行拍摄，结合自动有效区域提取能够实现对缺陷检测所用图像的高精度提取。

公开(公告)号：CN117388254A

公开(公告)日：2024-01-12

申请号：CN202311259180.0

申请日：2023-09-26

Applicant: 华中科技大学

Inventor： 沈卫明 ,  曹云康 ,  余裕浩 ,  刘照阁 ,  张以恒 ,  张天航 ,  姜雨欣 ,  宋亚楠

IPC: G01N21/88 ,  G01N21/01

Abstract: 本发明属于机器视觉图像检测相关技术领域，其公开了一种工业产品缺陷检测方法及检测系统，其中方法包括：S1，根据待测产品的表面特征，获取用于采集待测产品表面图像的初始角度参数集合；S2，对初始角度参数集合中的任一角度参数进行优化，获取优化角度参数集合；S3，对于优化角度参数集合中的任一角度参数，获取对应的优化光照参数集合；S4，根据优化角度参数集合以及优化光照参数集合，进行待测产品的表面图像采集；S5，通过图像分析，获取待测产品的缺陷检测结果。本发明通过结合角度参数集合和光照参数集合，能够实现对待测产品表面信息的全面且丰富的捕获，进而实现图像的高效分析，能够实现对复杂形状产品的缺陷检测。