一种基于跨模态解耦知识转移的三维目标检测方法及系统

    公开(公告)号:CN118799665B

    公开(公告)日:2024-11-22

    申请号:CN202411273178.3

    申请日:2024-09-12

    Applicant: 烟台大学

    Abstract: 本发明涉及计算机视觉技术领域,尤其是涉及一种基于跨模态解耦知识转移的三维目标检测方法及系统。所述方法,获取原始数据,包括获取立体图像和原始点云数据;基于获取的原始数据进行特征提取,根据划分的特征图进行特征增强网络的构建,利用特征增强网络进行结构保持提取,根据结构保持提取进行解耦分类头知识蒸馏,包括将logit KD方法进行解耦为目标分类蒸馏和非目标分类蒸馏,通过KL散度来计算目标分类蒸馏损失和非目标分类蒸馏损失;根据解耦分类头知识蒸馏定义损失函数,本发明通过解耦分类头知识蒸馏将目标分类和非目标分类分别考虑,能够更精细地调整学生模型的分类能力,进一步提高目标检测的准确性。

    一种基于最大化编码率降低的多模态分类方法及系统

    公开(公告)号:CN118762245A

    公开(公告)日:2024-10-11

    申请号:CN202411252128.7

    申请日:2024-09-09

    Applicant: 烟台大学

    Abstract: 本发明涉及深度学习的多模态数据分类技术领域,尤其是涉及一种基于最大化编码率降低的多模态分类方法及系统。方法,包括以总体编码率最大化和压缩不同子空间的编码速率构建基于最大化编码率降低损失,优化不同视角的特定特征表示;以最大化特定特征表示与全局特征表示间的互信息为目标构建最大互信息损失;通过将特定特征表示映射到指定数量的类别维度得到每个类别的得分,来构建交叉熵损失;分别基于交叉熵损失、最大化编码率降低损失和最大互信息损失训练多模态分类网络模型。通过空间变换和跨样本融合来对齐和融合这些特定于视图的特征,以实现跨多个视图的一致特征。

    一种基于特征融合和标签对齐的多模态聚类方法及系统

    公开(公告)号:CN118760913A

    公开(公告)日:2024-10-11

    申请号:CN202411237176.9

    申请日:2024-09-05

    Applicant: 烟台大学

    Abstract: 本发明涉及深度学习技术领域,尤其是涉及一种基于特征融合和标签对齐的多模态聚类方法及系统。方法,包括获取多视图样本数据和真实聚类标签;构建多视图对比学习神经网络模型;利用多视图样本数据对多视图对比学习神经网络模型进行训练,得到训练好的多视图对比学习神经网络模型;利用训练好的多视图对比学习神经网络模型对多视图样本数据进行特征提取,通过计算损失来优化模型输出的标签质量,得到多视图聚类模型;通过自我监督的方法有效地嵌入特征学习和标签学习任务到一个单一的框架。这种方法比两阶段深度多视图聚类方法更简单、更快,而且它还有效地利用了视图特定的信息来协助视图共识语义的生成。

    一种基于视觉神经网络的圆形衬套缺陷检测方法及系统

    公开(公告)号:CN118379296B

    公开(公告)日:2024-09-27

    申请号:CN202410831239.7

    申请日:2024-06-26

    Applicant: 烟台大学

    Abstract: 本发明涉及计算机视觉技术领域,尤其是涉及一种基于视觉神经网络的圆形衬套缺陷检测方法及系统。所述方法,包括:获取训练用图像数据集,并对图像数据集进行预处理;基于获取的图像数据集进行图像分割网络搭建,包括利用线性投影将图像分割为不重叠的块;利用编码器提取分割后的图像特征注意力关系,并通过线性分类器对图像分割网络的输出进行分类;根据图像分割网络的输出分类进行缺陷检测网络搭建,对缺陷检测网络中的每个阶段引入通道注意力机制,并将所有注意力信息反馈至原特征图;利用缺陷检测网络进行检测结果的输出,本发明通过添加通道注意力机制可以帮助网络对图像中重要的目标信息进行突出,提高网络对目标部分的感知能力。

Patent Agency Ranking