公开(公告)号：CN117292122A

公开(公告)日：2023-12-26

申请号：CN202311068540.9

申请日：2023-08-23

Applicant: 南开大学

Inventor： 尹博文 ,  侯淇彬 ,  张旭迎 ,  李钟毓 ,  程明明

IPC: G06V10/26 ,  G06V10/82 ,  G06N3/0455 ,  G06V10/80

Abstract: 本发明涉及图像处理技术领域，提供了一种RGB‑D显著性物体检测、语义分割方法及系统。RGB‑D分割模型模块包括编码器和解码器；编码器包括多个RGB‑D块；在每个RGB‑D块中，基于RGB特征图和深度特征图，采用跨模态注意力机制，得到跨模态注意力特征图，对深度特征图进行深度可分离卷积后，与RGB特征图进行逻辑运算，得到局部增强特征图；将跨模态注意力特征图、局部增强特征图和RGB特征图的捷径特征图，进行线性处理，得到RGB输出结果和深度输出结果；并将RGB输出结果和深度输出结果作为下一个RGB‑D块的输入。

公开(公告)号：CN115424288A

公开(公告)日：2022-12-02

申请号：CN202210645115.0

申请日：2022-06-09

Applicant: 南开大学

Inventor： 程明明 ,  李钟毓 ,  高尚华

IPC: G06V40/10 ,  G06V10/44 ,  G06V10/764 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明属于计算机视觉技术领域，提供了一种基于多维度关系建模的视觉Transformer自监督学习方法及系统，该方法利用空间维度和通道维度上的自关系建模，使用不同的图像变换处理图像得到图像的不同视图；图像的不同视图分别由教师网络和学生网络处理，得到特征图；学生网络提取的特征图进一步通过卷积层处理；通过点积计算特征图在空间维度与通道维度的自关系矩阵，计算教师网络与学生网络提取的关系矩阵的差异作为损失函数，并利用其关于网络参数的导数更新网络参数，相较于现有的自监督学习方法只考虑视觉模式的特征，该方法同时考虑了视觉模式在空间和通道维度的相关性，可以显著提升图像识别、语义分割、目标检测、实例检测等任务的准确性。

公开(公告)号：CN118781219A

公开(公告)日：2024-10-15

申请号：CN202410801743.2

申请日：2024-06-20

Applicant: 南开大学

Inventor： 范登平 ,  李钟毓 ,  李运恒 ,  程明明 ,  薛超

IPC: G06T11/20 ,  G06N3/0455 ,  G06N3/0895

Abstract: 本发明公开了一种基于渐进式重建的高效自监督学习方法及系统，其中方法，包括：获取待重建图像，将待重建图像划分为若干个不重叠的图像块；将待重建图像的所有图像块，输入到训练后的神经网络模型中，得到重建后的图像；其中，训练后的神经网络模型，编码器用于提取所有图像块的特征，所述图像块特征包括：被遮蔽图像块的特征和未被遮蔽图像块的特征，所述最远采样模块对被遮蔽图像块的特征进行选择性地丢弃或保留，所述解码器对被遮蔽图像块的保留特征和未被遮蔽图像块的特征进行重建，得到第一重建图像；所述渐进式重建模块对被遮蔽图像块的丢弃特征进行重建，得到第二重建图像；将第一和第二重建图像进行整合，得到最终重建后的图像。

公开(公告)号：CN117036854A

公开(公告)日：2023-11-10

申请号：CN202310962712.0

申请日：2023-08-01

Applicant: 南开大学

Inventor： 程明明 ,  李钟毓 ,  尹博文 ,  高尚华

IPC: G06V10/774 ,  G06V10/764 ,  G06V10/82 ,  G06V10/26 ,  G06N3/088 ,  G06N3/047 ,  G06N3/045

Abstract: 本发明提出了一种基于异构网络的自监督学习方法及系统，涉及计算机视觉技术领域，具体方案包括：串联异构的基础网络和辅助网络，构建结构相同的教师模型和学生模型；对无标注图像数据集进行预处理，得到每张图像对应的两张不同视图；基于预处理后的无标注图像数据集，对教师模型和学生模型进行自监督学习，将学习后的基础网络作为自监督模型，用于待处理图像的特征提取；本发明利用异构的辅助网络指导基础网络的表征学习，使基础网络学习不同网络架构的优点，提高基础网络高质量图像特征的表征能力。

公开(公告)号：CN113223037B

公开(公告)日：2023-04-07

申请号：CN202110600887.8

申请日：2021-05-31

Applicant: 南开大学

Inventor： 程明明 ,  高尚华 ,  李钟毓

IPC: G06T7/136 ,  G06N3/08

Abstract: 本公开提供了一种面向大规模数据的无监督语义分割方法及系统，获取待分割的多张图像；将获取的图像输入到分割网络模型中，得到语义分割结果；其中，分割网络模型采用无监督方式训练，训练过程为：对获取的训练图像进行基于像素注意力机制的表征学习，得到图像表征结果；根据得到的图像表征结果进行聚类，得到多个伪标签；根据得到的伪标签进行分割网络模型的训练；本公开通过像素注意力机制和像素对齐机制，使用基于无监督方法生成的前景显著性信息监督像素注意力机制的学习，提高了语义分割的效率和精度。

公开(公告)号：CN113223037A

公开(公告)日：2021-08-06

申请号：CN202110600887.8

申请日：2021-05-31

Applicant: 南开大学

Inventor： 程明明 ,  高尚华 ,  李钟毓

IPC: G06T7/136 ,  G06N3/08

Abstract: 本公开提供了一种面向大规模数据的无监督语义分割方法及系统，获取待分割的多张图像；将获取的图像输入到分割网络模型中，得到语义分割结果；其中，分割网络模型采用无监督方式训练，训练过程为：对获取的训练图像进行基于像素注意力机制的表征学习，得到图像表征结果；根据得到的图像表征结果进行聚类，得到多个伪标签；根据得到的伪标签进行分割网络模型的训练；本公开通过像素注意力机制和像素对齐机制，使用基于无监督方法生成的前景显著性信息监督像素注意力机制的学习，提高了语义分割的效率和精度。