一种RGB-D显著性物体检测、语义分割方法及系统

    公开(公告)号:CN117292122A

    公开(公告)日:2023-12-26

    申请号:CN202311068540.9

    申请日:2023-08-23

    Applicant: 南开大学

    Abstract: 本发明涉及图像处理技术领域,提供了一种RGB‑D显著性物体检测、语义分割方法及系统。RGB‑D分割模型模块包括编码器和解码器;编码器包括多个RGB‑D块;在每个RGB‑D块中,基于RGB特征图和深度特征图,采用跨模态注意力机制,得到跨模态注意力特征图,对深度特征图进行深度可分离卷积后,与RGB特征图进行逻辑运算,得到局部增强特征图;将跨模态注意力特征图、局部增强特征图和RGB特征图的捷径特征图,进行线性处理,得到RGB输出结果和深度输出结果;并将RGB输出结果和深度输出结果作为下一个RGB‑D块的输入。

    基于掩码可分离注意力机制的伪装目标分割方法及系统

    公开(公告)号:CN116452798A

    公开(公告)日:2023-07-18

    申请号:CN202211545955.6

    申请日:2022-12-05

    Applicant: 南开大学

    Abstract: 本发明提出了基于掩码可分离注意力机制的伪装目标分割方法及系统,涉及图像处理技术领域,具体方案包括:构建伪装目标分割模型,并对伪装目标分割模型进行训练;利用编码器对输入图像进行编码,得到初始特征;将初始特征输入到解码器中解码,生成伪装目标的初始分割;基于掩码可分离注意力机制,对初始分割进行渐进式地优化分割,得到最终的伪装目标分割结果;本发明设置掩码可分离注意力机制,利用掩码将注意力机制分为前景注意力、背景注意力以及全局注意力,前景和背景注意力分别关注前景和背景区域,全局注意力机制提取全局信息,再利用前景注意力分数在全局信息中发现伪装对象,利用背景注意力确定背景,进而分割出精确的伪装目标。

    一种基于特征动态选择的多任务联合检测方法

    公开(公告)号:CN111598107B

    公开(公告)日:2022-06-14

    申请号:CN202010303705.6

    申请日:2020-04-17

    Applicant: 南开大学

    Abstract: 本发明公开了一种基于特征动态选择的多任务联合检测方法,属于图像处理技术领域。大多数现有的检测模型都是每个不同的任务独立设计一个不同的模型来分别进行处理,需要花费大量的人工精力。本发明创造性地提出一种基于特征动态选择的多任务联合检测模型,该模型能够根据不同任务的特点自适应且动态地从共享的特征集合中选择各任务合适的特征;此外,该模型能够能够被端到端的训练,并且能够一次计算同时输出得到待检测图像的显著性物体检测结果图像、边缘检测结果图像以及骨架检测结果图像。本方法在一个网络模型中同时并且快速地完成了三种不同的图像处理任务,此方法具有结构简单、参数量小和运行速度快的优点,并且具有良好的检测准确率。

    一种基于深度网络的多类型任务通用的检测方法

    公开(公告)号:CN108428238B

    公开(公告)日:2022-02-15

    申请号:CN201810173285.7

    申请日:2018-03-02

    Applicant: 南开大学

    Abstract: 本发明公开了一种基于深度网络的多类型任务通用的检测方法,属于图像处理技术领域。包含如下步骤:a.分别选择上述三种任务所需要的训练图片;b.在相同的网络结构下设计完成需要的模型参数和网络初始参数;c.设计需要优化的损失函数,并利用深度预测模型和物体检测模型得到其具体表示;d.优化调整初始模型的参数,最终得到分别符合三种要求的具有统一结构的检测模型参数;e.利用训练好的模型对任意输入的自然场景图片得到显著性物体检测、骨架提取、边缘检测三种图像处理结果。本方法能够在一个统一的网络结构下完成三种截然不同的图像处理任务,此方法具有良好的通用性和可移植性,同时达到了良好的检测效果。

    基于在线注意力累积的挖掘目标物体区域的方法

    公开(公告)号:CN110458221A

    公开(公告)日:2019-11-15

    申请号:CN201910715341.X

    申请日:2019-08-05

    Applicant: 南开大学

    Abstract: 本发明公开了一种基于在线注意力累积的挖掘目标物体区域的方法。该方法的目的是以弱监督的方式高效地找到图像的目标物体区域,这种区域可以为弱监督语义分割任务提供监督。基于训练过程中注意力不停地在目标物体上变化的观察,该方法在训练过程中为每一个目标物体维护了一张存储图。通过不断的将每一次迭代中生成的注意力图融合到存储图中,这个在线注意力累积过程可以将注意力在目标物体上出现过的所有位置记录下来,帮助找到整个目标物体区域。另外,该方法在更新存储图的过程中,通过改进的交叉熵损失函数对存储图中学习到的知识进行监督,从而得到更加完整的物体区域。

    一种基于深度网络的多类型任务通用的检测方法

    公开(公告)号:CN108428238A

    公开(公告)日:2018-08-21

    申请号:CN201810173285.7

    申请日:2018-03-02

    Applicant: 南开大学

    Abstract: 本发明公开了一种基于深度网络的多类型任务通用的检测方法,属于图像处理技术领域。包含如下步骤:a.分别选择上述三种任务所需要的训练图片;b.在相同的网络结构下设计完成需要的模型参数和网络初始参数;c.设计需要优化的损失函数,并利用深度预测模型和物体检测模型得到其具体表示;d.优化调整初始模型的参数,最终得到分别符合三种要求的具有统一结构的检测模型参数;e.利用训练好的模型对任意输入的自然场景图片得到显著性物体检测、骨架提取、边缘检测三种图像处理结果。本方法能够在一个统一的网络结构下完成三种截然不同的图像处理任务,此方法具有良好的通用性和可移植性,同时达到了良好的检测效果。

Patent Agency Ranking