公开(公告)号：CN113537326B

公开(公告)日：2024-06-25

申请号：CN202110760504.3

申请日：2021-07-06

Applicant: 安徽大学

Inventor： 刘政怡 ,  汪远 ,  张志立 ,  檀亚诚 ,  姚晟

IPC: G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种RGB‑D图像显著目标检测方法，包括以下步骤：提取RGB和Depth图像特征，同时实施融合形成RGBD融合特征，将其划分为高层RGBD融合特征及低层RGBD融合特征；利用三个Transformer增强所述高层RGBD融合特征，形成高层RGBD增强特征；三流解码所述高层RGBD增强特征，通过与低层RGBD融合特征的结合，形成RGBD细化特征；融合所述RGBD细化特征形成显著图；本发明检测方法利用Transformer增强高层特征，准确获取显著物体的位置信息，并利用三流融合，融入低层特征，细化显著物体轮廓细节；通过卷积神经网络和Transformer的结合、全局和局部的优化，产生精度高的显著图。

公开(公告)号：CN115546512A

公开(公告)日：2022-12-30

申请号：CN202211047306.3

申请日：2022-08-29

Applicant: 安徽大学

Inventor： 刘政怡 ,  何倩 ,  檀亚诚

IPC: G06V10/46 ,  G06V10/80 ,  G06V10/42 ,  G06V10/44 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于可学习的权重描述子的光场图像显著目标检测方法，包括以下步骤：S1、从光场图像中分别提取全聚焦特征和焦点堆栈特征；S2、对焦点堆栈特征进行加权，产生增强的焦点堆栈特征；所述权重通过可学习的权重描述子由一个Transformer解码器实现；S3、分层交互全聚焦特征和增强的焦点堆栈特征，产生多模态的融合特征；S4、解码多模态的融合特征，产生显著图；S5、利用显著图真值监督所述显著图，通过训练集的训练，形成光场图像显著目标检测模型；S6、利用所述光场图像显著目标检测模型检测任意一张光场图像，经过步骤S1‑S4，输出显著图为检测结果。本发明方法通过可学习的权重描述子对焦点堆栈的特征进行焦片间以及空间和通道上的加权，以获取更有效的信息，通过分层多模态融合，促进多模态之间信息的充分交互，实现有效融合，提高检测精度。

公开(公告)号：CN113658134B

公开(公告)日：2024-08-23

申请号：CN202110939965.7

申请日：2021-08-13

Applicant: 安徽大学

Inventor： 刘政怡 ,  檀亚诚 ,  朱斌 ,  张子森 ,  姚晟 ,  李炜

IPC: G06T7/00 ,  G06T7/33 ,  G06T5/50 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了一种多模态对齐校准的RGB‑D图像显著目标检测方法，包括以下步骤：从RGB‑D图像中提取RGB特征和Depth特征；对RGB特征和Depth特征进行对齐校准，产生RGB修正特征和Depth修正特征；从Depth特征中提取边特征，产生边图；联合解码RGB修正特征、Depth修正特征、边特征产生显著图；利用显著图真值、边图真值监督所述边图、显著图，通过训练集的训练，形成RGB‑D图像显著目标检测模型；利用所述RGB‑D图像显著目标检测模型检测任意一张RGB‑D图像，输出显著图为检测结果。所述方法通过对颜色特征和深度特征进行对齐校准减少两种模态之间的差异，实现有效融合，提高检测精度。

公开(公告)号：CN115359331A

公开(公告)日：2022-11-18

申请号：CN202211050886.1

申请日：2022-08-29

Applicant: 安徽大学

Inventor： 刘政怡 ,  檀亚诚 ,  吴伟 ,  张广辉

IPC: G06V10/80 ,  G06V10/52 ,  G06V10/82

Abstract: 本发明公开了一种面向Transformer的多尺度特征增强模块，包括以下步骤：基于原始的特征块序列构造一条Transformer路径；对原始的特征块序列进行不同级别的块合并，构造多条带残差的Transformer路径；对所述S1和S2产生的结果进行级联，降维，产生增强的特征块序列；所述模块通过不同级别的块合并，形成不同尺度的块序列，由多条Transformer路径增强特征感知尺度的能力。

公开(公告)号：CN115359428A

公开(公告)日：2022-11-18

申请号：CN202211048694.7

申请日：2022-08-29

Applicant: 安徽大学

Inventor： 刘政怡 ,  吴伟 ,  檀亚诚 ,  唐彬 ,  方贤勇 ,  汪粼波

IPC: G06V20/52 ,  G06V10/56 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04

Abstract: 本发明公开了一种多模态人群计数模型，包括以下步骤：利用编码器从多模态源信号中提取多模态特征；设置一个可学习的计数特征；级联多模态特征和计数特征，形成计数指导的融合特征；通过一个多头自注意力块，对计数指导的融合特征进行增强，形成增强特征；拆分增强特征，形成增强的多模态特征和增强的计数特征；将增强的多模态特征进行通道级联，利用预测头进行密度图的预测；使用多层感知机对增强的计数特征进行降通道操作，形成计数值；利用密度图真值对密度图进行监督，利用计数真值对密度图统计的计数值进行监督，利用计数真值对计数值进行监督；通过训练集的训练形成多模态人群计数模型。所述模型通过计数信息的指导，由多头自注意力实施多模态融合，提高人群计数精度。

公开(公告)号：CN113658134A

公开(公告)日：2021-11-16

申请号：CN202110939965.7

申请日：2021-08-13

Applicant: 安徽大学

Inventor： 刘政怡 ,  檀亚诚 ,  朱斌 ,  张子森 ,  姚晟 ,  李炜

IPC: G06T7/00 ,  G06T7/33 ,  G06T5/50 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种多模态对齐校准的RGB‑D图像显著目标检测方法，包括以下步骤：从RGB‑D图像中提取RGB特征和Depth特征；对RGB特征和Depth特征进行对齐校准，产生RGB修正特征和Depth修正特征；从Depth特征中提取边特征，产生边图；联合解码RGB修正特征、Depth修正特征、边特征产生显著图；利用显著图真值、边图真值监督所述边图、显著图，通过训练集的训练，形成RGB‑D图像显著目标检测模型；利用所述RGB‑D图像显著目标检测模型检测任意一张RGB‑D图像，输出显著图为检测结果。所述方法通过对颜色特征和深度特征进行对齐校准减少两种模态之间的差异，实现有效融合，提高检测精度。

公开(公告)号：CN113537326A

公开(公告)日：2021-10-22

申请号：CN202110760504.3

申请日：2021-07-06

Applicant: 安徽大学

Inventor： 刘政怡 ,  汪远 ,  张志立 ,  檀亚诚 ,  姚晟

IPC: G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种RGB‑D图像显著目标检测方法，包括以下步骤：提取RGB和Depth图像特征，同时实施融合形成RGBD融合特征，将其划分为高层RGBD融合特征及低层RGBD融合特征；利用三个Transformer增强所述高层RGBD融合特征，形成高层RGBD增强特征；三流解码所述高层RGBD增强特征，通过与低层RGBD融合特征的结合，形成RGBD细化特征；融合所述RGBD细化特征形成显著图；本发明检测方法利用Transformer增强高层特征，准确获取显著物体的位置信息，并利用三流融合，融入低层特征，细化显著物体轮廓细节；通过卷积神经网络和Transformer的结合、全局和局部的优化，产生精度高的显著图。