公开(公告)号：CN111523410A

公开(公告)日：2020-08-11

申请号：CN202010273756.9

申请日：2020-04-09

Applicant: 哈尔滨工业大学

Inventor： 刘冰 ,  付平 ,  凤雷 ,  王方园 ,  徐明珠 ,  高丽娜 ,  孙少伟 ,  黄守娟 ,  王宾涛

IPC: G06K9/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明是一种基于注意力机制的视频显著性目标检测方法。所述方法为通过静态卷积网络提取静态特征，对多帧的视频图像进行初步的空间上的特征提取；将提取到的特征送入到嵌入注意力机制的双向convLSTM模块，学习时空一致性特征的同时保持特征的结构和空间结构；在网络深层提取的特征中加入通道注意力CA模块，在网络浅层提取的不同尺度的特征中加入空间注意力SA模块；通过通道注意力CA模块指导空间注意力SA模块学习，生成检测结果，得到网络检测视频帧中的显著图像；根据生成的检测结果和真值计算损失函数，反向传递误差，更新网络参数。本发明在基于注意力机制的视频显著性目标检测方法为视频的显著性检测提供了一种新的思路。

公开(公告)号：CN111523410B

公开(公告)日：2022-08-26

申请号：CN202010273756.9

申请日：2020-04-09

Applicant: 哈尔滨工业大学

Inventor： 刘冰 ,  付平 ,  凤雷 ,  王方园 ,  徐明珠 ,  高丽娜 ,  孙少伟 ,  黄守娟 ,  王宾涛

IPC: G06V20/40 ,  G06V10/82 ,  G06V10/80 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明是一种基于注意力机制的视频显著性目标检测方法。所述方法为通过静态卷积网络提取静态特征，对多帧的视频图像进行初步的空间上的特征提取；将提取到的特征送入到嵌入注意力机制的双向convLSTM模块，学习时空一致性特征的同时保持特征的结构和空间结构；在网络深层提取的特征中加入通道注意力CA模块，在网络浅层提取的不同尺度的特征中加入空间注意力SA模块；通过通道注意力CA模块指导空间注意力SA模块学习，生成检测结果，得到网络检测视频帧中的显著图像；根据生成的检测结果和真值计算损失函数，反向传递误差，更新网络参数。本发明在基于注意力机制的视频显著性目标检测方法为视频的显著性检测提供了一种新的思路。