公开(公告)号：CN113298017B

公开(公告)日：2024-04-23

申请号：CN202110647905.8

申请日：2021-06-10

Applicant: 东南大学

Inventor： 姚莉 ,  范文鸿 ,  杨俊宴 ,  吴含前

IPC: G06V20/40 ,  G06V10/62 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464

Abstract: 本发明公开一种针对视频行为检测的行为提议生成方法。在特征提取阶段，使用slow和fast两个通道分别提取视频的空间信息和时间信息；在行为提议生阶段，首先对提取到的空间信息和时间信息使用不同的预处理过程，并在两个不同阶段进行融合，接着，使用PFG layer为每个行为提议进行采样，生成提议特征，并分别输送到TEM和PEM用以预测边界可能性序列和边界匹配置信度图，最后，对预测结果进行置信度融合生成候选行为提议，并使用Soft‑NMS算法进行筛选。本发明能够在原始视频未裁剪的情况下，对未裁剪视频生成行为提议，分割出视频中包含行为的视频片段，定位出行为发生的起始时间和结束时间。

公开(公告)号：CN113298017A

公开(公告)日：2021-08-24

申请号：CN202110647905.8

申请日：2021-06-10

Applicant: 东南大学

Inventor： 姚莉 ,  范文鸿 ,  杨俊宴 ,  吴含前

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04

Abstract: 本发明公开一种针对视频行为检测的行为提议生成方法。在特征提取阶段，使用slow和fast两个通道分别提取视频的空间信息和时间信息；在行为提议生阶段，首先对提取到的空间信息和时间信息使用不同的预处理过程，并在两个不同阶段进行融合，接着，使用PFG layer为每个行为提议进行采样，生成提议特征，并分别输送到TEM和PEM用以预测边界可能性序列和边界匹配置信度图，最后，对预测结果进行置信度融合生成候选行为提议，并使用Soft‑NMS算法进行筛选。本发明能够在原始视频未裁剪的情况下，对未裁剪视频生成行为提议，分割出视频中包含行为的视频片段，定位出行为发生的起始时间和结束时间。