公开(公告)号：CN117475513A

公开(公告)日：2024-01-30

申请号：CN202311481265.3

申请日：2023-11-08

Applicant: 南京信息职业技术学院

Inventor： 李晨 ,  陈模 ,  李群

IPC: G06V40/20 ,  G06V20/40 ,  G06F18/25 ,  G06V10/44 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/0895 ,  G06N3/048

Abstract: 本发明公开了一种基于跨模态对齐和动态多实例学习的人体异常行为检测方法，包括将人体异常行为检测数据集(包括训练集和测试集)中的视频定义为视频包，且将视频包分割为视频实例；生成视频实例的文本描述；提取视频实例的视觉特征和其文本描述的文本特征；基于交叉注意力实现视觉特征和文本特征的交互和对齐，并输出跨模态对齐后的特征；将训练集视频实例的跨模态对齐特征输入全连接神经网络中，采用动态排序方法训练全连接神经网络，得到人体异常行为检测模型；将测试集数据输入人体异常行为检测模型中，计算实例异常分数并进行测试，得到人体异常行为检测结果。本发明节省了大量的标注成本，提高了人体异常行为检测的效率和准确度。