公开(公告)号：CN111178216A

公开(公告)日：2020-05-19

申请号：CN201911339854.1

申请日：2019-12-23

Applicant: 东北大学

Inventor： 周昊 ,  刘畅 ,  侯宝玉

IPC: G06K9/00

Abstract: 本发明属于姿态识别技术领域，尤其涉及一种基于姿态时空特征的考场异常行为识别方法。包括如下步骤：对考场监控视频进行截帧，获得连续多帧考生肢体行为图像，所述考场监控视频是由摄像头采集获得的；对所述考生肢体行为图像进行预处理，提取考生肢体行为图像中考生的关键点的时空信息序列；将所述时空信息序列输入单人原子行为识别模型，输出异常行为的类型、时间、位置和方向；基于异常行为的类型、时间、位置和方向，筛选并提取出时间接近、位置相邻且异常行为的类型相对应的考生的关键点的时空信息序列；将获取的时空信息序列输入双人协同行为识别模型，输出双人异常行为类型。该方法识别效果好、识别效率高、可扩展性强。

公开(公告)号：CN111178216B

公开(公告)日：2023-06-09

申请号：CN201911339854.1

申请日：2019-12-23

Applicant: 东北大学

Inventor： 周昊 ,  刘畅 ,  侯宝玉

IPC: G06V20/40 ,  G06V20/52 ,  G06V40/20

Abstract: 本发明属于姿态识别技术领域，尤其涉及一种基于姿态时空特征的考场异常行为识别方法。包括如下步骤：对考场监控视频进行截帧，获得连续多帧考生肢体行为图像，所述考场监控视频是由摄像头采集获得的；对所述考生肢体行为图像进行预处理，提取考生肢体行为图像中考生的关键点的时空信息序列；将所述时空信息序列输入单人原子行为识别模型，输出异常行为的类型、时间、位置和方向；基于异常行为的类型、时间、位置和方向，筛选并提取出时间接近、位置相邻且异常行为的类型相对应的考生的关键点的时空信息序列；将获取的时空信息序列输入双人协同行为识别模型，输出双人异常行为类型。该方法识别效果好、识别效率高、可扩展性强。

公开(公告)号：CN117853978A

公开(公告)日：2024-04-09

申请号：CN202410023044.X

申请日：2024-01-08

Applicant: 东北大学

Inventor： 侯宝玉 ,  张译 ,  吴斯铭 ,  马安香

IPC: G06V20/40 ,  G06V20/62 ,  G06V10/774

Abstract: 本发明的一种基于大规模语言模型的密集视频检测方法，包括：收集现有图像字幕数据集和视频字幕数据集，构造图像‑文本对和帧图像序列‑文本对；搭建多模态大语言模型框架，通过DeepSpeed工具进行分布式训练，利用图像‑文本对和帧图像序列‑文本对微调多模态大语言模型；收集现有密集视频数据集，对密集视频进行均匀采样得到帧图像序列，对密集视频的事件进行填充和截断；构造模型输入范式，对微调后的多模态大语言模型有监督微调实现密集视频检测。本发明将密集视频检测与多模态大语言模型相结合，通过迁移学习，充分利了用图像字幕与视频字幕任务的文本信息、多模态大语言模型的视觉和文本理解能力。