公开(公告)号：CN116012950A

公开(公告)日：2023-04-25

申请号：CN202310117822.7

申请日：2023-02-15

Applicant: 杭州电子科技大学信息工程学院 ,  杭州电子科技大学

Inventor： 张海平 ,  张昕昊 ,  刘旭 ,  马琮皓 ,  胡泽鹏 ,  杨景皓 ,  朱崇磊 ,  管力明

IPC: G06V40/20 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明公开了一种基于多重心时空注意图卷积网络的骨架动作识别方法，包括：对预处理后的人体行为视频进行一阶骨骼信息提取并形成第一骨架序列；将第一骨架序列转换为第二骨架序列；获取每帧图像的二阶骨骼信息；根据四种流态数据对应建立四类训练集和标签；建立多重心时空注意图卷积网络模型并训练；将待识别的人体行为视频输入训练好的模型，获取对应的初始预测结果和softmax分数；根据初始预测结果利用多重心特征融合单元计算对应权重系数；采用特征融合模块将各softmax分数进行加权融合获得骨架动作识别结果。该方法可结合数量更多、特征更明显的关节数据以实现人体行为预测，提高预测精确度。

公开(公告)号：CN116012950B

公开(公告)日：2023-06-30

申请号：CN202310117822.7

申请日：2023-02-15

Applicant: 杭州电子科技大学信息工程学院 ,  杭州电子科技大学

Inventor： 张海平 ,  张昕昊 ,  刘旭 ,  马琮皓 ,  胡泽鹏 ,  杨景皓 ,  朱崇磊 ,  管力明

IPC: G06V40/20 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明公开了一种基于多重心时空注意图卷积网络的骨架动作识别方法，包括：对预处理后的人体行为视频进行一阶骨骼信息提取并形成第一骨架序列；将第一骨架序列转换为第二骨架序列；获取每帧图像的二阶骨骼信息；根据四种流态数据对应建立四类训练集和标签；建立多重心时空注意图卷积网络模型并训练；将待识别的人体行为视频输入训练好的模型，获取对应的初始预测结果和softmax分数；根据初始预测结果利用多重心特征融合单元计算对应权重系数；采用特征融合模块将各softmax分数进行加权融合获得骨架动作识别结果。该方法可结合数量更多、特征更明显的关节数据以实现人体行为预测，提高预测精确度。

公开(公告)号：CN118155283A

公开(公告)日：2024-06-07

申请号：CN202410288694.7

申请日：2024-03-14

Applicant: 杭州电子科技大学 ,  杭州电子科技大学信息工程学院

Inventor： 张海平 ,  林海翔 ,  张昕昊 ,  朱崇磊 ,  施月玲 ,  管力明

IPC: G06V40/20 ,  G06V10/46 ,  G06N3/0464 ,  G06V10/82 ,  G06V10/80 ,  G06N3/045 ,  G06V10/764

Abstract: 本发明公开了一种基于多中心多模态的图卷积网络的骨架动作识别方法，包括如下步骤：步骤1、获取骨架数据并进行数据预处理和数据增强；步骤2、经步骤1处理后的骨架数据的关节流态作为一阶骨骼数据；步骤3、对关节流态进行处理得到二阶骨架数据，所述二阶骨骼数据包括骨骼流态；步骤4、应用GPT‑3模型，将人体动作识别数据作为输入生成离线动作的文本描述数据；步骤5、构建并训练多中心多模态图卷积网络模型；步骤6、分别将关节流态数据、骨骼流态数据以及文本描述数据输入输出最后的预测结果。该方法方便网络在极端尺度变化下识别和检测对象，实现注意特征融合。有助于提高人体行为的预测精确度。

公开(公告)号：CN116665300A

公开(公告)日：2023-08-29

申请号：CN202310609183.6

申请日：2023-05-29

Applicant: 杭州电子科技大学信息工程学院 ,  杭州电子科技大学

Inventor： 张海平 ,  张昕昊 ,  周福兴 ,  管力明 ,  施月玲

IPC: G06V40/20 ,  G06V10/80 ,  G06V10/82 ,  G06V10/774 ,  G06V10/764 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/045 ,  G06N3/082

Abstract: 本发明公开了一种基于时空自适应特征融合图卷积网络的骨架动作识别方法，包括如下步骤：S1、获取人体的骨架动作序列的原始数据集并进行数据预处理和数据增强；S2、对预处理和数据增强后得到的骨架数据进行处理，得到骨架数据的二阶骨骼信息；S3、将关节运动流态和骨骼运动流态整合形成肢体流；S4、构建时空自适应特征融合图卷积网络；S5、分别将关节流态、骨骼流态和肢体流数据输入到时空自适应特征融合图卷积网络中进行训练，获取对应的初始预测结果和softmax分数，最终通过权重相加的方式融合输出最后的预测结果。该方法可更充分地提取不同尺度上下文信息，结合数量更多、特征更明显的关节数据以实现人体行为预测，有助于提高人体行为的预测精确度。