公开(公告)号：CN113378641B

公开(公告)日：2024-04-09

申请号：CN202110518115.X

申请日：2021-05-12

Applicant: 北京工业大学

Inventor： 何坚 ,  刘炎

IPC: G06V40/20 ,  G06V10/80 ,  G06F3/01 ,  G06V10/82 ,  G06N3/0464

Abstract: 基于深度神经网络和注意力机制的手势识别方法属于电子信息领域。首先，本发明设计在双流算法中引入ECA有效通道注意力增强双流算法对手势关键帧的关注度，并利用双流算法中的空间卷积网络和时间卷积网络分别提取动态手势中的空间和时序特征；其次，通过ECA在空间流中选取最高关注度的手势帧，利用单发多框检测器技术提取相应手部姿态特征；最后，将手部姿态特征与双流中提取的人体姿态特征、手势时序特征融合后分类识别手势。本方法在Chalearn2013多模态手势数据集上进行了验证，准确率为66.23％，相比之前在该数据集上仅使用RGB信息进行双流识别的方法获得了更好的手势识别效果。

公开(公告)号：CN113378641A

公开(公告)日：2021-09-10

申请号：CN202110518115.X

申请日：2021-05-12

Applicant: 北京工业大学

Inventor： 何坚 ,  刘炎

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06F3/01

Abstract: 基于深度神经网络和注意力机制的手势识别方法属于电子信息领域。首先，本发明设计在双流算法中引入ECA有效通道注意力增强双流算法对手势关键帧的关注度，并利用双流算法中的空间卷积网络和时间卷积网络分别提取动态手势中的空间和时序特征；其次，通过ECA在空间流中选取最高关注度的手势帧，利用单发多框检测器技术提取相应手部姿态特征；最后，将手部姿态特征与双流中提取的人体姿态特征、手势时序特征融合后分类识别手势。本方法在Chalearn2013多模态手势数据集上进行了验证，准确率为66.23％，相比之前在该数据集上仅使用RGB信息进行双流识别的方法获得了更好的手势识别效果。