公开(公告)号：CN113343941B

公开(公告)日：2023-07-25

申请号：CN202110821209.4

申请日：2021-07-20

Applicant: 中国人民大学

Inventor： 苏冰 ,  周彧杰 ,  饶安逸 ,  强文文 ,  文继荣

IPC: G06V20/40 ,  G06V10/764 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及计算机视觉技术领域，为一种基于互信息相似度的零样本动作识别方法及系统，S1，在零样本的动作分类任务中使用视频特征提取模块进行骨架动作特征提取；S2，利用语义特征提取模块对动作标签的语义信息进行特征化处理；S3，构建出语义特征和视频特征之间的非线性映射，同时设计出随帧数递增而互信息递增的互信息判别网络，以增强互信息对两类特征的判别能力。通过最大化视觉特征和语义特征之间的互信息来捕捉两者分布之间的非线性统计相关性，进而提高对不可见类的泛化效果；保证了互信息在时序上的递增单调约束，从而使得时序信息融合进了互信息的判别网络之中，提升了网络的判别效果；具有更好的性能。

公开(公告)号：CN113343941A

公开(公告)日：2021-09-03

申请号：CN202110821209.4

申请日：2021-07-20

Applicant: 中国人民大学

Inventor： 苏冰 ,  周彧杰 ,  饶安逸 ,  强文文 ,  文继荣

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及计算机视觉技术领域，为一种基于互信息相似度的零样本动作识别方法及系统，S1，在零样本的动作分类任务中使用视频特征提取模块进行骨架动作特征提取；S2，利用语义特征提取模块对动作标签的语义信息进行特征化处理；S3，构建出语义特征和视频特征之间的非线性映射，同时设计出随帧数递增而互信息递增的互信息判别网络，以增强互信息对两类特征的判别能力。通过最大化视觉特征和语义特征之间的互信息来捕捉两者分布之间的非线性统计相关性，进而提高对不可见类的泛化效果；保证了互信息在时序上的递增单调约束，从而使得时序信息融合进了互信息的判别网络之中，提升了网络的判别效果；具有更好的性能。