公开(公告)号：CN119131664B

公开(公告)日：2025-02-11

申请号：CN202411585929.5

申请日：2024-11-08

Applicant: 宁波大学

Inventor： 丰亚威 ,  郭立君 ,  张荣 ,  钱江波 ,  王翀 ,  辛宇

IPC: G06V20/40 ,  G06N3/0455 ,  G06N3/084 ,  G06N3/0895 ,  G06N3/0985 ,  G06V10/82

Abstract: 本发明公开了一种基于分段对比掩码自编码器的视频动作分类方法，其通过将视频内容划分为全局视图和多个局部视图，并采用掩码数据增强技术，利用教师模型和学生模型的联合处理机制，捕获视频的全局性判别特征和局部细粒度特征；分段对比掩码自编码器通过自监督学习，减少了对标注数据的依赖，提高了训练效率；学生模型和教师模型的输出特征对齐，增强了模型对输入多样性的适应能力，有效地将时间信息和局部信息融入到对比学习中；此外，引入的掩码策略提高了模型对视频内容的细粒度理解能力；本发明在训练效率方面表现出色，仅需较少的训练轮次即可达到优异性能，显著提升了视频动作分类的精度。

公开(公告)号：CN118447538A

公开(公告)日：2024-08-06

申请号：CN202410638665.9

申请日：2024-05-22

Applicant: 宁波大学

Inventor： 陈明 ,  郭立君 ,  张荣 ,  丰亚威 ,  陈友明

IPC: G06V40/10 ,  G06V20/52 ,  G06V10/774 ,  G06V10/26

Abstract: 本发明公开了一种超像素补丁混合与信息补偿的跨模态行人重识别方法，其通过超像素补丁混合的方式生成包含可见光和红外两种模态共有信息的中间辅助模态图像，实现轻量级的数据增强；设计模态对齐模块，从模态信息共享和补偿两方面学习鲁棒的行人特征表示，促进模态对齐；引入关系嵌入模块捕获局部和全局特征信息，提升局部特征的表达能力；在损失函数中引入难样本挖掘损失和一致性损失，提高模型的泛化性和鲁棒性；优点是通过轻量级的超像素补丁混合数据增强、模态对齐学习、局部全局关系建模以及难样本挖掘和一致性约束等策略，在不引入过多计算开销的情况下，有效地挖掘和补偿了不同模态行人图像的互补信息，显著提升了跨模态行人重识别的性能。

公开(公告)号：CN119131664A

公开(公告)日：2024-12-13

申请号：CN202411585929.5

申请日：2024-11-08

Applicant: 宁波大学

Inventor： 丰亚威 ,  郭立君 ,  张荣 ,  钱江波 ,  王翀 ,  辛宇

IPC: G06V20/40 ,  G06N3/0455 ,  G06N3/084 ,  G06N3/0895 ,  G06N3/0985 ,  G06V10/82

Abstract: 本发明公开了一种基于分段对比掩码自编码器的视频动作分类方法，其通过将视频内容划分为全局视图和多个局部视图，并采用掩码数据增强技术，利用教师模型和学生模型的联合处理机制，捕获视频的全局性判别特征和局部细粒度特征；分段对比掩码自编码器通过自监督学习，减少了对标注数据的依赖，提高了训练效率；学生模型和教师模型的输出特征对齐，增强了模型对输入多样性的适应能力，有效地将时间信息和局部信息融入到对比学习中；此外，引入的掩码策略提高了模型对视频内容的细粒度理解能力；本发明在训练效率方面表现出色，仅需较少的训练轮次即可达到优异性能，显著提升了视频动作分类的精度。