公开(公告)号：CN118762245B

公开(公告)日：2025-01-21

申请号：CN202411252128.7

申请日：2024-09-09

Applicant: 烟台大学

Inventor： 阎维青 ,  姚铄宸 ,  刘兆伟 ,  徐金东 ,  任金来

IPC: G06V10/764 ,  G06V10/44 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明涉及深度学习的多模态数据分类技术领域，尤其是涉及一种基于最大化编码率降低的多模态分类方法及系统。方法，包括以总体编码率最大化和压缩不同子空间的编码速率构建基于最大化编码率降低损失，优化不同视角的特定特征表示；以最大化特定特征表示与全局特征表示间的互信息为目标构建最大互信息损失；通过将特定特征表示映射到指定数量的类别维度得到每个类别的得分，来构建交叉熵损失；分别基于交叉熵损失、最大化编码率降低损失和最大互信息损失训练多模态分类网络模型。通过空间变换和跨样本融合来对齐和融合这些特定于视图的特征，以实现跨多个视图的一致特征。

公开(公告)号：CN118762245A

公开(公告)日：2024-10-11

申请号：CN202411252128.7

申请日：2024-09-09

Applicant: 烟台大学

Inventor： 阎维青 ,  姚铄宸 ,  刘兆伟 ,  徐金东 ,  任金来

IPC: G06V10/764 ,  G06V10/44 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明涉及深度学习的多模态数据分类技术领域，尤其是涉及一种基于最大化编码率降低的多模态分类方法及系统。方法，包括以总体编码率最大化和压缩不同子空间的编码速率构建基于最大化编码率降低损失，优化不同视角的特定特征表示；以最大化特定特征表示与全局特征表示间的互信息为目标构建最大互信息损失；通过将特定特征表示映射到指定数量的类别维度得到每个类别的得分，来构建交叉熵损失；分别基于交叉熵损失、最大化编码率降低损失和最大互信息损失训练多模态分类网络模型。通过空间变换和跨样本融合来对齐和融合这些特定于视图的特征，以实现跨多个视图的一致特征。