公开(公告)号：CN117409348A

公开(公告)日：2024-01-16

申请号：CN202311338312.9

申请日：2023-10-17

Applicant: 福州大学

Inventor： 程红举 ,  占周文 ,  杨子珍 ,  林昌锴

IPC: G06V20/40 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/0895 ,  G10L25/63 ,  G10L25/57 ,  G10L25/30

Abstract: 本发明涉及一种基于对比学习和多头自注意机制的半监督多模态情感分析方法，从包含用户情感的视频数据中获取视觉、音频和文本模态数据，输入多模态情感分析模型获得视频数据的情感分析结果；构建并训练多模态情感分析模型包括：分别采用双向长短期记忆网络、BERT模型提取视觉、音频、文本模态特征；获取无监督的重建损失和对比学习损失；联合视觉、音频和文本模态特征得到特征矩阵，并进行多头自注意力操作，再拼接得到多模态融合特征；将多模态融合特征输入多模态情感分类器，获得情感分析结果；计算有监督的任务损失；基于得到的三项损失，通过半监督学习的方式对多模态情感分析模型进行训练。该方法有利于对视频所包含的人类情感进行自动分析。

公开(公告)号：CN116597353A

公开(公告)日：2023-08-15

申请号：CN202310558675.7

申请日：2023-05-18

Applicant: 福州大学

Inventor： 程红举 ,  林昌锴 ,  占周文

IPC: G06V20/40 ,  G10L25/30 ,  G10L25/63 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提出了一种基于多尺度特征抽取与多任务学习的视频情感分析方法。首先，为了提取到多尺度特征，本发明提出了一种多尺度特征提取方法，该方法使用通道注意力对不同隐藏层的输出进行建模。其次，提出了一种基于关键模态的多模态融合策略，利用注意力机制提高关键模态的比例，并挖掘关键模态与其他模态之间的关系。最后，使用多任务学习方法训练所提出的模型确保模型可以学习更好的特征表示。经过实验，本发明在公开的多模态情感分析基准数据集上取得的情感分析准确率优于现有的算法与发明。