公开(公告)号：CN118606795B

公开(公告)日：2024-11-26

申请号：CN202411081220.1

申请日：2024-08-08

Applicant: 广东工业大学

Inventor： 魏瑾 ,  杨振国 ,  谭帅帅 ,  万继红 ,  李小平

IPC: G06F18/241 ,  G06F40/253 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/0985 ,  G06F18/10 ,  G06F18/213 ,  G06F18/25

Abstract: 本发明公开了少数类别样本敏感度提升的多模态情感分析方法及系统，涉及自然语言处理、计算机视觉和语音处理技术领域，所述方法包括：步骤S1、获取多模态数据的初始模态特征；步骤S2、使用特征提取适配器将所述初始模态特征转化为高级模态特征；步骤S3、使用情感极性、强度编码器提取所述高级模态特征的情感极性向量和情感强度向量；步骤S4、将所述情感极性向量和所述情感强度向量进行融合，得到多模态整体情感；步骤S5、使用损失函数对所述多模态整体情感进行数据增强，得到多模态整体情感向量；步骤S6、基于所述多模态整体情感向量得到多模态数据的情感分析结果。

公开(公告)号：CN119622286A

公开(公告)日：2025-03-14

申请号：CN202411678260.4

申请日：2024-11-22

Applicant: 广东工业大学

Inventor： 魏瑾 ,  杨振国 ,  谭帅帅 ,  万继红 ,  李小平

IPC: G06F18/21 ,  G06V20/40 ,  G06V10/80 ,  G06F40/30 ,  G06V10/82 ,  G06F18/25 ,  G06F18/213 ,  G10L15/02 ,  G10L15/16 ,  G10L15/18 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了基于情感极性和情感强度的多模态情感分析方法及系统，其中方法步骤包括：采集初始视频数据，并提取初始模态特征；提取初始模态特征中的高层次语义特征；提取高层次语义特征模态内和模态间的交互信息；提取交互信息中的情感极性和情感强度向量；基于情感极性和情感强度向量，完成视频数据中的人物情感分析。本发明采用了Transformer编码器和MLP编码器来提取高层次语义特征，并通过多粒度跨模态交互模块来提取模态内和模态间的交互信息。这种设计使得模型能够深入挖掘不同模态间的局部特征和细节信息，增强了对情感表达的理解和分析。本发明还通过跨模态注意力机制和前馈神经网络，完成了对视频数据中人物情感的分析。

公开(公告)号：CN118606795A

公开(公告)日：2024-09-06

申请号：CN202411081220.1

申请日：2024-08-08

Applicant: 广东工业大学

Inventor： 魏瑾 ,  杨振国 ,  谭帅帅 ,  万继红 ,  李小平

IPC: G06F18/241 ,  G06F40/253 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/0985 ,  G06F18/10 ,  G06F18/213 ,  G06F18/25

Abstract: 本发明公开了少数类别样本敏感度提升的多模态情感分析方法及系统，涉及自然语言处理、计算机视觉和语音处理技术领域，所述方法包括：步骤S1、获取多模态数据的初始模态特征；步骤S2、使用特征提取适配器将所述初始模态特征转化为高级模态特征；步骤S3、使用情感极性、强度编码器提取所述高级模态特征的情感极性向量和情感强度向量；步骤S4、将所述情感极性向量和所述情感强度向量进行融合，得到多模态整体情感；步骤S5、使用损失函数对所述多模态整体情感进行数据增强，得到多模态整体情感向量；步骤S6、基于所述多模态整体情感向量得到多模态数据的情感分析结果。