一种基于预训练与在线学习的多模态情感分析方法及系统

    公开(公告)号:CN119557426B

    公开(公告)日:2025-04-18

    申请号:CN202510111855.X

    申请日:2025-01-24

    Abstract: 本发明涉及多模态情感分析技术领域,尤其是涉及一种基于预训练与在线学习的多模态情感分析方法及系统。所述方法,包括获取情感分析多模态数据,构建情感分析模型,包括构建多头注意力机制分别对文本、图像和音频模态进行编码处理,并将编码后的各模态特征拼接融合;利用前馈神经网络与多头注意力机制对融合特征中各模态间的交互关系进行挖掘;通过构建全连接神经网络评估联合特征中各模态对情感分析任务的贡献程度;将联合特征和加权后的各模态特征融合实现特征补充优化,利用训练完成的模型输出情感预测结果,本发明通过构建多头注意力机制对各模态进行编码处理,将编码后的模态特征进行拼接融合,从而显著提升情感分析的准确性。

    以音频模态为目标模态的多模态情感分析方法和系统

    公开(公告)号:CN118965139B

    公开(公告)日:2025-03-04

    申请号:CN202411464881.2

    申请日:2024-10-21

    Abstract: 本申请涉及多模态数据处理技术领域,具体为以音频模态为目标模态的多模态情感分析方法和系统;为解决现有技术中多模态情感分析准确度较低的问题,本申请制定当存在音频模态时,将图像模态和文本模态翻译为音频模态,经融合后进行神经网络处理,得到多模态情感预测结果;当不存在音频模态时,用互信息分数来判断哪个模态中所含的情感信息更多,以此来让其他模态向其翻译,得到缺失联合特征,并将标准完整联合特征作为目标,缺失联合特征向完整联合特征逼近进行神经网络处理,得到多模态情感预测结果;该方法应用到多模态情感分析领域中,处理过程更灵活、分析过程更全面、更合理,得到情感预测结果准确度更高。

    基于融合分解与主干聚拢的多模态情感分析方法及系统

    公开(公告)号:CN119720102A

    公开(公告)日:2025-03-28

    申请号:CN202510228062.6

    申请日:2025-02-28

    Abstract: 本发明涉及多模态情感分析技术领域,尤其是涉及基于融合分解与主干聚拢的多模态情感分析方法及系统。所述方法,包括获取带有不确定缺失的多模态数据,构建情感分析模型,利用训练完成的模型输出情感预测结果。本发明的基于融合分解与主干聚拢的多模态情感分析方法,提出了金字塔多头注意力机制,金字塔多头注意力机制通过层层递进的方式逐步增加注意力头的数量,并自适应结合各层的结果,从而更好地提取不同模态中的多层次特征信息,提高情感分析的准确性和鲁棒性;此外,为了节省多头注意力的资源消耗以及提升运行速度,将多头注意力中的值(V)去掉,直接用键(K)来代替V,以此去掉V相关的操作来提升性能。

    一种基于预训练与在线学习的多模态情感分析方法及系统

    公开(公告)号:CN119557426A

    公开(公告)日:2025-03-04

    申请号:CN202510111855.X

    申请日:2025-01-24

    Abstract: 本发明涉及多模态情感分析技术领域,尤其是涉及一种基于预训练与在线学习的多模态情感分析方法及系统。所述方法,包括获取情感分析多模态数据,构建情感分析模型,包括构建多头注意力机制分别对文本、图像和音频模态进行编码处理,并将编码后的各模态特征拼接融合;利用前馈神经网络与多头注意力机制对融合特征中各模态间的交互关系进行挖掘;通过构建全连接神经网络评估联合特征中各模态对情感分析任务的贡献程度;将联合特征和加权后的各模态特征融合实现特征补充优化,利用训练完成的模型输出情感预测结果,本发明通过构建多头注意力机制对各模态进行编码处理,将编码后的模态特征进行拼接融合,从而显著提升情感分析的准确性。

    以音频模态为目标模态的多模态情感分析方法和系统

    公开(公告)号:CN118965139A

    公开(公告)日:2024-11-15

    申请号:CN202411464881.2

    申请日:2024-10-21

    Abstract: 本申请涉及多模态数据处理技术领域,具体为以音频模态为目标模态的多模态情感分析方法和系统;为解决现有技术中多模态情感分析准确度较低的问题,本申请制定当存在音频模态时,将图像模态和文本模态翻译为音频模态,经融合后进行神经网络处理,得到多模态情感预测结果;当不存在音频模态时,用互信息分数来判断哪个模态中所含的情感信息更多,以此来让其他模态向其翻译,得到缺失联合特征,并将标准完整联合特征作为目标,缺失联合特征向完整联合特征逼近进行神经网络处理,得到多模态情感预测结果;该方法应用到多模态情感分析领域中,处理过程更灵活、分析过程更全面、更合理,得到情感预测结果准确度更高。

    一种基于联邦图神经网络工业物联网设备检测方法及系统

    公开(公告)号:CN119676094A

    公开(公告)日:2025-03-21

    申请号:CN202510185592.7

    申请日:2025-02-20

    Applicant: 烟台大学

    Abstract: 本发明涉及工业物联网检测技术领域,尤其是涉及一种基于联邦图神经网络工业物联网设备检测方法及系统。所述方法,包括获取每个设备的实时运行状态数据和传感器的测量值,利用输入数据作为设备节点特征构建拓扑图,并基于拓扑图引入知识图谱,将客户端设备状态与知识图谱信息进行融合,引入注意力机制对客户端本地模型的权重进行自适应调整;基于融合后的节点特征进行特征增强,建立基于强化学习的联邦图神经网络客户端动态调度策略,利用全局模型进行图结构数据的节点分类任务,本发明基于融合后的节点特征进行特征增强、引入投影头和计算对比损失,提升了模型在缺乏标注数据下的性能,使模型学习到更稳健特征,增强了对设备故障的判断准确性。

Patent Agency Ranking