公开(公告)号：CN117390432A

公开(公告)日：2024-01-12

申请号：CN202311596590.4

申请日：2023-11-28

Applicant: 中国矿业大学

Inventor： 芦楠楠 ,  谭震 ,  韩之远 ,  孙兴文

IPC: G06F18/213 ,  G06F18/24 ,  G06F18/25

Abstract: 本发明公开了一种基于信息瓶颈的多模态数据融合控制优化系统及方法，涉及多模态数据融合技术领域，解决了模态间收敛速度不一致的技术问题，其技术方案要点是通过引入信息瓶颈理论来衡量每个模态的学习情况，同时考虑了特征分别相对于输入和输出的学习情况，即该特征既要压缩输入又要预测输出；同时根据信息瓶颈理论设计IB指标能够全面准全的监测模态特征学习的收敛速度。另外，本申请采用调整各个模态的学习率的方式来控制不同模态的特征学习的收敛速度。根据每个模态的IB指标差异计算出自适应平衡系数，引入到每个模态的梯度更新中，能够实现动态的平衡，从而缓解了模态间收敛速度的不一致。

公开(公告)号：CN117725936A

公开(公告)日：2024-03-19

申请号：CN202311725174.X

申请日：2023-12-15

Applicant: 中国矿业大学

Inventor： 芦楠楠 ,  韩之远 ,  谭震 ,  仇珍

IPC: G06F40/30 ,  G06F18/25 ,  G06N3/042 ,  G06N3/0442

Abstract: 本发明公开了一种基于超图网络的长对话情感动态识别方法及系统，涉及多模态数据挖掘技术领域，解决了对话情感识别中无法利用远距离上下文关系对会话过程进行情感动态监测的技术问题，其技术方案要点是通过特征编码器分别提取对话产生的文本数据、语音数据和视觉数据的特征。通过对话超图建立话语之间的关联关系，分别学习时序关系引导的上下文特征和说话人引导的上下文特征，最后通过上下文层面的特征聚合实现更远距离上下文特征传播，对长对话过程进行情感动态监测。

公开(公告)号：CN116756682A

公开(公告)日：2023-09-15

申请号：CN202310715406.7

申请日：2023-06-16

Applicant: 中国矿业大学

Inventor： 芦楠楠 ,  韩之远 ,  谭震

IPC: G06F18/25 ,  G06N3/0442 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明公开了一种震电磁多场数据融合方法及系统，涉及数据处理技术领域，解决了无法利用多场数据对支护结构体状态进行监测的技术问题，其技术方案要点是通过特征编码器从传感器数据中分别提取微震场数据、电场数据和电磁辐射场数据的特征。通过场内数据关系学习模块和场间数据关系学习模块，分别学习单场数据内全局时序特征和多场数据间局部交互特征，并采用一致性损失来约束多场数据间局部交互特征，最后通过多特征融合模块实现场内特征和多场交互特征的融合，对支护结构体的早期破裂进行预警。