公开(公告)号：CN119538086A

公开(公告)日：2025-02-28

申请号：CN202411466424.7

申请日：2024-10-21

Applicant: 北京理工大学

Inventor： 胡斌 ,  沈健 ,  梁华健 ,  马瑞瑞 ,  徐一鸿 ,  王姿烨 ,  武鑫宇 ,  张宇轩

IPC: G06F18/2415 ,  A61B5/16 ,  A61B5/00 ,  G06F18/213 ,  G06F18/21 ,  G06F18/25 ,  G06N3/045 ,  G06N3/0464

Abstract: 本发明公开了一种基于全局‑局部时空语义对齐的多模态情绪识别系统，将多模态生理信号分为多个单一模态生理信号之后，将所有单一模态生理信号划分为多个批次，获取每个批次中的单一模态生理信号片段的特征序列的最大序列长度，以每个批次中的最大序列长度为参考值，将每个批次中的单一模态生理信号片段的序列长度补齐至最大序列长度，以使得每个批次中的单一模态生理信号片段的特征序列的长度相同，解决了生理信号数据长度不一致与关键信息损失问题；本发明提出了局部时间语义对齐模块对各模态进行时间维度上的对齐，增强了模型的可解释性与鲁棒性；本发明在空间维度上对齐了各模态语义信息，从而优化了情绪识别过程。

公开(公告)号：CN116561634A

公开(公告)日：2023-08-08

申请号：CN202310539937.5

申请日：2023-05-12

Applicant: 北京理工大学

Inventor： 胡斌 ,  梁华健 ,  沈健 ,  董群喜 ,  陈佳蓥 ,  马瑞瑞 ,  赵泽光 ,  朱可欣 ,  尤乐淳

IPC: G06F18/24 ,  G06F18/22 ,  G06N3/0442

Abstract: 本申请提供一种面向情绪识别的多模态生理信号语义对齐方法与系统。所述方法通过获取多模态生理信号，并基于时间片段提取多模态生理信号的特征表征，其中，多模态生理信号由多个单一模态生理信号组成。再根据特征表征对同一样本中每两个单一模态生理信号的语义执行语义对齐，得到单一模态生理信号之间的双向语义对齐表征。将双向语义对齐表征输入至测试集交叉验证的情绪识别模型，以筛选出最优情绪识别模型，并根据最优情绪识别模型识别目标情绪。所述方法通过语义对齐使得各单一模态生理信号的语义相关程度最大，有利于提高情绪识别准确率。在筛选最优模型时，采用训练集与测试集交叉的方式，提高最优模型的可靠性。

公开(公告)号：CN120015351A

公开(公告)日：2025-05-16

申请号：CN202510473405.5

申请日：2025-04-16

Applicant: 北京理工大学

Inventor： 胡斌 ,  沈健 ,  朱可欣 ,  麻瑜 ,  王康 ,  徐晨 ,  高浩然 ,  马瑞瑞

IPC: G16H50/70 ,  G16H50/30 ,  G06F18/214 ,  G06F18/241 ,  G06F18/213 ,  G06F18/10 ,  G06F18/25

Abstract: 本发明公开了面向精神障碍的多模态大模型识别与智能干预方法与系统，属于精神障碍智能识别与干预技术领域，包括：多模态数据采集阶段、数据预处理阶段、特征提取阶段、跨模态特征融合阶段、精神障碍识别阶段、个性化非药物干预阶段。多模态数据采集阶段实时采集皮肤电、心电、脑电、面部表情多模态数据，结合认知行为疗法理论，构建了对话‑反馈‑调整闭环机制。本发明采用上述面向精神障碍的多模态大模型识别与智能干预方法与系统，通过整合脑电、心电、皮肤电、表情分析及文本数据多模态生理与行为数据，结合大语言模型及跨模态注意力机制，实现对精神障碍的精准识别与个性化干预。