公开(公告)号：CN119446478A

公开(公告)日：2025-02-14

申请号：CN202411378511.7

申请日：2024-09-30

Applicant: 合肥工业大学

Inventor： 孙晓 ,  刘序雄 ,  沈康

IPC: G16H50/20 ,  G16H50/30 ,  G16H10/60 ,  G06V20/40 ,  G06V40/16 ,  G06N3/0455

Abstract: 本发明公开了一种基于注意力机制的抑郁症检测方法、系统、装置及介质，包括获取采集用户的采访视频；根据采集的采访视频提取音频数据，并获取音频数据的音频特征；根据采集的采访视频，提取视觉特征；对音频数据转录标注获取文本数据；根据得到的音频特征，以及视觉特征，基于预先构建的多层次交叉注意力机制的Transformer模型预测用户的抑郁程度。本发明通过获取特征，通过模型预测用户抑郁程度，实现补充不同模态之间的潜在联系，用于对用户抑郁症状进行更全面的评估，检测结果更加准确。

公开(公告)号：CN117592483B

公开(公告)日：2024-05-28

申请号：CN202311559204.4

申请日：2023-11-21

Applicant: 合肥工业大学

Inventor： 刘畅 ,  孙晓 ,  汪萌

IPC: G06F40/30 ,  G06N5/04

Abstract: 本发明提供一种基于思维树的隐式情感分析方法、装置、存储介质和电子设备，涉及自然语言处理技术领域。本发明采集并预处理评论文本；构建思维树提示模板，其中所述思维树提示模板包括四个提示，依次用于获取方面词、情感倾向、情感倾向的强度和情感强度背后的原因；将预处理后的评论文本作为大模型的输入，基于所述思维树提示模板，输出该评论文本的情感极性。利用大模型的丰富的语义知识和深度的语义理解能力，结合复杂的语境，通过建立思维树的方式对输入文本进行逐步分析和推断，最终确定文本中包含每一方面词的情感极性。

公开(公告)号：CN117672466A

公开(公告)日：2024-03-08

申请号：CN202311679482.3

申请日：2023-12-04

Applicant: 合肥工业大学

Inventor： 孙晓 ,  甘宇 ,  董腾腾 ,  崔丰麒 ,  汪萌

IPC: G16H20/70 ,  G06F16/9032 ,  G06F16/903 ,  G06F18/24 ,  G06N3/0455 ,  G06N3/047 ,  G06N3/08

Abstract: 本发明提供一种基于情感和对话策略自注意的情感支持对话生成方法、系统、存储介质和电子设备，涉及情感支持对话技术领域。本发明在进行情感支持对话生成之前，对情感和对话策略进行平滑方法处理，即从情感转换和策略转换两个角度考虑情感支持对话具有更好的细粒度的状态转换，从而能更加准确地把握住不同对话轮次之间的情绪变化，使策略选择能有利于为用户提供更好的情感支持。

公开(公告)号：CN111949824B

公开(公告)日：2023-11-03

申请号：CN202010650475.0

申请日：2020-07-08

Applicant: 合肥工业大学

Inventor： 孙晓 ,  时雨涛 ,  汪萌

IPC: G06F16/78 ,  G06F16/783 ,  G06V20/40 ,  G06V10/44 ,  G06V10/764 ,  G06N3/0464 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/08

Abstract: 本发明提供一种基于语义对齐的视觉问答方法和系统、存储介质，涉及视觉问答技术领域。本发明实施例首先通过获取并预处理数据集，根据原始图像提取原始图像特征和目标位置特征，根据目标位置特征产生图像描述语句，继而得到图像描述单词、问题特征和图像描述语句特征，将原始图像特征与图像描述单词进行语义对齐，得到第一图像特征，根据原始图像特征和图像描述语句特征，得到第二图像特征，根据原始图像特征和问题特征，得到第三图像特征，融合上述三个图像特征、图像描述语句特征和问题特征，得到综合特征，预测出最终的回答结果。进而突出图像信息的重要性，完善了特征融合过程涉及的信息，促使最终生成的回答结果更准确。

公开(公告)号：CN111967272B

公开(公告)日：2023-10-31

申请号：CN202010577719.7

申请日：2020-06-23

Applicant: 合肥工业大学

Inventor： 孙晓 ,  王佳敏 ,  汪萌

IPC: G06F40/35 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/047 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明涉及一种基于语义对齐的视觉对话生成系统。本发明对图像信息的提取从两个方面进行：分别是全局和局部。通过语义对齐获取全局的基于语义的图像表示，同时通过dense caption获取局部密集图像描述，文本表示的高级语义有助于更好的信息获取。两者共同为生成回复提供图像信息的线索。同时从文本流畅度、文本连贯度和正确度来进行全面的约束，指导回复的生成。此外，本发明实施例提出采用关键词约束的方法来约束回复的正确性，进而丰富生成回答的表示形式。

公开(公告)号：CN114896959B

公开(公告)日：2023-07-07

申请号：CN202210397055.5

申请日：2022-04-15

Applicant: 合肥工业大学

Inventor： 李泽中 ,  任福继 ,  孙晓

IPC: G06F40/189 ,  G06F40/284 ,  G06F40/30 ,  G06F18/22

Abstract: 本发明提供一种中日词语自动对齐方法、系统、存储介质和电子设备，涉及语言翻译处理技术领域。本发明中，省略计算子词对齐过程，计算二次切分获取的第二子词序列中，任意中文子词和日语子词的上下文表示向量之间的语义相似度，构建子词相似度矩阵；根据子词相似度矩阵，获取任意一对双语词之间的词对齐分数，确定原始平行语料的对齐关系。直接从子词相似度矩阵计算出双语之间的词对齐分数，更充分地利用子词相似度矩阵所包含的信息，得到更精准和健壮的词对齐结果。

公开(公告)号：CN111513730B

公开(公告)日：2023-06-09

申请号：CN202010199158.1

申请日：2020-03-20

Applicant: 合肥工业大学

Inventor： 孙晓 ,  陈维 ,  郑仕鑫 ,  汪萌 ,  任福继

IPC: A61B5/16 ,  A61B5/024 ,  A61B5/0533 ,  A61B5/00

Abstract: 本发明提供一种基于多通道生理数据的心理压力预测方法和系统，涉及测试技术领域。本发明使用预设的心理压力刺激源，让待测用户产生一定的心理压力，并同步记录压力状态下的皮肤电阻信号和脉搏信号随时间变化的数据。然后对皮肤电阻信号和脉搏信号进行一系列的处理，将经过处理后数据输入到压力二分类模型判断待测用户是否存在压力，若存在压力，则通过压力多分类预测模型进一步判断待测用户的压力等级。本发明通过能真实反映待测用户的压力信息的皮肤电阻信号和脉搏信号，结合压力二分类模型和压力多分类预测模型能准确的预测出待测用户是否有压力和压力等级，且本发明采用测量人体皮肤电阻信号和脉搏信号的方式来预测压力，简单方便。

公开(公告)号：CN115376181A

公开(公告)日：2022-11-22

申请号：CN202210813350.4

申请日：2022-07-12

Applicant: 合肥工业大学

Inventor： 孙晓 ,  张梓洋 ,  江月琪 ,  汪萌

IPC: G06V40/16 ,  G06N3/04 ,  G06N3/08 ,  G06V10/82

Abstract: 本发明提供一种具有噪音鲁棒性的表情识别方法、系统、存储介质和电子设备，涉及表情识别技术领域。本发明中，构建表情识别模型，所述表情识别模型包括深度神经网络、co‑division子模型和tri‑regularization子模型；该方法使用co‑learning策略进行模型训练，根据两个深度神经网络的预测结果和样本的表情标签之间的逻辑关系，挖掘数据集中的干净数据、模棱两可数据以及噪音标签数据，提高模型的辨别能力；并针对不同的数据类型采用不同训练策略优化参数，直至所述表情识别模型收敛，提高模型的抗噪能力以及提高表情识别的准确率。

公开(公告)号：CN115331281A

公开(公告)日：2022-11-11

申请号：CN202210802015.4

申请日：2022-07-08

Applicant: 合肥工业大学

Inventor： 孙晓 ,  徐骜 ,  汪萌

IPC: G06V40/16 ,  G06V20/40 ,  G06V10/82 ,  G06V10/80 ,  G06N3/08 ,  G06N3/04 ,  G16H50/30 ,  A61B5/16 ,  A61B5/00

Abstract: 本发明提供一种基于视线分布的焦虑抑郁检测方法和系统，涉及图像处理技术领域。该方法通过获取测试者在测试条件下的面部视频；通过图卷积神经网络对所述注视分布数据进行特征提取，得到特征数据，将特征数据输入至第一支持向量回归模型中，得到基于注视分布的焦虑抑郁预测值；将视线轨迹输入至第二支持向量回归模型中，得到基于视线轨迹的焦虑抑郁预测值；将基于视线分布的焦虑抑郁预测值和基于视线轨迹的焦虑抑郁预测值进行融合，得到测试者的心理评估结果。本发明在对测试者进行焦虑检测时，通过注视分布数据以及视线轨迹得到测试者的心理评估结果，提高焦虑抑郁诊断效率以及准确率。

公开(公告)号：CN112133406B

公开(公告)日：2022-11-04

申请号：CN202010875923.7

申请日：2020-08-25

Applicant: 合肥工业大学

Inventor： 孙晓 ,  李园林 ,  王晓华 ,  汪萌

IPC: G16H20/70 ,  G06F16/903 ,  G06F40/295

Abstract: 本发明提供一种基于情感图谱的多模态情感引导方法和系统、存储介质，涉及情感引导技术领域。本发明实施例采用多种情感判别方式，更加精准的识别出被引导者的实时情感，及时反馈信息，极大程度的减少了噪声和个人特征对情感判别的影响；本发明实施例中还将目标情感输入多模态情感图谱中，得到目标情感实体，并得到所述目标情感实体对应的多模态属性，所述多模态属性包括文本关键词信息、图像信息、视频信息；即利用多模态情感图谱进行情感引导，情感实体之间有强关联，不断地进行搜索找到相关刺激，比网络随机链接更精准。