-
公开(公告)号:CN114898418A
公开(公告)日:2022-08-12
申请号:CN202210293506.0
申请日:2022-03-24
Applicant: 合肥工业大学
Abstract: 本发明提供一种基于环形模型的复杂情绪检测方法、系统、存储介质和电子设备,涉及情绪检测技术领域。本发明预先构建深度学习模型,包括基础提取模块,人脸特征矫正模块和特征融合模块;收集并预处理待测人员的人脸图片;将预处理后的人脸图片输入所述基础提取模块,获取第一特征图;将所述第一特征图输入所述人脸特征矫正模块,获取关注人脸关键点区域的第二特征图;将所述第二特征图输入所述特征融合模块,再通过全连接层获取该人脸图片对应的唤醒度和效价的预测值;根据所述唤醒度和效价的预测值,结合预设的向量映射坐标图,映射所述待测人员的情绪状态。弥补了由于数据集标签限制,导致一些情绪如焦虑、抑郁等,无法检测的技术空白。
-
公开(公告)号:CN114841399A
公开(公告)日:2022-08-02
申请号:CN202210293508.X
申请日:2022-03-24
Applicant: 合肥工业大学
Abstract: 本发明提供一种基于音视频多模态特征融合的人格画像生成方法、系统、存储介质和电子设备,涉及人格预测技术领域。本发明包括预处理受试者的音视频数据,获取面部运动单元、头部姿态、眼睛注视角度组成的组合序列特征,去除掉背景的面部图像特征和帧间运动差分特征;以及预处理音频数据,获取音频模态特征;将组合序列特征、面部图像特征、帧间运动差分特征和音频模态特征,分别输入对应预先构建好的学习网络中,获取第一、第二、第三和第四模态人格预测信息并融合,利用融合信息预测大五人格分值,生成受试者的人格画像。利用无接触的音视频特征多模态融合评估实现了用户人格画像的去量表化测量,可以准确地描绘出受试者的人格画像。
-
公开(公告)号:CN114898418B
公开(公告)日:2024-08-02
申请号:CN202210293506.0
申请日:2022-03-24
Applicant: 合肥工业大学
Abstract: 本发明提供一种基于环形模型的复杂情绪检测方法、系统、存储介质和电子设备,涉及情绪检测技术领域。本发明预先构建深度学习模型,包括基础提取模块,人脸特征矫正模块和特征融合模块;收集并预处理待测人员的人脸图片;将预处理后的人脸图片输入所述基础提取模块,获取第一特征图;将所述第一特征图输入所述人脸特征矫正模块,获取关注人脸关键点区域的第二特征图;将所述第二特征图输入所述特征融合模块,再通过全连接层获取该人脸图片对应的唤醒度和效价的预测值;根据所述唤醒度和效价的预测值,结合预设的向量映射坐标图,映射所述待测人员的情绪状态。弥补了由于数据集标签限制,导致一些情绪如焦虑、抑郁等,无法检测的技术空白。
-
-