公开(公告)号：CN116978106B

公开(公告)日：2024-01-05

申请号：CN202311230516.0

申请日：2023-09-22

Applicant: 华侨大学

Inventor： 柳欣 ,  陈琦妍 ,  彭淑娟 ,  王靖

IPC: G06V40/16 ,  G06V10/74 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/09 ,  G10L15/16

Abstract: 本发明提供批处理混合对比学习的跨模态情绪异常检测方法和装置，涉及情绪检测技术领域。包含：S1、获取待检测情绪对象的语音数据和面部视频数据。S2、采用标准的Facet方法从面部视频数据中提取对话过程中的初始面部情绪特征。S3、采用标准的梅尔倒频谱系数提取方法将语音数据转化为梅尔频谱图，获取初始语音情绪特征。S4、分别通过单向长短期记忆神经网络和多层感知机神经网络从初始面部情绪特征和初始语音情绪特征中提取高层面部情绪特征和高层语音情绪特征。S5、将高层面部情绪特征和高层语音情绪特征映射到公共语义特征空间。S6、根据映射到公共语义特征空间的特征，通过双组贝塔混合模型拟合相似度分数，并判断待检测情

公开(公告)号：CN116978106A

公开(公告)日：2023-10-31

申请号：CN202311230516.0

申请日：2023-09-22

Applicant: 华侨大学

Inventor： 柳欣 ,  陈琦妍 ,  彭淑娟 ,  王靖

IPC: G06V40/16 ,  G06V10/74 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/09 ,  G10L15/16

Abstract: 本发明提供批处理混合对比学习的跨模态情绪异常检测方法和装置，涉及情绪检测技术领域。包含：S1、获取待检测情绪对象的语音数据和面部视频数据。S2、采用标准的Facet方法从面部视频数据中提取对话过程中的初始面部情绪特征。S3、采用标准的梅尔倒频谱系数提取方法将语音数据转化为梅尔频谱图，获取初始语音情绪特征。S4、分别通过单向长短期记忆神经网络和多层感知机神经网络从初始面部情绪特征和初始语音情绪特征中提取高层面部情绪特征和高层语音情绪特征。S5、将高层面部情绪特征和高层语音情绪特征映射到公共语义特征空间。S6、根据映射到公共语义特征空间的特征，通过双组贝塔混合模型拟合相似度分数，并判断待检测情绪对象的情绪是否异常。