-
公开(公告)号:CN119782904A
公开(公告)日:2025-04-08
申请号:CN202411859048.8
申请日:2024-12-17
Applicant: 人工智能与数字经济广东省实验室(广州) , 华南理工大学
IPC: G06F18/241 , G06F18/25 , G06F18/214 , G06N3/045 , G06N3/0455 , G06N3/084 , G06N3/0895 , G06N3/096
Abstract: 本发明涉及多模态学习,半监督学习和情感计算技术领域,具体是一种基于循环数据蒸馏的多模态半监督学习方法及装置。该方法及装置利用多个单模态预训练模型,通过置信度增强伪标签模块,从大量无标签数据蒸馏出可靠、具类别代表性的数据来训练多模态情感识别模型,并提供性能反馈继而更新所有单模态模型。它以循环互利的方式联合训练多模态情感识别模型和单模态模型,最终获得有效的多模态情感识别模型。
-
公开(公告)号:CN114218543B
公开(公告)日:2025-02-28
申请号:CN202111435070.6
申请日:2021-11-29
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于表情识别的多场景加密解锁系统,包括摄像模块、数据采集模块、数据存储模块、数据处理模块、解锁应用模块;数据采集模块通过摄像模块对用户进行拍摄,获取人脸图像并利用用户的人脸图像建立身份信息,并提示用户按顺序采集用户的表情序列设置表情密码;数据存储模块存储相关信息;数据处理模块对表情序列进行分析,对人脸图像进行活体检测、特征提取和人脸识别,比对身份信息,再对人脸图像进行表情识别,得到指令,通过比对指令与用户的表情密码,得到比对结果;通过比对结果完成解锁,进行不同场景下系统的应用;本发明系统的可复用性强,并且可以有效应对不同的场景下可能存在的攻击,保证用户的信息安全与体验。
-
公开(公告)号:CN118737201A
公开(公告)日:2024-10-01
申请号:CN202410981125.0
申请日:2024-07-22
Applicant: 华南理工大学
Abstract: 本发明公开了一种语音情感识别方法、系统、装置及存储介质,其中方法包括:获取语音信号,根据语音信号获取MFCC特征;对MFCC特征进行特征分割处理,获得音素表征、音节表征和句子表征;根据音素表征、音节表征和句子表征获取不同粒度的情感时频特征,将不同粒度的情感时频特征进行融合,获得最终的多粒度时频特征;根据多粒度时频特征进行情感分类,获得识别结果。本发明同时使用音素、音节和句子特征作为模型的输入特征,通过利用这些语音中固有的不同粒度的特征,给后续模型提供更丰富的情感信息,提高语音情感识别精准度;同时考虑到了语音信号的时域和频域信息,可以获取信息量大且有效的情感表征。本发明可广泛应用于语音处理技术领域。
-
公开(公告)号:CN113143289B
公开(公告)日:2024-07-26
申请号:CN202110352683.7
申请日:2021-03-31
Applicant: 华南理工大学
Abstract: 本发明提供一种可互联互动的智能脑波音乐耳机,包括脑电采集模块、精神状态评估模块、脑波音乐生成模块、脑波音乐播放模块和通信模块,脑电采集模块用于采集用户的脑电信号;精神状态评估模块用于通过人工智能模型从预处理后的脑电信号提取特征,提取出精神情感特征,并根据精神情感特征对使用者的精神状态进行评估;脑波音乐生成模块用于根据情绪类别和预处理后的脑电信号提取脑电波的特征,生成相应的符号音乐;脑波音乐播放模块用于对符号音乐进行解码和播放;通信模块用于实现音乐耳机之间的互联和/或,用于实现音乐耳机与其他设备的之间的数据传输。能够将脑电波转化为符合音乐乐理的音乐,可以对用户的情感有直观的感受与理解。
-
公开(公告)号:CN118245601A
公开(公告)日:2024-06-25
申请号:CN202410336221.X
申请日:2024-03-22
Applicant: 华南理工大学
IPC: G06F16/35 , G06F16/33 , G06F18/241 , G06F18/2415 , G06F18/21
Abstract: 本发明公开了一种基于多尺度提示记忆增强的黑盒文本分类方法及装置,属于文本数据处理技术领域。其中方法包括:获取文本数据,对文本数据进行处理,获得训练数据和测试数据;在训练阶段,根据训练数据获取多尺度的提示;将训练数据和多尺度提示拼接后,通过预训练语言模型得到不同层次的实例级别的知识,将实例级别的知识存储在记忆模块中;在测试阶段,根据测试数据获取多尺度的提示;根据获得的提示,利用记忆模块为测试样本计算出实例级别得分和类级别得分,根据不同层次的两种得分综合计算出最终的得分矩阵,从而预测出测试样本的类别。本发明通过利用记忆模块为测试样本计算类别得分矩阵,从而高效地解决了黑盒场景的文本分类问题。
-
公开(公告)号:CN117809354B
公开(公告)日:2024-06-21
申请号:CN202410223747.7
申请日:2024-02-29
Applicant: 华南理工大学 , 人工智能与数字经济广东省实验室(广州)
IPC: G06V40/16 , G06N3/0442 , G06N3/045 , G06N3/0464 , G06V10/80 , G06V10/82 , A61B5/16 , A61B5/00
Abstract: 本发明涉及情感识别技术领域,具体提供了一种基于头部可穿戴设备感知的情感识别方法、介质及设备;其中,方法包括佩戴者情感识别方法,步骤为:采集佩戴者的多模态情感数据;采用局部融合情感识别网络进行处理:左眼输入和右眼输入进行深度卷积;左下脸部输入和右下脸部输入分别通过嵌入层将提取到的动作单元嵌入,然后与面部行为编码一起输入到空域图卷积中;采用多层感知机中进行空间映射,计算空间注意力和通道注意力后进行特征图融合得到情感特征;将情感特征进行融合,通过分类得到复合情感识别结果。该方法在局部多视角脸部数据中采用面部动作单元信息辅助情感感知,提升情感信息从佩戴者身体外观中投射的鲁棒性,提升情感判别精度。
-
公开(公告)号:CN117437458A
公开(公告)日:2024-01-23
申请号:CN202311267138.3
申请日:2023-09-27
Applicant: 华南理工大学
IPC: G06V10/764 , G16H50/20 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于宽度集成学习的疾病检测系统,包括:数据获取模块,对医疗数据进行预处理得到输入样本;初级分类模块,根据分类误差对输入样本进行序列加权,提高集成多样性,将轻量级的宽度学习网络作为初级分类器,对加权后的样本进行训练,使用宽度学习网络的增量学习模式,选择性集成优秀的初级分类器进行预测,提高集成准确性;次级分类模块,将初级分类器的预测结果作为增强特征输入次级分类器,并根据初级分类器的平均预测精度自适应加入数据获取模块得到的输入样本,训练次级分类器,得到最终的疾病检测结果,辅助医生诊断治疗。本发明可通过机器学习方法对疾病进行早期预防和检测,减轻医疗系统和社会经济负担。
-
公开(公告)号:CN116403294B
公开(公告)日:2023-10-27
申请号:CN202310673551.3
申请日:2023-06-08
Applicant: 华南理工大学 , 人工智能与数字经济广东省实验室(广州)
Abstract: 本发明涉及活体检测技术领域,具体提供了一种基于Transformer的多视图宽度学习活体检测方法、介质及设备;其中方法为:获取待检测人员的多视图视频帧;多视图视频帧经过人脸区域检测模块获得对应的人脸区域图像;使用基于ViT嵌入的多视图宽度学习活体检测模型对人脸区域图像进行特征提取,并计算输出结果及置信度;将置信度与阈值做比较,得出活体检测结果。该方法能够充分挖掘图像中的人脸关键信息;基于多视图学习技术,能够有效解决因距离、光线等问题造成的不稳定性,不需要刻意面向摄像头进行验证;采用宽度学习方式,能使用比较少的参数实现较高的识别精度和响应速度,具有良好的鲁棒性。
-
公开(公告)号:CN116434272A
公开(公告)日:2023-07-14
申请号:CN202310252461.7
申请日:2023-03-16
Applicant: 华南理工大学
Abstract: 本发明提供了一种基于注意力与对抗网络的人体姿态估计方法、介质及设备;其中方法为:将待预测的图像输入到基于对抗网络的数据增强模块进行数据增强处理,得到数据增强图像;将数据增强图像输入到基于多尺度空间注意力的人体姿态估计网络,得到输出热力图;将输出热力图转换成各关键点的空间坐标,生成人体姿态,进而得到人体姿态估计结果。该方法可从不同尺度特征中获取空间注意力,同时对注意力进行多尺度融合,结合全局与局部注意力特征,最终生成更加精细的空间注意力,可解决遮挡图像与复杂背景图像的预测问题。
-
公开(公告)号:CN116403294A
公开(公告)日:2023-07-07
申请号:CN202310673551.3
申请日:2023-06-08
Applicant: 华南理工大学 , 人工智能与数字经济广东省实验室(广州)
IPC: G06V40/40 , G06N3/0455 , G06N3/048 , G06N3/08 , G06V10/44 , G06V10/764 , G06V10/82 , G06V40/16
Abstract: 本发明涉及活体检测技术领域,具体提供了一种基于Transformer的多视图宽度学习活体检测方法、介质及设备;其中方法为:获取待检测人员的多视图视频帧;多视图视频帧经过人脸区域检测模块获得对应的人脸区域图像;使用基于ViT嵌入的多视图宽度学习活体检测模型对人脸区域图像进行特征提取,并计算输出结果及置信度;将置信度与阈值做比较,得出活体检测结果。该方法能够充分挖掘图像中的人脸关键信息;基于多视图学习技术,能够有效解决因距离、光线等问题造成的不稳定性,不需要刻意面向摄像头进行验证;采用宽度学习方式,能使用比较少的参数实现较高的识别精度和响应速度,具有良好的鲁棒性。
-
-
-
-
-
-
-
-
-