-
公开(公告)号：CN109815938A
公开(公告)日：2019-05-28
申请号：CN201910144997.0
申请日：2019-02-27
Applicant: 南京邮电大学
IPC: G06K9/00
Abstract: 本发明公开了一种基于多类核典型相关分析的多模态情感特征识别方法，包括以下步骤：1)在包含多种模态数据的情感数据库中选取一定数量的样本；2)从上述样本数据中提取表情特征、语音特征和姿态特征，形成表情特征数据矩阵、语音特征数据矩阵和姿态特征数据矩阵；3)将上述3个矩阵进行归一化和标准化处理；4)使用多类核典型相关分析方法将多个模态的特征进行融合，得到融合后的特征；5)将融合后的特征放入支持向量机中进行情感识别。本方法通过将多类核典型相关分析方法的应用，寻找各模态特征之间强相关性，充分使用人类各种情绪情况下的各个模态的特征，在情感识别中使计算机能够更加精确的识别人类的情绪。
-
公开(公告)号：CN108596069A
公开(公告)日：2018-09-28
申请号：CN201810346075.3
申请日：2018-04-18
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于深度3D残差网络的新生儿疼痛表情识别方法及系统。该方法包括：建立包含疼痛表情类别标签的新生儿表情视频库，并将新生儿表情视频库中的样本划分为训练集和验证集；构建一种用于新生儿疼痛表情识别的深度3D残差网络，利用公开的有类别标签的大规模视频数据库对网络进行预训练，得到初始权重参数值，再利用新生儿表情视频库中的训练集和验证集样本对网络进行微调，获得训练好的网络模型；将待测试新生儿表情视频片段输入到训练好的网络模型，进行表情分类识别，得到疼痛表情识别结果。本发明采用深度3D残差网络从视频中提取能够反映时间信息的时空动态特征，可以更好地表征面部表情的变化，从而提升分类识别的准确性。
-
公开(公告)号：CN107945118A
公开(公告)日：2018-04-20
申请号：CN201711034936.6
申请日：2017-10-30
Applicant: 南京邮电大学
CPC classification number: G06T5/005 , G06T3/40 , G06T2207/20081 , G06T2207/30201
Abstract: 本发明公开了一种基于生成式对抗网络的人脸图像修复方法，该方法包括以下步骤：(1)搜集大量含有完整清晰人脸的图像，建立一个人脸图像数据库；(2)构建一种生成式对抗网络；(3)对生成式对抗网络进行训练，优化生成式对抗网络中生成器和鉴别器的参数；(4)将服从正态分布的随机向量输入到已训练好的生成器，生成人脸图像，将待修复人脸图像的完好无损区域与生成图像的相应区域进行对比，不断调整输入向量，直至两者相似，最终将待修复的人脸图像中被遮挡或损坏区域的像素值用生成人脸图像的对应区域的像素值来替换。本发明针对有遮挡或损坏的人脸图像的修复问题，采用具有深度学习结构的生成式对抗网络，有效地解决了图像处理中的图像修复问题。
-
公开(公告)号：CN102663450A
公开(公告)日：2012-09-12
申请号：CN201210077351.3
申请日：2012-03-21
Applicant: 南京邮电大学
IPC: G06K9/66
Abstract: 本发明公开了一种基于稀疏表示的新生儿疼痛与非疼痛表情分类识别方法，该方法使用训练样本构建冗余字典,将测试样本看成冗余字典中训练样本的线性组合，利用其特有的稀疏性进行疼痛与非疼痛表情分类识别，能有效地识别出微笑、安静、非疼痛时的哭、轻度疼痛、剧烈疼痛状态下的表情，并对新生儿面部图像的噪声与遮挡问题具有很好的鲁棒性，为开发新生儿疼痛自动评估系统提供了一种新的方法和途径。
-
公开(公告)号：CN120014710A
公开(公告)日：2025-05-16
申请号：CN202510182218.1
申请日：2025-02-18
Applicant: 南京邮电大学
IPC: G06V40/20 , G06V10/774 , G06V20/40 , G06V10/52 , G06V10/80 , G06V10/764 , G06V10/82 , G06V10/42 , G06V10/44 , G06N3/045 , G06N3/0464 , G06N3/08
Abstract: 本发明提供一种基于双支路多尺度特征融合的新生儿肢体动作识别方法，通过采集不同肢体动作状态下的新生儿视频，构建新生儿肢体动作视频样本集；构建基于双支路多尺度特征融合的新生儿肢体动作识别模型包括第一支路特征提取网络、第二支路特征提取网络、特征融合模块和分类器；得到新生儿肢体动作识别模型；利用得到的新生儿肢体动作识别模型对新输入的测试视频进行动作识别；该方法使用双支路从不同帧率的视频中提取动作特征，提升对细微动作变化的捕捉能力，并采用多尺度卷积注意力机制聚焦肢体动作的关键特征，有效提高新生儿肢体动作识别的准确率。
-
Patent Agency Ranking
公开(公告)号：CN117994830A
公开(公告)日：2024-05-07
申请号：CN202311843748.3
申请日：2023-12-28
Applicant: 南京邮电大学
IPC: G06V40/16 , G06V10/774 , G06V10/46
Abstract: 本发明公开了一种基于图像块位置感知Transformer的表情识别方法及系统，该方法包括以下步骤：构建一个基于图像块位置感知Transformer的表情识别模型，该模型由图像预处理单元、初始特征提取单元、特征块位置选定单元、视觉Transformer单元和分类器构成；使用人脸表情图像库中的样本对表情识别模型进行训练；将待测试的人脸图像输入到训练好的表情识别模型进行表情识别。本发明以迭代渐进的不固定间隔来选定特征块的位置，排除对表情识别有干扰的特征块，强化对表情识别起关键作用的特征块，从而使得表情识别模型能够提取更具鉴别力的表情特征，增强模型对面部被遮挡、头部姿态变化、光照不均匀的鲁棒性，有效提升表情识别的准确率和泛化性能。
-
公开(公告)号：CN117373097A
公开(公告)日：2024-01-09
申请号：CN202311492898.4
申请日：2023-11-09
Applicant: 南京邮电大学
IPC: G06V40/16 , G06V10/764 , G06V10/82 , G06N3/0455 , G06N3/096
Abstract: 本发明提供一种基于可变形采样和视觉Transformer的微表情识别方法，获取宏表情图像和微表情图像，得到宏表情数据集和微表情数据集；构建基于可变形采样和视觉Transformer的微表情识别模型，包括特征提取模块、可变形采样模块、视觉Transformer模块和分类器；采用迁移学习方法，使用宏表情数据集和微表情数据集分别对基于可变形采样和视觉Transformer的微表情识别模型进行训练和超参数调整后，得到训练后的基于可变形采样和视觉Transformer的微表情识别模型；将待测试的图像输入到训练后的基于可变形采样和视觉Transformer的微表情识别模型进行微表情识别；该方法能够实现模型逐步关注图像中特征显著的区域的可鉴别特征，能够提高微表情识别的准确性和鲁棒性。
-
公开(公告)号：CN115758218A
公开(公告)日：2023-03-07
申请号：CN202211470232.4
申请日：2022-11-22
Applicant: 南京邮电大学
IPC: G06F18/24 , G06F18/214 , G06F18/25 , G06N3/0442 , G06N3/0464 , G06N3/08
Abstract: 本发明公开一种基于长短时特征和决策融合的三模态情感分析方法，该方法包括：将多模态情感数据集中的样本分成训练集和测试集，分别对其进行预处理，生成文本、表情、语音的长时序列和短时序列；分别构建基于长/短时特征的情感分类模型，使用预处理后的训练样本对其进行训练，训练好后分别对测试集样本进行情感分类，统计对应的分类混淆矩阵；使用训练好的基于长/短时特征的情感分类模型分别对被测视频进行情感分类，并利用对应的分类混淆矩阵对分类结果进行决策融合，得到被测视频的情感类别。本发明以三模态时序信号的长/短时特征的互补性和差异性为出发点，将长/短时特征融合和决策融合相结合，有效提升情感分类的准确率和鲁棒性。
-
公开(公告)号：CN115546869A
公开(公告)日：2022-12-30
申请号：CN202211310684.6
申请日：2022-10-25
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于多特征的人脸表情识别方法和系统，该方法包含以下步骤：建立多特征人脸表情数据库；构建基于多特征注意力融合的卷积神经网络模型；使用人脸表情数据库中的训练集对多特征注意力融合的卷积网络进行训练；以及利用训练好的模型对来自测试集中的人脸图片进行表情识别。本发明基于多特征注意力融合的人脸表情识别方法和系统，避免了人脸关键属性如性别、年龄特征等被无关特征所掩盖，加强了数据之间的关联、比较，从而提高了情感识别的准确率。
-
公开(公告)号：CN111401116B
公开(公告)日：2022-08-26
申请号：CN201910743860.7
申请日：2019-08-13
Applicant: 南京邮电大学
IPC: G06V40/16 , G06V10/764 , G06V10/82 , G06N3/04
Abstract: 本发明公开了一种基于增强卷积和空时LSTM网络的双模态情感识别方法，使用预训练VGG16和LSTM网络，构建出本发明的基于立方体Attention的增强卷积和空时LSTM网络结构，包括以下步骤：(1)截取数据库中视频的主要部分，满足相同长度并对其分帧；(2)检测数据库中每个视频人脸、动作的空时特征点，根据每帧图片设置对应特征点处的权重值，形成立方体Attention部分权重图；(3)构建基于立方体Attention增强卷积和空时LSTM的结合网络；(4)通过上述步骤处理的表情、动作视频分别提取特征，将获得的表情和姿态特征串联融合并输入SVM分类器、softmax层，输出得到分类结果。提取到含有表情和姿态信息特征进行双模态分类，获得比传统特征学习方法更好的情感识别效果。
-
-
-
-
-
-
-
-
-
Search Results
113
records
(took 0.022 seconds)
