-
公开(公告)号：CN120014710A
公开(公告)日：2025-05-16
申请号：CN202510182218.1
申请日：2025-02-18
Applicant: 南京邮电大学
IPC: G06V40/20 , G06V10/774 , G06V20/40 , G06V10/52 , G06V10/80 , G06V10/764 , G06V10/82 , G06V10/42 , G06V10/44 , G06N3/045 , G06N3/0464 , G06N3/08
Abstract: 本发明提供一种基于双支路多尺度特征融合的新生儿肢体动作识别方法，通过采集不同肢体动作状态下的新生儿视频，构建新生儿肢体动作视频样本集；构建基于双支路多尺度特征融合的新生儿肢体动作识别模型包括第一支路特征提取网络、第二支路特征提取网络、特征融合模块和分类器；得到新生儿肢体动作识别模型；利用得到的新生儿肢体动作识别模型对新输入的测试视频进行动作识别；该方法使用双支路从不同帧率的视频中提取动作特征，提升对细微动作变化的捕捉能力，并采用多尺度卷积注意力机制聚焦肢体动作的关键特征，有效提高新生儿肢体动作识别的准确率。
-
公开(公告)号：CN117994830A
公开(公告)日：2024-05-07
申请号：CN202311843748.3
申请日：2023-12-28
Applicant: 南京邮电大学
IPC: G06V40/16 , G06V10/774 , G06V10/46
Abstract: 本发明公开了一种基于图像块位置感知Transformer的表情识别方法及系统，该方法包括以下步骤：构建一个基于图像块位置感知Transformer的表情识别模型，该模型由图像预处理单元、初始特征提取单元、特征块位置选定单元、视觉Transformer单元和分类器构成；使用人脸表情图像库中的样本对表情识别模型进行训练；将待测试的人脸图像输入到训练好的表情识别模型进行表情识别。本发明以迭代渐进的不固定间隔来选定特征块的位置，排除对表情识别有干扰的特征块，强化对表情识别起关键作用的特征块，从而使得表情识别模型能够提取更具鉴别力的表情特征，增强模型对面部被遮挡、头部姿态变化、光照不均匀的鲁棒性，有效提升表情识别的准确率和泛化性能。
-
公开(公告)号：CN117373097A
公开(公告)日：2024-01-09
申请号：CN202311492898.4
申请日：2023-11-09
Applicant: 南京邮电大学
IPC: G06V40/16 , G06V10/764 , G06V10/82 , G06N3/0455 , G06N3/096
Abstract: 本发明提供一种基于可变形采样和视觉Transformer的微表情识别方法，获取宏表情图像和微表情图像，得到宏表情数据集和微表情数据集；构建基于可变形采样和视觉Transformer的微表情识别模型，包括特征提取模块、可变形采样模块、视觉Transformer模块和分类器；采用迁移学习方法，使用宏表情数据集和微表情数据集分别对基于可变形采样和视觉Transformer的微表情识别模型进行训练和超参数调整后，得到训练后的基于可变形采样和视觉Transformer的微表情识别模型；将待测试的图像输入到训练后的基于可变形采样和视觉Transformer的微表情识别模型进行微表情识别；该方法能够实现模型逐步关注图像中特征显著的区域的可鉴别特征，能够提高微表情识别的准确性和鲁棒性。
-
公开(公告)号：CN115758218A
公开(公告)日：2023-03-07
申请号：CN202211470232.4
申请日：2022-11-22
Applicant: 南京邮电大学
IPC: G06F18/24 , G06F18/214 , G06F18/25 , G06N3/0442 , G06N3/0464 , G06N3/08
Abstract: 本发明公开一种基于长短时特征和决策融合的三模态情感分析方法，该方法包括：将多模态情感数据集中的样本分成训练集和测试集，分别对其进行预处理，生成文本、表情、语音的长时序列和短时序列；分别构建基于长/短时特征的情感分类模型，使用预处理后的训练样本对其进行训练，训练好后分别对测试集样本进行情感分类，统计对应的分类混淆矩阵；使用训练好的基于长/短时特征的情感分类模型分别对被测视频进行情感分类，并利用对应的分类混淆矩阵对分类结果进行决策融合，得到被测视频的情感类别。本发明以三模态时序信号的长/短时特征的互补性和差异性为出发点，将长/短时特征融合和决策融合相结合，有效提升情感分类的准确率和鲁棒性。
-
公开(公告)号：CN115546869A
公开(公告)日：2022-12-30
申请号：CN202211310684.6
申请日：2022-10-25
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于多特征的人脸表情识别方法和系统，该方法包含以下步骤：建立多特征人脸表情数据库；构建基于多特征注意力融合的卷积神经网络模型；使用人脸表情数据库中的训练集对多特征注意力融合的卷积网络进行训练；以及利用训练好的模型对来自测试集中的人脸图片进行表情识别。本发明基于多特征注意力融合的人脸表情识别方法和系统，避免了人脸关键属性如性别、年龄特征等被无关特征所掩盖，加强了数据之间的关联、比较，从而提高了情感识别的准确率。
-
Patent Agency Ranking
公开(公告)号：CN111401116B
公开(公告)日：2022-08-26
申请号：CN201910743860.7
申请日：2019-08-13
Applicant: 南京邮电大学
IPC: G06V40/16 , G06V10/764 , G06V10/82 , G06N3/04
Abstract: 本发明公开了一种基于增强卷积和空时LSTM网络的双模态情感识别方法，使用预训练VGG16和LSTM网络，构建出本发明的基于立方体Attention的增强卷积和空时LSTM网络结构，包括以下步骤：(1)截取数据库中视频的主要部分，满足相同长度并对其分帧；(2)检测数据库中每个视频人脸、动作的空时特征点，根据每帧图片设置对应特征点处的权重值，形成立方体Attention部分权重图；(3)构建基于立方体Attention增强卷积和空时LSTM的结合网络；(4)通过上述步骤处理的表情、动作视频分别提取特征，将获得的表情和姿态特征串联融合并输入SVM分类器、softmax层，输出得到分类结果。提取到含有表情和姿态信息特征进行双模态分类，获得比传统特征学习方法更好的情感识别效果。
-
公开(公告)号：CN113361499B
公开(公告)日：2021-11-12
申请号：CN202110906188.6
申请日：2021-08-09
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于二维纹理和三维姿态融合的局部对象提取方法、装置，所述方法包括：获取的影像序列；根据纹理语义计算影像上的像素点与周围的各个邻域之间的第一归属概率；根据三维姿态语义计算影像上的像素点与周围的各个邻域之间的第二归属概率；将第一归属概率和第二归属概率进行融合，得到影像上的各个像素点对应的融合概率；依据影像上各个像素点的融合概率所指向的邻域，进行影像的局部对象划分。采用上述方案，在二维纹理语义的基础上融合三维姿态语义，提取建筑物等城市场景影像的局部对象时，同时考虑纹理语义和姿态语义，显著提高了提取结果的准确度和效率，更具有实用性。
-
公开(公告)号：CN113361499A
公开(公告)日：2021-09-07
申请号：CN202110906188.6
申请日：2021-08-09
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于二维纹理和三维姿态融合的局部对象提取方法、装置，所述方法包括：获取的影像序列；根据纹理语义计算影像上的像素点与周围的各个邻域之间的第一归属概率；根据三维姿态语义计算影像上的像素点与周围的各个邻域之间的第二归属概率；将第一归属概率和第二归属概率进行融合，得到影像上的各个像素点对应的融合概率；依据影像上各个像素点的融合概率所指向的邻域，进行影像的局部对象划分。采用上述方案，在二维纹理语义的基础上融合三维姿态语义，提取建筑物等城市场景影像的局部对象时，同时考虑纹理语义和姿态语义，显著提高了提取结果的准确度和效率，更具有实用性。
-
公开(公告)号：CN112784763A
公开(公告)日：2021-05-11
申请号：CN202110107709.1
申请日：2021-01-27
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于局部与整体特征自适应融合的表情识别方法及系统。该方法首先获取表情图像集，对表情图像集中的图像进行人脸检测、裁剪和对齐处理；然后构建一种表情识别模型，该模型包括数据处理模块、特征提取模块、特征融合模块和分类层，其中，特征融合模块使用注意力机制学习人脸整体图像及其多个局部区域图像特征的注意力权重，并基于注意力权重自适应选择重要特征进行加权融合；再使用表情图像集中的图像作为训练样本对构建的表情识别模型进行训练；最后利用训练好的表情识别模型对新输入的测试图像进行表情分类识别。本发明可自适应地融合来自整个人脸及未被遮挡的重要区域的表情特征，有效解决遮挡和姿态变化环境下的表情识别问题。
-
公开(公告)号：CN111402927A
公开(公告)日：2020-07-10
申请号：CN201910784181.4
申请日：2019-08-23
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于分段语谱图和双重Attention的语音情感识别方法，所述方法包括：1)将数据库中的语音音频信号进行分段并把每段音频转换成带有语音情感信息的语谱图；2)采用预训练的VGG16网络提取语谱图中深度语音情感特征；3)对深度语音情感特征进行空间和通道两个方向的权重学习，获得加权后的深度语音情感特征；4)把FC2输出的深度语音情感特征输入到全连接层FC3进行情感分类,FC3输出识别好的语音情感类别。通过本发明能够自主的学习到语谱图中各个区域以及特征图的各个通道对语音情感识别的重要性，提高后续的语音情感识别率；推动基于语音的智能人机交互应用。
-
-
-
-
-
-
-
-
-
Search Results
114
records
(took 0.028 seconds)
