公开(公告)号：CN119580360A

公开(公告)日：2025-03-07

申请号：CN202510143286.7

申请日：2025-02-10

Applicant: 吉林大学

Inventor： 杨非凡 ,  张红 ,  孙彦峰

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/26 ,  G06V10/44 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于改进Transformer模型的实时手语识别系统，包括数据预处理模块、特征提取模块和手语翻译模块；数据预处理模块通过帧间差分法实时提取手语视频关键帧，并用YOLOv5算法进行人物识别和图像分割；特征提取模块利用Mediapipe模型检测并提取手部骨骼与嘴型特征，随后进行数据增强和归一化处理，得到特征集；手语翻译模块则通过知识蒸馏改进Transformer模型，将其作为教师模型，同时预训练CNN和RNN作为学生模型，接收特征集进行翻译；本系统能够有效的减少了复杂背景和光照条件的干扰，显著提升了手语识别在实际应用中的鲁棒性。