公开(公告)号：CN117115528A

公开(公告)日：2023-11-24

申请号：CN202311050789.7

申请日：2023-08-21

Applicant: 北京计算机技术及应用研究所

Inventor： 李保平 ,  李晖 ,  鲍建明 ,  陈修冒

IPC: G06V10/764 ,  G06V10/80 ,  G06V40/16 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/08 ,  G10L15/25

Abstract: 本发明涉及一种基于神经网络的三维人脸信息唇语识别方法，属于图像处理领域。本发明基于神经网络的三维人脸信息唇语识别方法包括将人脸的RGB图像信息和深度图信息进行处理，融合，然后提取特征，经过时间卷积网络来提取序列信息，然后使用注意力机制来进行优化，最后经过分类器得到每个图像帧对应的单词概率分布。本发明能达到的更高的唇语识别准确度，同时利用了不受光照强度影响的深度图像信息，本发明的方法具有更强的鲁棒性。