公开(公告)号：CN110807364B

公开(公告)日：2022-09-30

申请号：CN201910926781.X

申请日：2019-09-27

Applicant: 中国科学院计算技术研究所

Inventor： 夏时洪 ,  陈姝宇 ,  王志勇

IPC: G06V40/16 ,  G06V40/19 ,  G06V40/20 ,  G06V10/774 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06T7/246 ,  G06T17/00

Abstract: 本发明提出一种三维人脸与眼球运动的建模与捕获方法及系统，对于拍摄得到的场景图像，首先需要提取得到图像中人脸的特征点的位置信息，该信息的获取使用卷积神经网络的方法；获取得到稀疏的面部特征点后，利用人脸的多线性模型作为模型的先验条件，将图像上检测到的特征点位置作为观测结果，并设计一个最大后验的框架来优化求解图像中人脸的几何形状和姿态。针对三维眼球的运动，利用稀疏的二维特征点抠取得到眼睛区域图像块，利用特征点的位置信息实现图像块的对齐，进一步标记出虹膜和瞳孔的区域，利用基于合成的分析方法将眼球运动实时重建出来。结合上一步得到的表情参数，将人脸表情运动和眼球运动相结合，得到完整的面部表情动画。

公开(公告)号：CN110807364A

公开(公告)日：2020-02-18

申请号：CN201910926781.X

申请日：2019-09-27

Applicant: 中国科学院计算技术研究所

Inventor： 夏时洪 ,  陈姝宇 ,  王志勇

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06T7/246 ,  G06T17/00

Abstract: 本发明提出一种三维人脸与眼球运动的建模与捕获方法及系统，对于拍摄得到的场景图像，首先需要提取得到图像中人脸的特征点的位置信息，该信息的获取使用卷积神经网络的方法；获取得到稀疏的面部特征点后，利用人脸的多线性模型作为模型的先验条件，将图像上检测到的特征点位置作为观测结果，并设计一个最大后验的框架来优化求解图像中人脸的几何形状和姿态。针对三维眼球的运动，利用稀疏的二维特征点抠取得到眼睛区域图像块，利用特征点的位置信息实现图像块的对齐，进一步标记出虹膜和瞳孔的区域，利用基于合成的分析方法将眼球运动实时重建出来。结合上一步得到的表情参数，将人脸表情运动和眼球运动相结合，得到完整的面部表情动画。