人脸重建方法、模型训练方法及相关装置

    公开(公告)号:CN118587752A

    公开(公告)日:2024-09-03

    申请号:CN202310198171.9

    申请日:2023-03-02

    Abstract: 本申请公开了一种人脸重建方法、模型训练方法及相关装置,应用于电子设备,电子设备包括人脸重建模型,人脸重建模型包括第一有监督人脸重建模型和第二有监督人脸重建模型,方法包括:获取目标人脸数据集;在目标人脸数据集包括二维人脸数据和三维人脸数据时,将目标人脸数据集进行特征提取,得到第一图像特征和第二图像特征;将第一图像特征输入到第一有监督人脸重建模型,得到第一人脸重建结果;将第二图像特征输入到第二有监督人脸重建模型,得到第二人脸重建结果;根据第一人脸重建结果和第二人脸重建结果确定第一最终人脸重建结果。采用本申请实施例能够提供一种既能够应用于移动端又具备高质量的人脸重建方式。

    基于深度学习的人脸混合-变形生成方法和装置

    公开(公告)号:CN112734887B

    公开(公告)日:2022-09-20

    申请号:CN202110076881.5

    申请日:2021-01-20

    Applicant: 清华大学

    Inventor: 徐枫 田镜祺

    Abstract: 本申请提出一种基于深度学习的人脸混合‑变形生成方法和装置,涉及计算机动画和三维重建技术领域,其中,方法包括:获取中性人脸的三维网格数据和对应的三维网格表情集合;将三角网格数据转换为二维RGB图片;将二维RGB图片输入深度学习模型进行训练,获取训练人脸混合‑变形二维图;根据人脸混合‑变形二维图,获取训练表情集合,根据训练表情集合和三维网格表情集合调整深度学习模型的参数,通过训练后的深度学习模型对待处理人脸二维图进行处理,生成人脸混合‑变形表情。由此,利用深度神经网络从少量表情集生成个性化混合‑变形表情,提高处理效率。

    基于特征体素融合的多视角三维可变形人脸重建方法

    公开(公告)号:CN114972634A

    公开(公告)日:2022-08-30

    申请号:CN202210488298.X

    申请日:2022-05-06

    Applicant: 清华大学

    Inventor: 徐枫 田镜祺

    Abstract: 本申请公开了一种基于特征体素融合的多视角三维可变形人脸重建方法,其中,方法包括:获取不同视角的多张人脸图片;将多张人脸图片中的二维特征映射为多个三维特征体素,并根据视角间的语义对应关系对多个三维特征体素进行语义配准,得到多个配准后的三维特征体素;将多个配准后的三维特征体素进行特征体素融合,生成融合特征体素,并基于融合特征体素得到三维可变形人脸重建结果,从而在重建过程中考虑了图像之间的像素对应关系,做到了更好地局部特征融合,由此,解决了相关技术无法从多张视图恢复出三维人脸可变形模型以及并未充分考虑到不同视图之间对人脸区域的遮挡情况等问题。

    基于深度学习的人脸混合-变形生成方法和装置

    公开(公告)号:CN112734887A

    公开(公告)日:2021-04-30

    申请号:CN202110076881.5

    申请日:2021-01-20

    Applicant: 清华大学

    Inventor: 徐枫 田镜祺

    Abstract: 本申请提出一种基于深度学习的人脸混合‑变形生成方法和装置,涉及计算机动画和三维重建技术领域,其中,方法包括:获取中性人脸的三维网格数据和对应的三维网格表情集合;将三角网格数据转换为二维RGB图片;将二维RGB图片输入深度学习模型进行训练,获取训练人脸混合‑变形二维图;根据人脸混合‑变形二维图,获取训练表情集合,根据训练表情集合和三维网格表情集合调整深度学习模型的参数,通过训练后的深度学习模型对待处理人脸二维图进行处理,生成人脸混合‑变形表情。由此,利用深度神经网络从少量表情集生成个性化混合‑变形表情,提高处理效率。

Patent Agency Ranking