公开(公告)号：CN114926553B

公开(公告)日：2024-11-01

申请号：CN202210517934.7

申请日：2022-05-12

Applicant: 中国科学院计算技术研究所

Inventor： 高林 ,  黄熠华 ,  何月 ,  袁宇杰

IPC: G06T7/90 ,  G06T15/80 ,  G06V10/764 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/08 ,  G06V10/82

Abstract: 本发明提出一种基于神经辐射场的三维场景一致性风格化方法和系统。通过引入2D风格化模型和3D神经辐射场互学习的策略，让神经辐射场获得了像素级的精准风格化监督，同时减少了2D风格化模型的不一致性对神经辐射场结果的损害。引入的条件概率建模的可学习变量在学习到2D风格化结果的不一致性，进一步降低了神经辐射场的模糊，与此同时让神经辐射场能够条件化的对三维场景进行风格化渲染。本发明能够基于一组风格图片，和同一场景不同视角的一组图片，建模出该场景的风格化神经辐射场。可给定场景的任意新视角和一张风格图片，渲染出该视角下符合风格图片的风格效果的场景图片，渲染结果在不同视角下满足一致性。

公开(公告)号：CN115689869A

公开(公告)日：2023-02-03

申请号：CN202211294718.7

申请日：2022-10-21

Applicant: 中国科学院计算技术研究所

Inventor： 高林 ,  何月 ,  陈姝宇

IPC: G06T3/00 ,  G06T7/90 ,  G06T7/40 ,  G06T7/80 ,  G06N3/045 ,  G06N3/09

Abstract: 本发明提出一种视频美妆迁移方法，包括：给定一段人脸视频帧序列，估计视频的相机内参以及每帧对应的姿态、表情等参数构建为数据集；将该数据集输入至动态神经辐射场网络，显式控制人脸姿态表情，隐式重建三维人脸，得到人脸空间的密度及颜色信息；固定人脸密度预测模块，重新训练颜色预测模块，并用混合人脸损失函数和密集关键点颜色损失函数进行监督；引入基于纹理图的图像块判别器进行判别，训练收敛得到妆容迁移后的美妆人脸神经辐射场。本发明还提出一种视频美妆迁移系统，以及一种用于实现基于美妆参考图像对人脸视频的视频美妆迁移的数据处理装置。

公开(公告)号：CN114926553A

公开(公告)日：2022-08-19

申请号：CN202210517934.7

申请日：2022-05-12

Applicant: 中国科学院计算技术研究所

Inventor： 高林 ,  黄熠华 ,  何月 ,  袁宇杰

IPC: G06T7/90 ,  G06T15/80 ,  G06V10/764 ,  G06N3/04 ,  G06N3/08 ,  G06V10/82

Abstract: 本发明提出一种基于神经辐射场的三维场景一致性风格化方法和系统。通过引入2D风格化模型和3D神经辐射场互学习的策略，让神经辐射场获得了像素级的精准风格化监督，同时减少了2D风格化模型的不一致性对神经辐射场结果的损害。引入的条件概率建模的可学习变量在学习到2D风格化结果的不一致性，进一步降低了神经辐射场的模糊，与此同时让神经辐射场能够条件化的对三维场景进行风格化渲染。本发明能够基于一组风格图片，和同一场景不同视角的一组图片，建模出该场景的风格化神经辐射场。可给定场景的任意新视角和一张风格图片，渲染出该视角下符合风格图片的风格效果的场景图片，渲染结果在不同视角下满足一致性。