公开(公告)号：CN118762123A

公开(公告)日：2024-10-11

申请号：CN202410835697.8

申请日：2024-06-26

Applicant: 中国科学院计算技术研究所

Inventor： 高林 ,  刘锋林

IPC: G06T17/00 ,  G06T19/20 ,  G06N3/02

Abstract: 本发明提供了一种三维模型的构建方法，该方法通过引入针对编辑区域的蒙版以实现对三维模型中的编辑区域进行约束，其中，针对编辑区域的蒙版是可以根据三维模型需要编辑的区域灵活设计，不采用固定的形式，实现了对三维模型的灵活编辑从而能够构建出高质量的三维模型，同时，本发明在构建三维模型过程中还通过不断添加不同的约束以不断优化三维模型的几何形状的准确度、纹理信息的清晰度、表面的光照反应、几何平滑度以及整体的渲染质量，从而进一步提高了三维模型的质量，得到更加具有真实感的三维模型。

公开(公告)号：CN116883568A

公开(公告)日：2023-10-13

申请号：CN202310837204.X

申请日：2023-07-10

Applicant: 中国科学院计算技术研究所

Inventor： 高林 ,  刘锋林 ,  陈姝宇

IPC: G06T15/00 ,  G06T13/40 ,  G06N3/084 ,  G06N3/0475 ,  G06N3/094

Abstract: 本发明提供了一种基于线稿合成人脸的系统和方法，该方法包括：提供基于线稿生成三维人脸的功能，包括：获取第一线稿和第一外观参考图像，并利用隐码合成模块、线稿渲染模块和图像渲染模块，得到所述第一线稿对应的第一三平面特征、第一人脸三维线稿和第一彩色三维人脸；提供基于线稿编辑三维人脸的功能，包括：为用户提供选择不同视角观察第一人脸三维线稿的操作界面，提供二维可编辑的自定义视角线稿；获取编辑后得到的第二线稿和掩模；利用所述图像渲染模块，获取第二外观参考图像，其采用与所述自定义视角线稿的视角观察第一彩色三维人脸得到；基于所述第二线稿和所述第二外观参考图像生成第二人脸三维线稿和第二彩色三维人脸。

公开(公告)号：CN115278106B

公开(公告)日：2024-11-01

申请号：CN202210698610.8

申请日：2022-06-20

Applicant: 中国科学院计算技术研究所

Inventor： 高林 ,  陈姝宇 ,  刘锋林

IPC: H04N5/262 ,  H04N5/265 ,  G06V40/16 ,  G06V40/18 ,  G06N3/0475 ,  G06N3/045 ,  G06N3/094 ,  G06N3/084

Abstract: 本发明提出一种基于草图的深度人脸视频编辑方法和系统，包括对齐并裁剪原视频，并将人脸编码至隐空间，得到人脸视频中所有帧的隐码；添加草图生成分支#imgabs0#至StyleGAN，反向优化图像隐码，生成编辑向量δedit；将编辑向量δedit叠加到所有帧的隐码，完成时序无关编辑的传播；使用分段线性函数的权重叠加编辑向量δedit，完成动作或表情的编辑传播；根据当前帧与编辑帧的表情参数的相似度，计算权重叠加编辑向量δedit，使编辑与特定表情相对应，完成表情驱动编辑传播；使用区域感知融合方法，融合不同帧添加的不同类型的编辑，并将人脸融合至原视频。

公开(公告)号：CN112991484A

公开(公告)日：2021-06-18

申请号：CN202110466411.X

申请日：2021-04-28

Applicant: 中国科学院计算技术研究所数字经济产业研究院

Inventor： 高林 ,  陈姝宇 ,  刘锋林

IPC: G06T11/00 ,  G06T5/50

Abstract: 本发明涉及一种智能人脸编辑方法、装置、存储介质及设备。适用于计算机视觉、计算机图形学领域。提供一种智能人脸编辑方法、装置、存储介质及设备。本发明所采用的技术方案是：一种智能人脸编辑方法，其特征在于：将人脸几何特征图像和人脸外观特征图像根据人脸部位输入相应的、经训练的局部解耦模块，提取人脸各部位对应的几何特征和外观特征；局部解耦模块基于几何特征和外观特征生成人脸各部位对应的局部图像及局部中间特征图；通过经训练的全局融合模块将人脸各部位对应的局部中间特征图融合生成具有所述几何特征和外观特征的最终人脸图像。

公开(公告)号：CN118628660A

公开(公告)日：2024-09-10

申请号：CN202410835554.7

申请日：2024-06-26

Applicant: 中国科学院计算技术研究所

Inventor： 高林 ,  刘锋林

IPC: G06T17/00 ,  G06T7/50 ,  G06N3/02

Abstract: 本发明提供了一种三维模型的构建方法，该方法利用深度图作为三维信息以生成更加稠密和准确的线稿，并采用多视角图像生成扩散模型能够充分将输入其中的线稿和文本的多模态信息进行融合以得到更具代表性的特性，因此，本发明的三维模型的构建方案能够构建出高质量的三维模型，同时，本发明在构建三维模型过程中还通过不断添加不同的约束以不断优化三维模型的几何形状的准确度、纹理信息的清晰度、表面的光照反应、几何平滑度以及整体的渲染质量，从而进一步提高了三维模型的质量，得到更加具有真实感的三维模型。

公开(公告)号：CN115278106A

公开(公告)日：2022-11-01

申请号：CN202210698610.8

申请日：2022-06-20

Applicant: 中国科学院计算技术研究所

Inventor： 高林 ,  陈姝宇 ,  刘锋林

IPC: H04N5/262 ,  H04N5/265 ,  G06V40/16 ,  G06V40/18 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出一种基于草图的深度人脸视频编辑方法和系统，包括对齐并裁剪原视频，并将人脸编码至隐空间，得到人脸视频中所有帧的隐码；添加草图生成分支至StyleGAN，反向优化图像隐码，生成编辑向量δedit；将编辑向量δedit叠加到所有帧的隐码，完成时序无关编辑的传播；使用分段线性函数的权重叠加编辑向量δedit，完成动作或表情的编辑传播；根据当前帧与编辑帧的表情参数的相似度，计算权重叠加编辑向量δedit，使编辑与特定表情相对应，完成表情驱动编辑传播；使用区域感知融合方法，融合不同帧添加的不同类型的编辑，并将人脸融合至原视频。