智能人脸编辑方法、装置、存储介质及设备

    公开(公告)号:CN112991484A

    公开(公告)日:2021-06-18

    申请号:CN202110466411.X

    申请日:2021-04-28

    Abstract: 本发明涉及一种智能人脸编辑方法、装置、存储介质及设备。适用于计算机视觉、计算机图形学领域。提供一种智能人脸编辑方法、装置、存储介质及设备。本发明所采用的技术方案是:一种智能人脸编辑方法,其特征在于:将人脸几何特征图像和人脸外观特征图像根据人脸部位输入相应的、经训练的局部解耦模块,提取人脸各部位对应的几何特征和外观特征;局部解耦模块基于几何特征和外观特征生成人脸各部位对应的局部图像及局部中间特征图;通过经训练的全局融合模块将人脸各部位对应的局部中间特征图融合生成具有所述几何特征和外观特征的最终人脸图像。

    一种数据驱动的交互式三维动画合成方法及系统

    公开(公告)号:CN106023287B

    公开(公告)日:2019-06-18

    申请号:CN201610373694.2

    申请日:2016-05-31

    Abstract: 本发明提出一种数据驱动的交互式三维动画合成方法及系统,该方法包括输入具有相同网格拓扑的模型库,对所述模型库中的模型进行分块简化,生成简化模型,并记录所述模型的面片与原始模型的面片之间的对应关系,获取所述简化模型的特征向量,组成所述简化模型的特征向量空间;给定需要进行合成的初始模型S与终点模型T,根据所述对应关系,获取简化模型的初始模型S’与终点模型T’,通过计算所述初始模型S’与所述终点模型T’所在流形上的测地线路径,获取从所述始模型S’与所述终点模型T’的模型序列M’,根据所述对应关系,依次计算所述初始模型S’与所述终点模型T’的局部坐标架与顶点坐标,得到从原始初始模型S与终点模型T上的模型序列M。

    一种数据驱动的交互式三维动画合成方法及系统

    公开(公告)号:CN106023287A

    公开(公告)日:2016-10-12

    申请号:CN201610373694.2

    申请日:2016-05-31

    CPC classification number: G06T13/20

    Abstract: 本发明提出一种数据驱动的交互式三维动画合成方法及系统,该方法包括输入具有相同网格拓扑的模型库,对所述模型库中的模型进行分块简化,生成简化模型,并记录所述模型的片面与原始模型的面片之间的对应关系,获取所述简化模型的特征向量,组成所述简化模型的特征向量空间;给定需要进行合成的初始模型S与终点模型T,根据所述对应关系,获取简化模型的初始模型S’与终点模型T’,通过计算所述初始模型S’与所述终点模型T’所在流形上的测地线路径,获取从所述始模型S’与所述终点模型T’的模型序列M’,根据所述对应关系,依次计算所述初始模型S’与所述终点模型T’的局部坐标架与顶点坐标,得到从原始初始模型S与终点模型T上的模型序列M。

    基于神经辐射场的实时人像视频三维感知重光照方法及装置

    公开(公告)号:CN118447153A

    公开(公告)日:2024-08-06

    申请号:CN202410577968.4

    申请日:2024-05-10

    Abstract: 本发明提出一种基于神经辐射场的实时人像视频三维感知重光照方法和装置,包括:编码步骤,获取待重光照的人像视频,提取人像视频的当前帧的光照条件;基于视觉转换器和卷积神经网络的双编码器根据光照条件,确定当前帧的三平面数据,三平面数据包括几何材质三平面和光影三平面;叠加步骤,通过基于自注意力和交叉注意力的时序一致性网络,计算当前帧的三平面数据和历史帧的三平面数据的残差,将残差叠加到当前帧的三平面数据,得到叠加数据,叠加数据包括残差叠加后的几何材质三平面和残差叠加后的光影三平面;渲染步骤,根据相机参数和叠加数据,从三平面空间渲染得到当前帧的重光照图像。

    图像处理方法、装置、电子设备和存储介质

    公开(公告)号:CN111080746B

    公开(公告)日:2024-04-26

    申请号:CN201911257463.5

    申请日:2019-12-10

    Abstract: 本发明实施例公开了一种图像处理方法、装置、电子设备和存储介质;本发明实施例可以获取用户指定的用户线描图像、用户着色图像,以及,获取待上色的目标线描图像、参考图像、参考线描图像;基于参考图像、参考线描图像对待上色的目标线描图像进行着色处理,得到初始的目标着色图像;根据用户线描图像提取用户着色图像的着色信息;基于着色信息对初始的目标着色图像进行着色调整处理,得到最终的目标着色图像。在本发明实施例中可以先根据参考图像来对目标线描图像进行初步的着色,再根据用户着色图像来进一步调整着色,最终得到与用户着色图像着色风格相同的目标着色图像。由此,该方案可以提升图像处理方法的效率。

    一种视频美妆迁移方法及系统
    16.
    发明公开

    公开(公告)号:CN115689869A

    公开(公告)日:2023-02-03

    申请号:CN202211294718.7

    申请日:2022-10-21

    Inventor: 高林 何月 陈姝宇

    Abstract: 本发明提出一种视频美妆迁移方法,包括:给定一段人脸视频帧序列,估计视频的相机内参以及每帧对应的姿态、表情等参数构建为数据集;将该数据集输入至动态神经辐射场网络,显式控制人脸姿态表情,隐式重建三维人脸,得到人脸空间的密度及颜色信息;固定人脸密度预测模块,重新训练颜色预测模块,并用混合人脸损失函数和密集关键点颜色损失函数进行监督;引入基于纹理图的图像块判别器进行判别,训练收敛得到妆容迁移后的美妆人脸神经辐射场。本发明还提出一种视频美妆迁移系统,以及一种用于实现基于美妆参考图像对人脸视频的视频美妆迁移的数据处理装置。

    基于草图的深度人脸视频编辑方法及系统

    公开(公告)号:CN115278106A

    公开(公告)日:2022-11-01

    申请号:CN202210698610.8

    申请日:2022-06-20

    Abstract: 本发明提出一种基于草图的深度人脸视频编辑方法和系统,包括对齐并裁剪原视频,并将人脸编码至隐空间,得到人脸视频中所有帧的隐码;添加草图生成分支至StyleGAN,反向优化图像隐码,生成编辑向量δedit;将编辑向量δedit叠加到所有帧的隐码,完成时序无关编辑的传播;使用分段线性函数的权重叠加编辑向量δedit,完成动作或表情的编辑传播;根据当前帧与编辑帧的表情参数的相似度,计算权重叠加编辑向量δedit,使编辑与特定表情相对应,完成表情驱动编辑传播;使用区域感知融合方法,融合不同帧添加的不同类型的编辑,并将人脸融合至原视频。

    三维人脸与眼球运动的建模与捕获方法及系统

    公开(公告)号:CN110807364B

    公开(公告)日:2022-09-30

    申请号:CN201910926781.X

    申请日:2019-09-27

    Abstract: 本发明提出一种三维人脸与眼球运动的建模与捕获方法及系统,对于拍摄得到的场景图像,首先需要提取得到图像中人脸的特征点的位置信息,该信息的获取使用卷积神经网络的方法;获取得到稀疏的面部特征点后,利用人脸的多线性模型作为模型的先验条件,将图像上检测到的特征点位置作为观测结果,并设计一个最大后验的框架来优化求解图像中人脸的几何形状和姿态。针对三维眼球的运动,利用稀疏的二维特征点抠取得到眼睛区域图像块,利用特征点的位置信息实现图像块的对齐,进一步标记出虹膜和瞳孔的区域,利用基于合成的分析方法将眼球运动实时重建出来。结合上一步得到的表情参数,将人脸表情运动和眼球运动相结合,得到完整的面部表情动画。

    三维人脸与眼球运动的建模与捕获方法及系统

    公开(公告)号:CN110807364A

    公开(公告)日:2020-02-18

    申请号:CN201910926781.X

    申请日:2019-09-27

    Abstract: 本发明提出一种三维人脸与眼球运动的建模与捕获方法及系统,对于拍摄得到的场景图像,首先需要提取得到图像中人脸的特征点的位置信息,该信息的获取使用卷积神经网络的方法;获取得到稀疏的面部特征点后,利用人脸的多线性模型作为模型的先验条件,将图像上检测到的特征点位置作为观测结果,并设计一个最大后验的框架来优化求解图像中人脸的几何形状和姿态。针对三维眼球的运动,利用稀疏的二维特征点抠取得到眼睛区域图像块,利用特征点的位置信息实现图像块的对齐,进一步标记出虹膜和瞳孔的区域,利用基于合成的分析方法将眼球运动实时重建出来。结合上一步得到的表情参数,将人脸表情运动和眼球运动相结合,得到完整的面部表情动画。

    一种线稿图像上色的方法及装置

    公开(公告)号:CN110264478A

    公开(公告)日:2019-09-20

    申请号:CN201910551946.X

    申请日:2019-06-21

    Abstract: 本申请公开了一种线稿图像上色的方法及装置,用于对线稿图像进行精准上色,避免相邻区域的串色。本申请方法包括:获取待上色的所有线稿图像;根据预置的图像分割算法将每个线稿图像分割多个区域;选择至少一幅线稿图像作为参考图像,并将除参考图像外的线稿图像作为目标图像;获取参考图像的每个区域的标签;对线稿图像中的所有区域进行两两匹配;根据匹配结果和参考图像的区域的标签确定目标图像中的每个区域的标签;根据标签与区域颜色的预置对应关系对所有线稿图像进行上色。

Patent Agency Ranking