-
公开(公告)号:CN119359914A
公开(公告)日:2025-01-24
申请号:CN202411409585.2
申请日:2024-10-10
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种基于三平面和多级纹理的动态神经辐射场反走样重建方法,包括:输入待重建的训练视频帧,在观察空间对该训练视频帧的每个像素投射光锥,采样该光锥轴线上的内切球,得到采样球;使用动态变形网络将该观察空间的采样球映射到规范空间;该规范空间使用多级三平面纹理进行表示,该规范空间中的采样球分别投射到三平面上得到三个对应的圆盘,对每个圆盘分别提取对应多级纹理平面上的特征并拼接,得到多级三平面纹理特征;将待重建视频帧输入动态变形网络和多级纹理三平面,并将得到的多级三平面纹理特征和指定视角输入静态神经辐射场网络进行神经渲染,重建出该待重建视频帧在该指定视角下的渲染图像。
-
公开(公告)号:CN110264478B
公开(公告)日:2025-01-21
申请号:CN201910551946.X
申请日:2019-06-21
Applicant: 腾讯科技(深圳)有限公司 , 中国科学院计算技术研究所
Abstract: 本申请公开了一种线稿图像上色的方法及装置,用于对线稿图像进行精准上色,避免相邻区域的串色。本申请方法包括:获取待上色的所有线稿图像;根据预置的图像分割算法将每个线稿图像分割多个区域;选择至少一幅线稿图像作为参考图像,并将除参考图像外的线稿图像作为目标图像;获取参考图像的每个区域的标签;对线稿图像中的所有区域进行两两匹配;根据匹配结果和参考图像的区域的标签确定目标图像中的每个区域的标签;根据标签与区域颜色的预置对应关系对所有线稿图像进行上色。
-
公开(公告)号:CN115278106B
公开(公告)日:2024-11-01
申请号:CN202210698610.8
申请日:2022-06-20
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种基于草图的深度人脸视频编辑方法和系统,包括对齐并裁剪原视频,并将人脸编码至隐空间,得到人脸视频中所有帧的隐码;添加草图生成分支#imgabs0#至StyleGAN,反向优化图像隐码,生成编辑向量δedit;将编辑向量δedit叠加到所有帧的隐码,完成时序无关编辑的传播;使用分段线性函数的权重叠加编辑向量δedit,完成动作或表情的编辑传播;根据当前帧与编辑帧的表情参数的相似度,计算权重叠加编辑向量δedit,使编辑与特定表情相对应,完成表情驱动编辑传播;使用区域感知融合方法,融合不同帧添加的不同类型的编辑,并将人脸融合至原视频。
-
公开(公告)号:CN118799530A
公开(公告)日:2024-10-18
申请号:CN202310430582.6
申请日:2023-04-13
Applicant: 腾讯科技(深圳)有限公司 , 中国科学院计算技术研究所
Abstract: 本申请实施例提供一种三维重建方法、装置、电子设备及计算机可读存储介质,至少应用于人工智能领域和三维模型重建领域,其中,方法包括:建立目标对象所在空间的初始无向距离场;基于每一空间点的初始距离值和预设的光线方向,分别确定相应空间点的采样权重和体渲染权重;基于采样权重,对空间的全部空间点进行上采样处理,并基于体渲染权重,对多个采样点进行体渲染,以及,对目标对象的初始无向距离场进行迭代更新,得到目标对象所在空间的更新无向距离场;基于更新无向距离场对目标对象进行三维重建,得到目标对象的三维模型。通过本申请,能够针对不同的目标对象进行三维模型的重建,从而提高了三维重建方法的适用范围和重建的准确率。
-
公开(公告)号:CN116468844A
公开(公告)日:2023-07-21
申请号:CN202310234462.9
申请日:2023-03-13
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种生成式人脸神经辐射场的光照编辑方法和系统,包括:服从高斯分布随机采样得到的隐变量z和给定球谐光照系数l;基于隐变量z合成三平面搭成体空间,从中根据相机参数散出光线撒点进行双线性插值采样特征并解码,得到密度σ和颜色c;利用光照系数l,通过合成模块得到光影三平面,搭成体空间,从中根据相机参数散出光线撒点进行双线性插值采样特征,通过光影解码器得到光影s;通过密度σ,结合颜色c,通过体渲染得到二维人脸图像的反照率;反照率c与该光影s相乘通过体渲染,得到人脸编辑图像。本发明设计的系统能实现用户对于三维人脸的光照进行解耦控制。减少分解人脸图像为反照率和光影图像的歧义性。
-
公开(公告)号:CN113961737A
公开(公告)日:2022-01-21
申请号:CN202111128474.0
申请日:2021-09-26
Applicant: 中国科学院计算技术研究所
IPC: G06F16/583 , G06F16/532 , G06N3/08
Abstract: 本发明提出一种三维模型检索模型训练方法,包括以下步骤:将三维模型数据库中的三维模型进行渲染以获得对应的多视角渲染灰度图像;在训练的查询图像小批次中,将该查询图像进行颜色转换以获得对应的数据增强图像;将该数据增强图像与其对应的掩码图像送入查询图像编码器中以获得该查询图像对应的查询编码;将该三维模型对应的多视角渲染灰度图像送入渲染编码器中以获得该三维模型对应的多视角渲染灰度图像对应的渲染编码;将该查询编码与该渲染编码送入注意力机制模块中以获得该三维模型针对于当前查询图像的特定编码;利用损失函数进行优化以获得该三维模型检索模型。
-
公开(公告)号:CN112991484A
公开(公告)日:2021-06-18
申请号:CN202110466411.X
申请日:2021-04-28
Applicant: 中国科学院计算技术研究所数字经济产业研究院
Abstract: 本发明涉及一种智能人脸编辑方法、装置、存储介质及设备。适用于计算机视觉、计算机图形学领域。提供一种智能人脸编辑方法、装置、存储介质及设备。本发明所采用的技术方案是:一种智能人脸编辑方法,其特征在于:将人脸几何特征图像和人脸外观特征图像根据人脸部位输入相应的、经训练的局部解耦模块,提取人脸各部位对应的几何特征和外观特征;局部解耦模块基于几何特征和外观特征生成人脸各部位对应的局部图像及局部中间特征图;通过经训练的全局融合模块将人脸各部位对应的局部中间特征图融合生成具有所述几何特征和外观特征的最终人脸图像。
-
公开(公告)号:CN110889893A
公开(公告)日:2020-03-17
申请号:CN201911021492.1
申请日:2019-10-25
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种表达几何细节和复杂拓扑的三维模型表示方法和系统,包括:输入一组部件具有语义标签的相同种类三维几何模型,为模型的每个部件计算包围盒;将包围盒注册到对应的部件上,得到相应的变形梯度,进而得到部件的变形梯度向量;通过部件变分自编码器,以该部件变形梯度向量获得该部件形变的分布向量;以支撑关系为主对模型的全局结构进行分析,构建每个部件的表示向量;将一个模型所有部件的表示向量串联在一起作为输入,通过结构化部件变分自编码器联合编码模型的全局结构和几何细节;通过训练好的结构化部件变分自编码器,随机生成新模型,或在两个模型之间插值生成新模型;在结构约束和稳定支撑约束下对生成模型进行全局结构优化。
-
公开(公告)号:CN110544309A
公开(公告)日:2019-12-06
申请号:CN201910688868.8
申请日:2019-07-29
Applicant: 中国科学院计算技术研究所
Abstract: 本发明公开了一种基于大尺度网格模型的实时稀疏编辑方法,包括:构建由相同网格拓扑的模型组成的模型库;提取该模型的原始特征向量,将该原始特征向量转化为可以编码模型大尺度形变的第一特征向量,并形成该模型库的第一特征向量集合;对该第一特征向量集合进行全局稀疏优化,提取第二特征向量集合;确定目标模型上的控制顶点位置;以该目标模型的特征向量为该第二特征向量集合的一个线性组合向量,对该线性组合向量进行稀疏优化,得到编辑特征向量;根据该控制顶点位置和该编辑特征向量,得到该目标模型的形变模型。本发明的方法可以借助模型库的先验信息,通过稀疏混合的方法自动选择较少数量的变形特征,实时生成更加真实自然可靠的编辑结果。
-
公开(公告)号:CN106023287B
公开(公告)日:2019-06-18
申请号:CN201610373694.2
申请日:2016-05-31
Applicant: 中国科学院计算技术研究所
IPC: G06T13/20
Abstract: 本发明提出一种数据驱动的交互式三维动画合成方法及系统,该方法包括输入具有相同网格拓扑的模型库,对所述模型库中的模型进行分块简化,生成简化模型,并记录所述模型的面片与原始模型的面片之间的对应关系,获取所述简化模型的特征向量,组成所述简化模型的特征向量空间;给定需要进行合成的初始模型S与终点模型T,根据所述对应关系,获取简化模型的初始模型S’与终点模型T’,通过计算所述初始模型S’与所述终点模型T’所在流形上的测地线路径,获取从所述始模型S’与所述终点模型T’的模型序列M’,根据所述对应关系,依次计算所述初始模型S’与所述终点模型T’的局部坐标架与顶点坐标,得到从原始初始模型S与终点模型T上的模型序列M。
-
-
-
-
-
-
-
-
-