-
公开(公告)号：CN113096228B
公开(公告)日：2021-08-31
申请号：CN202110639919.5
申请日：2021-06-09
Applicant: 上海影创信息科技有限公司
Abstract: 本发明提供了一种基于神经网络的实时光照估计与渲染系统，包括相机读取模块：用于端侧设备的实时相机视频流获取；神经网络推理模块：利用轻量级网络用于生成光照估计的结果，利用球谐光波系数去渲染虚拟物体；虚拟物体加载模块：用于加载三维虚拟物体，作为光照结果渲染的对象；球谐光波实时渲染与融合模块：利用球谐光波系数去渲染虚拟物体用于实现跨平台的渲染与融合。本发明通过采用轻量级神经网络，根据视频序列帧计算出球谐光波系数，从而达成实时高效的光照估计；同时，通过采用虚实融合的渲染模块，对三维虚拟物体进行实时渲染，并将其显示于相机视频流之前，从而实现了虚拟物体与真实背景的实时融合。
-
Patent Agency Ranking
公开(公告)号：CN114647304A
公开(公告)日：2022-06-21
申请号：CN202111390346.3
申请日：2021-11-23
Applicant: 上海影创信息科技有限公司
Abstract: 本发明公开了一种混合现实交互方法、装置、设备及存储介质，该方法包括：采集含手机的采集信息；其中，所述手机中显示有预设的现实输入界面；根据所述采集信息，确定现实手部区域和现实输入界面之间的相对位置关系；根据现实手部区域与现实输入界面之间的相对位置关系，将现实手部区域映射到虚拟场景的虚拟输入界面上，以使用户通过手机在虚拟场景中执行输入操作；根据手机发送的输入信息，确定输入操作关联的输入内容。解决了用户使用传统手柄无法进行键盘输入的难点，实现了手机作为带键盘输入的混合现实手柄，使得复杂操作的方式在混合现实中可以进行，提高了用户的使用体验。
-
公开(公告)号：CN113096228A
公开(公告)日：2021-07-09
申请号：CN202110639919.5
申请日：2021-06-09
Applicant: 上海影创信息科技有限公司
Abstract: 本发明提供了一种基于神经网络的实时光照估计与渲染系统，包括相机读取模块：用于端侧设备的实时相机视频流获取；神经网络推理模块：利用轻量级网络用于生成光照估计的结果，利用球谐光波系数去渲染虚拟物体；虚拟物体加载模块：用于加载三维虚拟物体，作为光照结果渲染的对象；球谐光波实时渲染与融合模块：利用球谐光波系数去渲染虚拟物体用于实现跨平台的渲染与融合。本发明通过采用轻量级神经网络，根据视频序列帧计算出球谐光波系数，从而达成实时高效的光照估计；同时，通过采用虚实融合的渲染模块，对三维虚拟物体进行实时渲染，并将其显示于相机视频流之前，从而实现了虚拟物体与真实背景的实时融合。
-
公开(公告)号：CN112562083A
公开(公告)日：2021-03-26
申请号：CN202011437377.5
申请日：2020-12-10
Applicant: 上海影创信息科技有限公司
Abstract: 本发明公开的基于深度相机的静态人像三维重建与动态人脸融合方法，涉及图像重建技术领域，通过在深度相机设定的区域范围内，获取静态人像的颜色序列帧及深度序列帧，采用迭代最近点算法，计算点云序列中相邻的两组点云之间距离差的最小值，分别对颜色序列帧中的各个颜色帧进行分割抠图，得到多个人像掩膜，根据相对姿态，将各个颜色帧的颜色信息投射至对应的空间体素中，计算颜色信息的平均值并将平均值赋值于静态人像三维网格的各个三角面片上，得到带有颜色信息的静态人像三维网格，根据深度相机在动态人像掩膜中的深度信息，实时构建动态人像三维网格，实现了人像三维模型的完整性，完整人像三维模型的实时驱动及人像动态地实时三维重建。
-
公开(公告)号：CN112509109A
公开(公告)日：2021-03-16
申请号：CN202011434315.9
申请日：2020-12-10
Applicant: 上海影创信息科技有限公司
Abstract: 本发明公开的基于神经网络模型的单视图光照估计方法，涉及光照估计技术领域，通过使用平面检测神经网络模型对输入的二维图像中的各个平面进行标注，投射至三维空间内，生成三维点云，基于平面三维模型构建相应的能量方程，利用增强拉格朗日求解器迭代并优化该能量方程，得到平面三维模型表面的总体光照向量。利用第一自编码神经网络模型提取平面三维模型的光照深度特征；利用第二自编码网络模型提取目标虚拟物体的光照深度特征；利用生成对抗神经网络模型将平面三维模型的光照深度特征通过领域适应的形式迁移至目标虚拟物体上，得到虚拟物体对应的光照渲染效果，提高了光照结果的准确度及虚拟物体与真实物体融合的效果。
-
公开(公告)号：CN112348957A
公开(公告)日：2021-02-09
申请号：CN202011225534.6
申请日：2020-11-05
Applicant: 上海影创信息科技有限公司
Abstract: 本发明公开的基于多视角深度相机的三维人像实时重建及渲染方法，涉及计算机视觉领域，通过对多个相机进行标定，得到多个相机之间的相对位姿并根据相对位姿，将多个相机输出的深度信息转置于统一的三维坐标系之内，形成点云，分别判断各个体素是否被点云占据，若是，则根据相对位姿及预先创建的人像掩膜，分别为各个体素构建基于截断的符号距离函数，对各个体素对应的基于截断的符号距离函数进行加权平均并利用点云网格化算法，得到人体三维网格，对颜色信息进行加权平均，得到携带颜色信息的人体三维网格，将人体三维网格输入预先构建的对抗神经网络对人体三维网格进行渲染，得到相应的二维人像，实现了三维人像的实时捕捉，提升了成像质量。
-
-
-
-
-
Search Results
6
records
(took 0.099 seconds)
