基于激光雷达的三维人体动作捕捉方法、训练方法及系统

    公开(公告)号:CN116964599A

    公开(公告)日:2023-10-27

    申请号:CN202280006555.X

    申请日:2022-02-25

    Abstract: 本发明介绍了训练机器学习模型生成基于光探测和测距(LiDAR)点云的三维(3D)动作的系统和方法。在各个实施例中,计算系统可以对代表场景中对象的机器学习模型进行编码。所述计算系统可以使用数据集训练所述机器学习模型,所述数据集包括单目LiDAR传感器捕捉到的同步LiDAR点云以及从IMU设备获得的地面实况三维运动。机器学习模型可以基于单目LiDAR传感器捕捉到的多个点云帧的输入生成对象的三维动作。

    基于先验知识的单张图片重打光方法、系统、终端及存储介质

    公开(公告)号:CN113409186B

    公开(公告)日:2024-11-22

    申请号:CN202110731039.0

    申请日:2021-06-30

    Abstract: 本申请提供基于先验知识的单张图片重打光方法、系统、终端及存储介质,包括:给定用于重打光的物体图片及作为环境光的全景图片;将所述物体图片和全景图片输入基于先验知识的卷积神经网络;通过所述卷积神经网络的编码器,提取物体图片中物体的高维度特征和所处环境光;将提取出的所处环境光替换为给定的环境光,并将作为环境光的图片与提取到的高维度特征输入所述卷积神经网络中的解码器,并在所述编码器和解码器中布置跳跃连接,据以获得重打光图片。本发明没有前置需求,无需在穹顶光场中预先拍摄所有光纤;渲染快,卷积神经网络在现有硬件条件下可达到实时;相比穹顶光场对于单个物体重打光需要的数个GB,本发明所占用的空间仅为数十MB。

    基于三维打光的数据采集系统

    公开(公告)号:CN115379104B

    公开(公告)日:2024-07-16

    申请号:CN202110541401.8

    申请日:2021-05-18

    Abstract: 本发明的基于三维打光的数据采集系统,通过信号同步装置向光源控制器及高速图像采集装置发送同步信号,以令布置于球形框架上的大量光源对被采集物体打出特定的三维光场,并同时控制高速相机对不同光场下的物体进行拍摄,从而获得被拍摄物体在不同光照条件下的图像数据。本发明相比于采用大量光源同时进行打光,减少了数据采集时间,有着较高的采集效率,不仅提高了精度还增加了可维护性,解决了现有技术的问题。

    神经渲染的多核加速
    5.
    发明公开

    公开(公告)号:CN118140243A

    公开(公告)日:2024-06-04

    申请号:CN202180103457.3

    申请日:2021-12-09

    Abstract: 本发明描述了一种用于渲染图像的计算核。计算核包括位置编码逻辑和在流水线中串联连接的多个流水线逻辑。位置编码逻辑被配置为将与图像的一部分相对应的采样点的坐标和方向变换为高维表示。多个流水线逻辑被配置为基于坐标的高维表示和方向的高维表示在一个流水线循环中输出与图像的该部分相对应的像素的强度值及颜色值。多个流水线逻辑被配置为并行运行。本文描述了一种计算机实现的方法。计算系统被配置为将待渲染图像划分成多行图像部分。计算系统针对每个图像部分获得与图像部分的像素相对应的采样点的坐标和方向。计算系统针对每个图像部分将坐标和方向变换为高维表示。计算系统通过计算核来确定像素的强度值和颜色值。计算系统基于多行图像部分的像素的强度值和颜色值来重建图像。

    通过神经瞬态场进行非视距成像
    6.
    发明公开

    公开(公告)号:CN117597704A

    公开(公告)日:2024-02-23

    申请号:CN202180100136.8

    申请日:2021-07-05

    Abstract: 本发明为非视距成像提供了一种新型的神经建模框架神经瞬态场(NeTF)。NeTF在空间位置和方向上恢复5D瞬态函数,训练数据输入在球面波前上进行参数化。采用马尔科夫链蒙特卡洛(MCMC)算法来解决NeTF中的稀疏和不均衡采样问题。

    一种基于半导体激光器的光学非线性神经元

    公开(公告)号:CN116579397A

    公开(公告)日:2023-08-11

    申请号:CN202310397322.3

    申请日:2023-04-13

    Abstract: 本发明公开了一种全光非线性神经元,其特征在于,包括隔离器、激光器和滤波器。本发明仅包含半导体激光器、隔离器和滤波器三种主要器件,不需要光电和光电转换的过程,因此具有装置简单、能耗低的优势。由于神经元中的激光器能够提供能量,因此适用于具有多层深度的复杂神经网络,不会出现层数增加激光功率下降的问题,所以具有可拓展性好的优势。本发明提供的神经元不仅能够处理脉冲信号也能够处理连续波信号,因此同时适用于脉冲型和非脉冲型的神经网络。另外,本发明中的神经元工作区间大,因此具有灵活性和可靠性高的优势。

    快速多光谱光场成像方法和系统

    公开(公告)号:CN110462679B

    公开(公告)日:2022-12-09

    申请号:CN201780088856.0

    申请日:2017-05-19

    Inventor: 虞晶怡

    Abstract: 公开了一种生成高分辨率多光谱光场的方法。该方法可包括:拍摄包括多幅子视角图像的多视角光谱图像;对各子视角图像进行对齐和变形,以获得低分辨率多光谱光场;获得高分辨率信号集和低分辨率信号集;根据所述低分辨率多光谱光场和低分辨率信号集,获得稀疏表示形式;以及利用所述稀疏表示形式和所述高分辨率信号集,生成高分辨率多光谱光场。每幅子视角图像均摄于不同视角和不同光谱范围。所述多视角光谱图像通过单次曝光获得。

    互动直播数据传输/处理方法、处理系统、介质及服务端

    公开(公告)号:CN114513674A

    公开(公告)日:2022-05-17

    申请号:CN202011279623.9

    申请日:2020-11-16

    Inventor: 胡强 虞晶怡

    Abstract: 本发明提供一种互动直播数据传输/处理方法、处理系统、介质及服务端,所述互动直播数据传输方法包括:服务端对待播放的当前视角视频解码,并传输至客户端;客户端在播放当前视角视频过程中,监测是否存在视角切换需求;若是,生成一视角切换指令,并将视角切换指令传输至服务端;服务端接收所述视角切换指令,解析视角切换指令;根据视角切换指令,生成转场视频及查找与视角切换指令匹配的目标视角视频,并将转场视频及目标视角视频传输至客户端;待客户端接收到转场视频及目标视角视频后,予以依次播放。本发明可以使视频流在传输过程中,节省传输带宽,从而实现高效的互动直播。

Patent Agency Ranking