一种基于混合现实技术的虚拟物体交互方法

    公开(公告)号:CN113534950B

    公开(公告)日:2023-07-18

    申请号:CN202110338973.6

    申请日:2021-03-30

    Abstract: 本发明涉及一种基于混合现实技术的虚拟物体交互方法,采用面向对象的菜单界面作为交互操作选择界面,包括步骤:(1)选择交互对象:采用眼动追踪方法获得用户当前凝视点;采用手势识别方法识别用户特定手势预定手势;使用主要交互手做出并保持特定手势预定手势,用于选择该虚拟物体作为交互对象;(2)进入菜单界面:使用未做出任意特定手势预定手势的次要交互手做出特定手势预定手势;(3)选择交互操作:通过移动主要交互手位置或改变主要交互手姿态,选择菜单界面中目标操作所对应的菜单选项;(4)进入操作界面:用户使用次要交互手做出特定手势预定手势,或使用主要交互手在相反方向上进行移动达到阈值,进入操作界面;步骤(5)完成交互操作。

    三维流体序列的处理方法及装置

    公开(公告)号:CN113128136B

    公开(公告)日:2023-04-11

    申请号:CN202110363728.0

    申请日:2021-04-02

    Abstract: 本申请提供一种三维流体序列的处理方法及装置。该方法包括:根据目标形状和预先获取的待处理帧的原始三维流体序列建立形变函数;进而获得关于待处理帧中流体粒子的反向形变函数;基于距离场函数建立该反向形变函数和该原始三维流体序列的形变项,以及根据该待处理帧的前一帧和后一帧的原始三维流体序列构建约束项;根据该约束项和该形变项构建目标函数;将原始三维流体序列作为输入,对该目标函数进行最小化求解,获得待处理帧的目标三维流体序列。根据本申请的方法,可以充分利用前后两帧对待处理帧的形变的影响,减少编辑后的流体导致的不连续现象。

    基于两张图像逆渲染神经网络的高分辨率材质恢复方法

    公开(公告)号:CN114677292B

    公开(公告)日:2022-11-01

    申请号:CN202210217527.4

    申请日:2022-03-07

    Abstract: 本公开的实施例公开了基于两张图像逆渲染神经网络的高分辨率材质恢复方法。该方法的一具体实施方式包括:拍摄得到初始闪光灯图和初始引导图;对初始闪光灯图和初始引导图进行分割处理;从闪光灯图和引导图中选择图像区域,作为闪光灯主图块和引导主图块;进行分割处理,得到闪光灯图块集合和引导图块集合;从闪光灯图块集合和引导图块集合中筛选得到闪光灯副图块集合和引导副图块集合;对闪光灯副图块集合进行重排列,得到重光照主图块集合;生成主材质图组;基于引导副图块集合中的每个引导副图块、主材质图组和引导主图块,得到副材质图组集合;对副材质图组集合进行拼接,得到高分辨率材质图组。该实施方式实现了降低显存消耗的效果。

    基于立方体模型的3D环境交互方法及其装置

    公开(公告)号:CN113190142B

    公开(公告)日:2022-06-21

    申请号:CN202110470457.9

    申请日:2021-04-28

    Abstract: 本申请公开了一种基于立方体模型的3D环境交互方法及其装置,该方法包括以下步骤:步骤S1:新建立方体模型;步骤S2:网格化立方体模型;步骤S3:对立方体成对表面件纹理贴图,并设置各面租对应功能;步骤S4:新建环形UI;步骤S5:拖拽立方体模型并获取触发点与立方体面初始交叉点,根据交叉点所处平面对应功能,执行操作;该交互方法可以:首先降低UI屏占比,为场景内容的展示留出更连续的空间,使用户获得更完整的视野;简化用户操作步骤,只需要掌握拖拽/滑动一种操作方式,通过选择不同的表面即可实现不能功能的切换,降低学习成本;手部动作幅度需求小,用户单手交互下手机掉落的风险大大降低。

    基于端到端多任务多尺度神经网络的实时三维人脸重建方法

    公开(公告)号:CN112818860B

    公开(公告)日:2022-06-07

    申请号:CN202110141542.0

    申请日:2021-02-02

    Inventor: 王珊 胡勇 沈旭昆

    Abstract: 本发明涉及一种基于端到端多任务多尺度神经网络的实时三维人脸重建方法及系统,其方法包括:步骤S1:定义多尺度人脸几何表示模型;步骤S2:构建基于真实人脸图像的训练数据集;步骤S3:构建并训练端到端的多任务多尺度神经网络,输入人脸图像到所述端到端的多任务多尺度神经网络,输出表示人脸区域的人脸二值遮罩图,表示人脸粗尺度几何的深度图,表示人脸细节的深度偏移图。本发明公开了端到端的多任务多尺度神经网络,由骨干网络和子网络组成。骨干网络与子网络采用不同的网络结构,骨干网络提供不同子网络需要的多层级多尺度特征表示,保证了不同子网络使用的特征独立性,最大程度降低了多任务网络带来的时间损耗。

    一种基于三维点云的实时透明物体GPU并行生成方法

    公开(公告)号:CN102915559B

    公开(公告)日:2015-04-29

    申请号:CN201210301906.8

    申请日:2012-08-22

    Abstract: 一种基于三维点云的实时透明物体GPU并行生成方法,步骤为:(1)生成背景贴图,非透明物体;(2)生成透明物体几何缓冲,生成球体的方式生成所有三维点,利用硬件深度检测获得近视平面的深度值,同时保存透明物体材质信息;(3)平滑深度,用几何缓冲中的深度信息,对深度值进行平滑滤波从而获得光滑表面;(4)计算透明物体厚度,生成所有三维点,利用硬件Alpha混合计算透明物体厚度;(5)透明物体着色,用深度值及材质信息对透明物体进行光照计算,利用厚度值计算透明物体的折射反射属性,再利用背景贴图以完成着色。本发明避免了传统方法中表面重建的步骤,可以满足百万级别基于点云的透明物体实时生成的需求。

    一种基于人脸生物特征的面匹配空间注册方法

    公开(公告)号:CN103927747A

    公开(公告)日:2014-07-16

    申请号:CN201410134295.1

    申请日:2014-04-03

    Abstract: 本发明是一种基于人脸生物特征的面匹配空间注册方法。针对人脸表面光滑,纹理单一的特点,搭建了主动式结构光立体视觉系统,进行人脸面部点云的获取。提出并实现了一种基于人脸生物特征的面部点云粗略配准方法,在二维图像空间通过基于统计信息的主动形状模型(ASM)方法识别鼻尖与眼睛;在三维空间通过对局部邻域进行主成分分析识别出对应的鼻尖与眼睛,从而自动获得两个点云的初始配准矩阵。最后基于迭代最近点(ICP)算法,完成点云的精确配准,实现空间注册。

    基于数据聚类的适应性图像SIFT特征匹配方法

    公开(公告)号:CN102194133A

    公开(公告)日:2011-09-21

    申请号:CN201110185894.2

    申请日:2011-07-05

    Abstract: 基于数据聚类的适应性图像SIFT特征匹配方法,步骤如下:(1)获取参考图像序列,提取图像SIFT特征集,采用k-d树对全部图像SIFT特征集进行聚类。(2)采用级联vocabulary树组织全部参考图像SIFT特征集,对vocabulary树节点包含特征集进行二次特征聚类。(3)利用级联vocabulary树进行基于比值提纯的BBF与基于信息熵的双模式聚类特征匹配,完成第一阶段特征匹配。(4)利用关键图像完成第二阶段特征匹配,合并两阶段特征匹配结果。最后采用RANSAC、基本矩阵等技术进行外点剔除。本匹配方法不但能够极大提高特征匹配的鲁棒性,而且能够有效增强特征匹配的适应性。

    一种基于层次模型的虚拟人皮肤物理变形方法

    公开(公告)号:CN101719284A

    公开(公告)日:2010-06-02

    申请号:CN200910243532.7

    申请日:2009-12-25

    Abstract: 一种基于层次模型的虚拟人皮肤物理变形方法,步骤为:(1)构造层次模型:首先处理原始模型生成用于控制运动的骨骼层模型、用于物理变形的物理层模型和用于最终绘制的表面层模型,并建立骨骼层与物理层、物理层与表面层的映射关系;(2)物理变形:层次模型构造完成后,依据用户设定的运动方式,骨骼层产生运动趋势并带动物理层进行物理变形;(3)驱动皮肤:在物理变形过程中,按照物理层和表面层的映射关系,驱动表面层随之运动和变化,生成皮肤变形的动态效果。本发明在保留物理变形真实感优势的基础上,结合层次模型数据组织灵活的特点,分别构建了用于虚拟人皮肤绘制的精细网格和用于变形控制及物理计算的简化网格,在保证虚拟人精确变形过程与真实绘制效果的前提下,减少了计算开销。

Patent Agency Ranking