一种估计手柄位姿的方法及虚拟显示设备

    公开(公告)号:CN119452330A

    公开(公告)日:2025-02-14

    申请号:CN202380049726.1

    申请日:2023-09-19

    Abstract: 本公开涉及虚拟现实交互技术领域,提供一种估计手柄位姿的方法及虚拟显示设备,利用手柄上的IMU和多个发光器,实现视觉和惯导对位姿的联合优化。位姿估计前,根据不同位置角度采集的多帧初始手柄图像中手柄上各发光器的标注结果,优化各发光器的3D空间结构以提高相对位姿计算的准确性;位姿估计过程中,基于优化后的3D空间结构、相机采集的目标手柄图像中提取的目标光斑集合以及IMU的观测数据,初始化手柄与虚拟显示设备间的相对位姿,由于目标光斑集合剔除了环境因素的干扰,有助于提高相对位姿计算的准确性,后续在对手柄与虚拟显示设备间相对位姿进行预测和优化时,能够得到平稳、准确的目标相对位姿。

    一种手柄定位方法及虚拟现实设备

    公开(公告)号:CN119556788A

    公开(公告)日:2025-03-04

    申请号:CN202311071389.4

    申请日:2023-08-23

    Inventor: 史灿灿

    Abstract: 本申请涉及VR技术领域,提供一种手柄定位方法及虚拟现实设备,用于提高手柄的定位精度和鲁棒性。该方法对手柄进行了改进,用红外曲线光带代替多个红外LED灯,这样,在手柄距离虚拟现实设备的相机较近时,由于光带是连续环绕的,从而能够保证相机采集到包含光带的红外手柄图像,有效扩大了手柄的跟踪范围,且减小了环境中带状光源和长条光源的影响,并针对红外曲线光带,利用多个轮廓点来提取足够数量的2D中心点集,结合预设3D中心点集及相机内参数,可以稳定鲁棒地求解出手柄相对于虚拟现实设备的目标6自由度位姿,并基于准确的目标6自由度位姿进行精准的交互,提高用户的沉浸式体验。

    检测手柄图像中光斑标识的方法及电子设备

    公开(公告)号:CN116433752A

    公开(公告)日:2023-07-14

    申请号:CN202211390797.1

    申请日:2022-11-07

    Inventor: 史灿灿 黄志明

    Abstract: 本申请提供检测手柄图像中光斑标识的方法及电子设备,用于提高光斑标识的检测效率。包括:将目标手柄图像中的各光斑分别与其相邻的各目标光斑连接得到各平面图形;将任一平面图形中各相邻光斑分别和手柄的各实际相邻光斑集合中各实际光斑匹配,得到各相邻光斑匹配对;基于各相邻光斑匹配对中各相邻光斑的位置和各实际光斑的位置,得到手柄的多个预测位置;基于各预测位置和各实际光斑的位置分别将手柄中的各实际光斑投影到指定图像中,得到各投影光斑的位置;通过各投影光斑的位置对投影光斑与指定图像中其他各光斑匹配,得到各其他光斑匹配对;基于各其他光斑匹配对和各光斑匹配对,确定各光斑标识。

    多相机同步采集图像的方法及设备

    公开(公告)号:CN115190288B

    公开(公告)日:2023-04-25

    申请号:CN202210718630.7

    申请日:2022-06-23

    Inventor: 史灿灿

    Abstract: 本申请涉计算机视觉技术领域,提供一种多相机同步采集图像的方法及设备,考虑到深度相机没有硬件同步接口,无法直接接收与多个工业相机同步曝光的硬件同步信号,因此,借助LED灯实现深度相机与多个工业相机的同步曝光,通过深度相机采集的LED灯的图像,获取反应深度相机曝光信息的目标参数集合,由于工业相机具备硬件同步接口,可通过控制信号控制器将深度相机的目标参数集合发送给多个工业相机,从而实现多个工业相机与深度相机的同步曝光,这样,基于同步曝光后的深度相机和多个工业相机,采集用于训练手部关键点估计模型的3D手势数据集,从而提高3D手势数据的标注质量,进而提升手部模型的真实性,提升用户的沉浸式体验。

    一种手柄光斑的匹配方法及电子设备

    公开(公告)号:CN119888276A

    公开(公告)日:2025-04-25

    申请号:CN202411718849.2

    申请日:2024-11-26

    Inventor: 史灿灿

    Abstract: 本申请提供一种手柄光斑的匹配方法及电子设备,用于保证各光斑均能够匹配到正确的灯珠标识。包括:在手柄图像进行光斑检测得到的各光斑中随机选择指定数量的各目标光斑;根据各目标光斑分配手柄中的灯珠标识得到的光斑匹配对中各光斑的图像位置坐标和各灯珠标识对应的各灯珠在手柄坐标系中的实际位置坐标,得到的光斑匹配对的当前实际角度,利用当前实际角度和基于手柄在上一时刻的角度预测得到的预测角度,确定角度差异值;对角度差异值进行验证,确定是否匹配成功;若是,则重新在各光斑中随机选择指定数量的各目标光斑,直至各光斑均匹配成功;若否,则重新为各目标光斑分配灯珠标识,直至光斑匹配对匹配成功。

    一种VR手柄的光斑识别方法及VR设备

    公开(公告)号:CN119728934A

    公开(公告)日:2025-03-28

    申请号:CN202311215021.0

    申请日:2023-09-19

    Inventor: 史灿灿

    Abstract: 本申请提供一种VR手柄的光斑识别方法及VR设备,提高手柄光斑识别准确率。包括:利用光斑识别算法对任一时刻的第一图像进行手柄光斑识别,得到第一图像中各待认证手柄光斑的实际位置坐标;第一图像为包含VR手柄且VR手柄中LED灯为开启状态的短曝光图像;基于待认证手柄光斑的实际位置坐标,将待认证手柄光斑在第二图像中投影,得到待认证手柄光斑的投影位置坐标,第二图像为包括VR手柄且VR手柄中LED灯为关闭状态的长曝光图像;通过根据待认证手柄光斑的投影位置坐标得到的待认证手柄光斑在第二图像中的第一目标区域和第二目标区域,得到光斑的置信度;基于各待认证手柄光斑的置信度对各待认证手柄光斑识别,得到目标手柄光斑。

    一种手势的识别方法及显示设备
    7.
    发明公开

    公开(公告)号:CN116935432A

    公开(公告)日:2023-10-24

    申请号:CN202210320365.7

    申请日:2022-03-29

    Abstract: 本申请公开了一种手势的识别方法及显示设备,该方法利用手部姿态置信度,确定是否简化确定手部区域位置信息的步骤,当上一帧原始彩色图像对应手部姿态置信度不小于预置置信度时,可以简化确定第二手部信息的步骤,进而缩短了识别手势的时间。该方法包括:当获取到的原始彩色图像不是第一帧原始彩色图像时,确定上一帧原始彩色图像对应的手部姿态置信度;如果不小于预置置信度,则根据上一帧原始彩色图像得到的第一手部信息,预测本次获取的原始彩色图像的手部区域位置信息;利用手部区域位置信息,对干扰像素点进行去除,得到第一深度图像;利用第一深度图像,确定第二手部信息;根据第一手部信息和第二手部信息,确定手部姿态信息。

    多相机同步采集图像的方法及设备

    公开(公告)号:CN115190288A

    公开(公告)日:2022-10-14

    申请号:CN202210718630.7

    申请日:2022-06-23

    Inventor: 史灿灿

    Abstract: 本申请涉计算机视觉技术领域,提供一种多相机同步采集图像的方法及设备,考虑到深度相机没有硬件同步接口,无法直接接收与多个工业相机同步曝光的硬件同步信号,因此,借助LED灯实现深度相机与多个工业相机的同步曝光,通过深度相机采集的LED灯的图像,获取反应深度相机曝光信息的目标参数集合,由于工业相机具备硬件同步接口,可通过控制信号控制器将深度相机的目标参数集合发送给多个工业相机,从而实现多个工业相机与深度相机的同步曝光,这样,基于同步曝光后的深度相机和多个工业相机,采集用于训练手部关键点估计模型的3D手势数据集,从而提高3D手势数据的标注质量,进而提升手部模型的真实性,提升用户的沉浸式体验。

    一种6Dof手柄的滤波方法及头戴式显示设备

    公开(公告)号:CN119963630A

    公开(公告)日:2025-05-09

    申请号:CN202411833948.5

    申请日:2024-12-12

    Inventor: 史灿灿 袁毅

    Abstract: 本申请涉及计算机视觉技术领域,提供一种6Dof手柄的滤波方法及头戴式显示设备,用于提高手柄射线的显示质量。考虑到交互过程中6Dof手柄运动状态不断变化,因此根据6Dof手柄在当前帧图像中对应的当前速度确定滤波器的截止频率,由于截止频率正比于6Dof手柄的当前速度,使得基于截止频率确定的滤波系数能够自适应6Dof手柄的运动状态,这样,使用自适应滤波系数的滤波器对6Dof手柄在当前帧图像中的初始位姿和上一帧图像中的目标位姿进行平滑滤波时,不仅能够消除6Dof手柄静止时图像中手柄射线的抖动,还能保证6Dof手柄大幅度运动时图像中的手柄射线能够跟上手柄的实际动作,减少卡顿现象。

    一种三维手势数据采集系统及方法

    公开(公告)号:CN116977882A

    公开(公告)日:2023-10-31

    申请号:CN202210418818.X

    申请日:2022-04-20

    Abstract: 本申请公开了一种三维手势数据采集系统及方法,该方法通过设置不同拍摄范围的图像采集器拍摄用户手部,缓解手部关节点被遮挡,可以充分了解手部关节点所处位置,准确的确定全部手部关节点的三维坐标。该方法包括:获取图像采集器拍摄的视频帧数据,其中所述视频帧数据包括若干连续帧图像;所述图像采集器包括第一类图像采集器和第二类图像采集器,所述第一类图像采集器和第二类图像采集器的拍摄范围不同;从所述图像采集器拍摄的视频帧数据中筛选出关键帧,所述关键帧是指与前一帧图像的帧间差分超过预设阈值的图像;对不同图像采集器同一时刻拍摄的关键帧进行坐标识别处理,得到三维手势数据,所述三维手势数据包括手部关节点的三维坐标。

Patent Agency Ranking