公开(公告)号：CN118710843A

公开(公告)日：2024-09-27

申请号：CN202410693850.8

申请日：2024-05-31

Applicant: 浙江大学

Inventor： 潘芃轶 ,  李想 ,  王嘉梁 ,  廖依伊

IPC: G06T17/20 ,  G06T15/20 ,  G06T15/04 ,  G06T19/00 ,  G06N3/0499 ,  G06N3/084

Abstract: 本发明公开了一种面向VR设备的照片级真实场景重建和沉浸式交互系统。本发明通过用户的摄像设备采集真实环境图像，基于NeRF模型训练图像得到带有语义信息的Mesh模型和对应的纹理特征图像，从而从二维图像中高质量重建出三维场景模型，并利用Unity引擎和VR设备实现真实环境和虚拟环境的无缝结合，为用户提供了一种沉浸式的视觉体验。为了提高交互性，本发明创新地采用了依据用户语音信息进行操作控制的方式，通过麦克风实时捕捉用户语音指令，并将其快速准确地转化为对应的文本信息，完成一系列语义化操作。本发明通过融合NeRF模型和VR技术，实施实时、方便的三维场景重建，并以用户体验为导向，实现了高度沉浸的交互科技，将本系统的实用性推向了新的高度。