公开(公告)号：CN118710807A

公开(公告)日：2024-09-27

申请号：CN202410812616.2

申请日：2024-06-22

Applicant: 北京大学

Inventor： 施柏鑫 ,  汤云开 ,  朱成轩 ,  许超

IPC: G06T17/00 ,  G06N3/045 ,  G06N3/08

Abstract: 本发明提供一种基于神经辐射场的水下场景表征方法，通过神经网络中设计相应的模块来实现,包括：混合渐进采样模块、场景参数估计模块、混合体积渲染模块，对于没有时序的水下数据集，实现水下场景高质量的静态重建，提高了在此类数据集上的三维重建表现；对于存在时序信息的水下数据集，实现水下场景高质量的动态重建，恢复水下生物的运动轨迹与光照的实时变化，扩大了算法的应用范围；渲染速度上大大超越了现有的其它水下场景三维重建的方法，提高了在水体消除任务上的表现；在水体迁移任务上实现了更加真实的效果，设计科学合理，适合推广应用。

公开(公告)号：CN116977360A

公开(公告)日：2023-10-31

申请号：CN202310448735.X

申请日：2023-04-24

Applicant: 北京大学

Inventor： 施柏鑫 ,  朱成轩 ,  汤云开 ,  万人杰

IPC: G06T7/194 ,  G06V10/77 ,  G06N3/045 ,  G06N3/0895

Abstract: 本发明公开了一种基于神经辐射场的去除遮挡方法，通过单场景拍摄的多视角照片，不需要外界知识作为监督，可以自监督地完成场景层面的去除前景；同时通过代价体联合优化相机参数和用掩膜对神经辐射场的场景重建，可以融合多视角的特征，更稳定地联合优化相机位姿和场景重建的过程，更精确地重建整个场景；此外，以渲染得到的光线的双向深度信息为线索，提出一种选择性自监督的机制来探测带遮挡的区域，从而选择性监督非遮挡的区域，引导背景层的重建。

公开(公告)号：CN118982479A

公开(公告)日：2024-11-19

申请号：CN202410983626.2

申请日：2024-07-22

Applicant: 北京大学

Inventor： 施柏鑫 ,  夏一飞 ,  周矗 ,  朱成轩 ,  滕明桂 ,  许超

IPC: G06T5/70 ,  G06T5/60 ,  G06T5/50 ,  G06T3/4038 ,  G06T3/4046 ,  G06V10/52 ,  G06T7/30 ,  G06T7/11 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0985

Abstract: 一种基于窄带图像引导的大气扰动去除方法，属于大气扰动去除领域，包括：设计采用双扰动编码器的扰动去除网络从彩色和窄带图像对中提取多尺度空间特征的扰动线索，在扰动线索的辅助下将真实的彩色和窄带图像对逆转为扰动输入，将彩色和窄带图像的特征进行拼接并使用多头自注意力块来增强特征表示，压缩空间维度，将来自双扰动编码器的扰动线索与每个扰动编码器级别的跳跃连接合并，增强上采样阶段的特征混合性能，逐步将图像恢复到其原始分辨率，通过处理上采样阶段输出的特征将特定波长的细节与光谱数据结合，产生无扰动图像。本发明利用窄带成像抑制扰动的物理特性提供可靠的引导信息，实现更高的性能和鲁棒性，具有高效、便捷的优点。

公开(公告)号：CN116977360B

公开(公告)日：2024-05-31

申请号：CN202310448735.X

申请日：2023-04-24

Applicant: 北京大学

Inventor： 施柏鑫 ,  朱成轩 ,  汤云开 ,  万人杰

IPC: G06T7/194 ,  G06V10/77 ,  G06N3/045 ,  G06N3/0895

Abstract: 本发明公开了一种基于神经辐射场的去除遮挡方法，通过单场景拍摄的多视角照片，不需要外界知识作为监督，可以自监督地完成场景层面的去除前景；同时通过代价体联合优化相机参数和用掩膜对神经辐射场的场景重建，可以融合多视角的特征，更稳定地联合优化相机位姿和场景重建的过程，更精确地重建整个场景；此外，以渲染得到的光线的双向深度信息为线索，提出一种选择性自监督的机制来探测带遮挡的区域，从而选择性监督非遮挡的区域，引导背景层的重建。