-
公开(公告)号:CN118447103A
公开(公告)日:2024-08-06
申请号:CN202410602716.2
申请日:2024-05-15
Applicant: 北京大学
IPC: G06T7/80 , G06T5/70 , G06T5/90 , G06N3/0455 , G06N3/0464 , G06N3/084 , G06T5/60
Abstract: 基于事件相机引导的直接光照和间接光照分离方法,属于光照分离方法领域,包括:拍摄阴影变化触发的事件信号、灰度初始分离结果估计、灰度初始分离结果优化和光照分离结果颜色补偿。本发明只需在场景中拍摄一张照片与一段事件数据,缩短了数据拍摄时间,可应用到动态场景之中。事件相机的事件触发模型使其能离散地记录场景光照变化中的连续变化信息,在实现高时间分辨率的同时降低了数据吞吐量。本发明成功融合了事件相机和机器视觉传统相机输出的图像,能从单张图像与光照变化触发的事件信号重构出彩色高质量的直接光照和间接光照分离结果。同时使用深度学习方法,有效结合场景图像和事件信号,在高频间接光照场景下拥有更好的分离效果。
-
公开(公告)号:CN115984124A
公开(公告)日:2023-04-18
申请号:CN202211543963.7
申请日:2022-11-29
Applicant: 北京大学
IPC: G06T5/00 , G06T3/40 , G06V10/30 , G06V10/774 , G06V10/82 , G06F18/214 , G06N3/08 , G06N3/0464
Abstract: 本发明公开了一种神经形态脉冲信号去噪和超分辨方法及装置,通过在显示屏中设置不同分辨率的相同视频,并用脉冲相机来拍摄显示屏,从而得到不同分辨率的真实脉冲数据对,用实拍数据集作为训练集,避免了由于仿真数据与真实数据的差距太大而导致训练后的网络对真实数据不兼容的问题,解决了脉冲信号仿真器无法准确生成事件数据的问题。同时使用深度学习的方法,利用3D‑UNet网络模型来学习脉冲信号去噪和超分辨率重建的端到端的映射模型,在输入只有脉冲序列的情况下,就可以有效实现对事件的去噪和超分辨任务,避免了现有方法依赖视频帧和IMU信息,省去了求解光流信息的过程,节省了大量的运行时间,极大的提升了处理速度。
-
公开(公告)号:CN115063312B
公开(公告)日:2023-03-10
申请号:CN202210668560.9
申请日:2022-06-14
Applicant: 北京大学
Abstract: 本发明公开了一种基于事件相机辅助的卷帘门效应矫正方法及装置。搭建了事件相机加卷帘快门传统相机的混合相机系统,对同一场景同时进行拍摄得到匹配的卷帘快门图像和事件信号。设计了一个神经网络模型,仅利用一张卷帘快门图像和对应的事件信号,实现卷帘快门矫正并会恢复出高帧率的全局快门图像序列。网络模型包含两个模块分支,从事件信号中提取出运动信息和场景亮度变化信息,分别用于解决卷帘快门效应中的扭曲和遮挡问题。两个模块中间结果通过一个特殊设计的融合优化网络融合在一起得到最后的矫正结果。相比于现有卷帘门矫正方法,本发明的方法矫正结果大幅提升,解决高速运动下运动估计不准的问题,对场景和运动不加限制,应用场景更广。
-
公开(公告)号:CN118447103B
公开(公告)日:2025-04-08
申请号:CN202410602716.2
申请日:2024-05-15
Applicant: 北京大学
IPC: G06T7/80 , G06T5/70 , G06T5/90 , G06N3/0455 , G06N3/0464 , G06N3/084 , G06T5/60
Abstract: 基于事件相机引导的直接光照和间接光照分离方法,属于光照分离方法领域,包括:拍摄阴影变化触发的事件信号、灰度初始分离结果估计、灰度初始分离结果优化和光照分离结果颜色补偿。本发明只需在场景中拍摄一张照片与一段事件数据,缩短了数据拍摄时间,可应用到动态场景之中。事件相机的事件触发模型使其能离散地记录场景光照变化中的连续变化信息,在实现高时间分辨率的同时降低了数据吞吐量。本发明成功融合了事件相机和机器视觉传统相机输出的图像,能从单张图像与光照变化触发的事件信号重构出彩色高质量的直接光照和间接光照分离结果。同时使用深度学习方法,有效结合场景图像和事件信号,在高频间接光照场景下拥有更好的分离效果。
-
公开(公告)号:CN115063312A
公开(公告)日:2022-09-16
申请号:CN202210668560.9
申请日:2022-06-14
Applicant: 北京大学
Abstract: 本发明公开了一种基于事件相机辅助的卷帘门效应矫正方法及装置。搭建了事件相机加卷帘快门传统相机的混合相机系统,对同一场景同时进行拍摄得到匹配的卷帘快门图像和事件信号。设计了一个神经网络模型,仅利用一张卷帘快门图像和对应的事件信号,实现卷帘快门矫正并会恢复出高帧率的全局快门图像序列。网络模型包含两个模块分支,从事件信号中提取出运动信息和场景亮度变化信息,分别用于解决卷帘快门效应中的扭曲和遮挡问题。两个模块中间结果通过一个特殊设计的融合优化网络融合在一起得到最后的矫正结果。相比于现有卷帘门矫正方法,本发明的方法矫正结果大幅提升,解决高速运动下运动估计不准的问题,对场景和运动不加限制,应用场景更广。
-
-
-
-