-
公开(公告)号：CN116310408B
公开(公告)日：2023-10-13
申请号：CN202211515830.9
申请日：2022-11-29
Applicant: 北京大学
IPC: G06V10/74 , G06V10/40 , G06V10/82 , G06N3/08 , G06V10/774 , G06N3/0464 , G06V20/40
Abstract: 本发明公开了一种建立事件相机与帧相机数据关联的方法及装置，基于transformer的神经网络，显式地建立事件相机与帧相机的数据关联，很好地结合了帧相机和事件相机的优势，避免了事件相机位姿估计中的初始解敏感问题，同时保证了精度，使得事件相机和帧相机的组合在不同的应用场景下都表现地更好、更加稳定，可以应用到多个应用场景中，比如深度估计、相机位姿估计等等。此外，本发明的方法和装置，在构造的仿真数据集上进行训练，并在真实数据上取得了比较好的效果。
-
公开(公告)号：CN117319806A
公开(公告)日：2023-12-29
申请号：CN202311320452.3
申请日：2023-10-12
Applicant: 北京大学
IPC: H04N23/741 , H04N23/81 , H04N23/73
Abstract: 本发明公开了一种基于事件相机辅助的暗光视频增强方法及装置，涉及视频生成技术领域。本发明通过引入高时间分辨率的事件相机，辅助暗光视频帧之间运动信息及其相关性的提取，利用多帧对齐和融合的思想增强暗光视频帧的对比度和信噪比，其增强结果大大超越现有的暗光视频增强方法。相比于现有技术要求事件相机和帧相机在空间上准确对齐，本发明通过多模态相关性建模模块能够应对在现实暗光高速场景中事件相机和帧相机非准确对齐的情况，适用范围大。
-
公开(公告)号：CN115984124A
公开(公告)日：2023-04-18
申请号：CN202211543963.7
申请日：2022-11-29
Applicant: 北京大学
IPC: G06T5/00 , G06T3/40 , G06V10/30 , G06V10/774 , G06V10/82 , G06F18/214 , G06N3/08 , G06N3/0464
Abstract: 本发明公开了一种神经形态脉冲信号去噪和超分辨方法及装置，通过在显示屏中设置不同分辨率的相同视频，并用脉冲相机来拍摄显示屏，从而得到不同分辨率的真实脉冲数据对，用实拍数据集作为训练集，避免了由于仿真数据与真实数据的差距太大而导致训练后的网络对真实数据不兼容的问题，解决了脉冲信号仿真器无法准确生成事件数据的问题。同时使用深度学习的方法，利用3D‑UNet网络模型来学习脉冲信号去噪和超分辨率重建的端到端的映射模型，在输入只有脉冲序列的情况下，就可以有效实现对事件的去噪和超分辨任务，避免了现有方法依赖视频帧和IMU信息，省去了求解光流信息的过程，节省了大量的运行时间，极大的提升了处理速度。
-
公开(公告)号：CN117319806B
公开(公告)日：2024-08-20
申请号：CN202311320452.3
申请日：2023-10-12
Applicant: 北京大学
IPC: H04N23/741 , H04N23/81 , H04N23/73
Abstract: 本发明公开了一种基于事件相机辅助的暗光视频增强方法及装置，涉及视频生成技术领域。本发明通过引入高时间分辨率的事件相机，辅助暗光视频帧之间运动信息及其相关性的提取，利用多帧对齐和融合的思想增强暗光视频帧的对比度和信噪比，其增强结果大大超越现有的暗光视频增强方法。相比于现有技术要求事件相机和帧相机在空间上准确对齐，本发明通过多模态相关性建模模块能够应对在现实暗光高速场景中事件相机和帧相机非准确对齐的情况，适用范围大。
-
公开(公告)号：CN118447103A
公开(公告)日：2024-08-06
申请号：CN202410602716.2
申请日：2024-05-15
Applicant: 北京大学
IPC: G06T7/80 , G06T5/70 , G06T5/90 , G06N3/0455 , G06N3/0464 , G06N3/084 , G06T5/60
Abstract: 基于事件相机引导的直接光照和间接光照分离方法，属于光照分离方法领域，包括：拍摄阴影变化触发的事件信号、灰度初始分离结果估计、灰度初始分离结果优化和光照分离结果颜色补偿。本发明只需在场景中拍摄一张照片与一段事件数据，缩短了数据拍摄时间，可应用到动态场景之中。事件相机的事件触发模型使其能离散地记录场景光照变化中的连续变化信息，在实现高时间分辨率的同时降低了数据吞吐量。本发明成功融合了事件相机和机器视觉传统相机输出的图像，能从单张图像与光照变化触发的事件信号重构出彩色高质量的直接光照和间接光照分离结果。同时使用深度学习方法，有效结合场景图像和事件信号，在高频间接光照场景下拥有更好的分离效果。
-
Patent Agency Ranking
公开(公告)号：CN111669514B
公开(公告)日：2021-02-26
申请号：CN202010513374.9
申请日：2020-06-08
Applicant: 北京大学
Abstract: 本公开提供了高动态范围成像方法，对包含神经形态相机与普通相机的混合相机系统进行搭建；通过搭建完成的所述混合相机系统中的普通相机拍摄的低动态范围图像与神经形态相机拍摄并重建的高动态范围灰度图输入至训练好的神经网络中完成融合成像操作。该方法通过单张LDR图像融合神经形态相机的输出使高动态范围成像的质量大大超越单张LDR图像的重建效果；使用深度学习的方法，针对LDR图像和HDR灰度图在每一个方面的差异单独设计网络模块，相比于非深度学习的融合方法，有效提高了融合图像的质量；减少输入LDR图像数目，减小了数据获取的难度，不会造成模糊和虚影等问题，扩大了算法的应用范围。本公开还提出高动态范围成像装置。
-
公开(公告)号：CN111669514A
公开(公告)日：2020-09-15
申请号：CN202010513374.9
申请日：2020-06-08
Applicant: 北京大学
Abstract: 本公开提供了高动态范围成像方法，对包含神经形态相机与普通相机的混合相机系统进行搭建；通过搭建完成的所述混合相机系统中的普通相机拍摄的低动态范围图像与神经形态相机拍摄并重建的高动态范围灰度图输入至训练好的神经网络中完成融合成像操作。该方法通过单张LDR图像融合神经形态相机的输出使高动态范围成像的质量大大超越单张LDR图像的重建效果；使用深度学习的方法，针对LDR图像和HDR灰度图在每一个方面的差异单独设计网络模块，相比于非深度学习的融合方法，有效提高了融合图像的质量；减少输入LDR图像数目，减小了数据获取的难度，不会造成模糊和虚影等问题，扩大了算法的应用范围。本公开还提出高动态范围成像装置。
-
公开(公告)号：CN115063312B
公开(公告)日：2023-03-10
申请号：CN202210668560.9
申请日：2022-06-14
Applicant: 北京大学
Abstract: 本发明公开了一种基于事件相机辅助的卷帘门效应矫正方法及装置。搭建了事件相机加卷帘快门传统相机的混合相机系统，对同一场景同时进行拍摄得到匹配的卷帘快门图像和事件信号。设计了一个神经网络模型，仅利用一张卷帘快门图像和对应的事件信号，实现卷帘快门矫正并会恢复出高帧率的全局快门图像序列。网络模型包含两个模块分支，从事件信号中提取出运动信息和场景亮度变化信息，分别用于解决卷帘快门效应中的扭曲和遮挡问题。两个模块中间结果通过一个特殊设计的融合优化网络融合在一起得到最后的矫正结果。相比于现有卷帘门矫正方法，本发明的方法矫正结果大幅提升，解决高速运动下运动估计不准的问题，对场景和运动不加限制，应用场景更广。
-
公开(公告)号：CN118447103B
公开(公告)日：2025-04-08
申请号：CN202410602716.2
申请日：2024-05-15
Applicant: 北京大学
IPC: G06T7/80 , G06T5/70 , G06T5/90 , G06N3/0455 , G06N3/0464 , G06N3/084 , G06T5/60
Abstract: 基于事件相机引导的直接光照和间接光照分离方法，属于光照分离方法领域，包括：拍摄阴影变化触发的事件信号、灰度初始分离结果估计、灰度初始分离结果优化和光照分离结果颜色补偿。本发明只需在场景中拍摄一张照片与一段事件数据，缩短了数据拍摄时间，可应用到动态场景之中。事件相机的事件触发模型使其能离散地记录场景光照变化中的连续变化信息，在实现高时间分辨率的同时降低了数据吞吐量。本发明成功融合了事件相机和机器视觉传统相机输出的图像，能从单张图像与光照变化触发的事件信号重构出彩色高质量的直接光照和间接光照分离结果。同时使用深度学习方法，有效结合场景图像和事件信号，在高频间接光照场景下拥有更好的分离效果。
-
公开(公告)号：CN116310408A
公开(公告)日：2023-06-23
申请号：CN202211515830.9
申请日：2022-11-29
Applicant: 北京大学
IPC: G06V10/74 , G06V10/40 , G06V10/82 , G06N3/08 , G06V10/774 , G06N3/0464 , G06V20/40
Abstract: 本发明公开了一种建立事件相机与帧相机数据关联的方法及装置，基于transformer的神经网络，显式地建立事件相机与帧相机的数据关联，很好地结合了帧相机和事件相机的优势，避免了事件相机位姿估计中的初始解敏感问题，同时保证了精度，使得事件相机和帧相机的组合在不同的应用场景下都表现地更好、更加稳定，可以应用到多个应用场景中，比如深度估计、相机位姿估计等等。此外，本发明的方法和装置，在构造的仿真数据集上进行训练，并在真实数据上取得了比较好的效果。
-
-
-
-
-
-
-
-
-
Search Results
11
records
(took 0.016 seconds)
