一种基于融合事件和RGB数据的水下暗光场景重建方法

    公开(公告)号:CN115761472B

    公开(公告)日:2023-05-23

    申请号:CN202310024781.7

    申请日:2023-01-09

    Applicant: 吉林大学

    Abstract: 本发明是一种基于融合事件和RGB数据的水下暗光场景重建方法。本发明涉及水下机器视觉技术领域,本发明利用事件相机采集的水下暗光事件序列和弱曝光RGB帧构建基准数据集;针对事件序列的异步稀疏性,对每一场景事件序列采用体素网格方式进行分段化表征;利用特征编码网络对事件序列和RGB帧进行特征编码,利用基于特征金字塔的多级Transformer编码器,得到多尺度事件和RGB特征提取分支;利用多阶段残差学习,融合事件和RGB特征,利用逐级上采样特征解码器,最终输出清晰的水下重建场景。实现对事件数据和RGB数据的高效融合,并在水下暗光场景重建清晰的图像,为水下的检测、识别和追踪任务提供了鲁棒的视觉表达。

    一种水下深度图超分辨率方法

    公开(公告)号:CN115760582B

    公开(公告)日:2023-05-23

    申请号:CN202310027766.8

    申请日:2023-01-09

    Applicant: 吉林大学

    Abstract: 本发明是一种水下深度图超分辨率方法。本发明涉及超分辨率技术领域,本发明包括:步骤1通过Kinect相机采集训练时所需要的数据,步骤2确定合适的评价指标来衡量模型输出的深度图像和原始高分辨率深度图像的几何差距,本方法中使用到的是均方根误差和感知误差;步骤3搭建适用于水下环境的深度图像超分辨率网络(DSTN网络),其主要包含以下四个模块:特征融合模块、独立特征提取模块、深度图像变换器、多尺度学习模块;步骤4网络的参数更新与训练。通过本申请中的技术方案,对水下拍摄的深度图像实现超分辨率,还原水下深度图像更多的细节,从而弥补大多数深度相机拍摄的深度图的分辨率和精度都不足以满足实际应用的缺陷。

    一种水下高速移动目标的视频插帧方法及其系统

    公开(公告)号:CN115941872A

    公开(公告)日:2023-04-07

    申请号:CN202310076491.7

    申请日:2023-02-08

    Applicant: 吉林大学

    Abstract: 本发明涉及模式识别技术领域,具体涉及一种水下高速移动目标的视频插帧方法即其系统。步骤1:通过传统相机获取RGB数据;步骤2:基于步骤1的RGB图像,抽离出RGB图像的背景轮廓图;步骤3:利用步骤2的背景轮廓图和步骤1得到的RGB数据经过轮廓图辅助多尺度光流估计网络进行光流估计;步骤4:利用RGB数据和步骤3估计的光流经过光流优化网络对光流结果进行优化;步骤5:利用网型融合网络,融合帧光流估计网络与光流优化网络输出的光流结果,对流光结果进行扭曲得到的中间帧,最终输出中间帧。本发明用以解决现有技术中无法非常准确地还原出非线性运动两帧间的中间帧的问题。

    一种基于数据协同的水下高速视频插帧方法及其系统

    公开(公告)号:CN115883764A

    公开(公告)日:2023-03-31

    申请号:CN202310076493.6

    申请日:2023-02-08

    Applicant: 吉林大学

    Abstract: 一种基于数据协同的水下高速视频插帧方法及其系统。通过传统相机和事件相机分别获取RGB数据和事件数据;将获取的RGB数据和事件数据利用U型合成网络融合,获取合成结果;利用合成结果和获取的RGB数据经过三层多尺度光流估计网络进行帧光流估计;利用获取的RGB数据和事件数据经过三层多尺度光流估计网络进行事件光流估计;将融合结果、经过三层多尺度光流估计网络进行的帧光流估计结果与经过三层多尺度光流估计网络进行的事件光流估计通过U型融合网络进行融合,输出中间帧。本发明实现利用RGB数据和事件数据生成视频的中间帧,提高视频的帧率,优化在水下场景下非线性运动下插帧效果的鲁棒性。

    海洋空间观测数据的异常检测方法、系统、设备与介质

    公开(公告)号:CN115757386A

    公开(公告)日:2023-03-07

    申请号:CN202310023123.6

    申请日:2023-01-09

    Applicant: 吉林大学

    Abstract: 海洋空间观测数据的异常检测方法、系统、设备与介质,属于海洋空间数据、数据异常检测技术领域。获取海洋空间的每个观测点分别观测的不同深度数据,将其组成数据集;将数据集中的低质量的深度数据进行排除后,对数据集进行归一化,判断某一观测点观测的不同深度数据是否出现异常,若出现异常,对该观测点观测的不同深度数据进行缩放,再对数据集进行缩放后,对数据集进行降维,将数据集组成图像形式;对图像进行zero‑padding,构建CoordConv层;将图像输入到卷积神经网络模型中,并基于构建的CoordConv层,构建Bicubic+CoordConv+Pool卷积神经网络模型;对构建的卷积神经网络模型进行训练;将待检测数据输入训练好的卷积神经网络模型,进行异常值检测。

    一种基于红外偏振图像的水下目标轻量化检测方法及装置

    公开(公告)号:CN117893894A

    公开(公告)日:2024-04-16

    申请号:CN202410294510.8

    申请日:2024-03-15

    Applicant: 吉林大学

    Abstract: 一种基于红外偏振图像的水下目标轻量化检测方法及装置,涉及水下机器视觉目标检测技术领域,方法包括:基于红外偏振相机采集水下目标红外偏振图像;将所述目标红外偏振图像划分为训练集和测试集;设计增强特征提取模块,并插入SlimNeck网络中,构成轻量化颈部网络;设计轻量化检测头SlimDetect,并采用所述轻量化检测头SlimDetect和所述轻量化颈部网络替换单阶段目标检测模型中的对应部分,得到轻量化目标检测模型;基于所述训练集训练所述轻量化目标检测模型;将训练后的轻量化目标检测模型用于水下目标检测;该方法通过轻量化设计,减少模型的参数量和计算复杂度,使得在资源有限的水下设备上实现实时目标检测成为可能。

    一种基于跨模态融合的水下目标三维配准方法

    公开(公告)号:CN117765048A

    公开(公告)日:2024-03-26

    申请号:CN202410195664.1

    申请日:2024-02-22

    Applicant: 吉林大学

    Abstract: 一种基于跨模态融合的水下目标三维配准方法,属于水下三维视觉技术领域,解决了现有技术无法有效地融合激光点云和深度图这两种数据源,在发挥各自的优势的同时,克服各自的局限性的问题。读取待配准的深度图,获得待配准的深度图投影图;读取待配准的激光点云,获得待配准的激光点云投影图;将待配准的深度图投影图与待配准的激光点云投影图进行匹配;根据匹配结果计算出配准角度差,根据配准角度差计算出粗配准旋转矩阵和粗配准平移矩阵;对粗配准旋转矩阵和粗配准平移矩阵进行精配准,获得精配准旋转矩阵和精配准平移矩阵,实现了深度图投影图与激光点云投影图的配准。

Patent Agency Ranking