一种基于多模态特征融合的光场显著目标检测方法

    公开(公告)号:CN119942289A

    公开(公告)日:2025-05-06

    申请号:CN202510102232.6

    申请日:2025-01-22

    Abstract: 本发明公开了一种基于多模态特征融合的光场显著目标检测方法,该方法使用训练后的光场显著目标检测模型检测得到光场多模态图像的显著图;该模型通过切片交织增强模块以局部的方式增强焦点切片间的特征,获得增强后的焦点流特征,通过高层特征融合模块以局部和全局的方式对高层多模态语义信息进行特征融合,输出得到融合后的高层特征图,通过低层交叉注意力以交叉增强的方式对低层多模态的空间‑通道特征进行融合,输出得到融合后的低层特征图,最后,通过紧凑金字塔细化模块对上述特征进行聚合,并解码为精确的显著图。本发明通过构建光场显著目标检测模型,解决了焦点堆栈中切片间特征学习不充分以及光场中多模态信息特征融合不充分的问题。

    一种基于多特征重用的实时语义分割方法

    公开(公告)号:CN116740359A

    公开(公告)日:2023-09-12

    申请号:CN202310794125.5

    申请日:2023-06-30

    Abstract: 本发明涉及图像语义分割领域,具体涉及一种基于多特征重用的实时语义分割方法,包括:将目标图像输入经过训练的语义分割模型中,输出对应的语义分割图像;包括:提取目标图像的初始特征信息,得到初级特征图;提取初级特征图的特征信息得到局部特征图;提取局部特征图的特征信息得到全局特征图;对全局特征图和局部特征图进行融合得到中间融合特征图;对中间融合特征图和初级特征图进行融合得到最终融合特征图;通过分类器基于最终融合特征图进行分类预测输出对应的语义分割图像。本发明能够通过轻量级网络有效提取不同层级的特征信息,同时实现低级特征的重用和不同层级特征的充分融合,并加强空间信息和上下文信息的有效互补。

    一种基于虚拟视点质量模型的多视点视频比特分配方法

    公开(公告)号:CN111726619B

    公开(公告)日:2022-06-03

    申请号:CN202010641620.9

    申请日:2020-07-06

    Abstract: 本发明公开了一种基于虚拟视点质量模型的多视点视频比特分配方法,整体上确定视频间(即纹理和深度视频)的比特分配策略。然后,根据虚拟视点与各参考视点基线距离权重,确定视点间的纹理和深度视频比特分配方案,该权重充分反映了各参考视点质量对虚拟视点绘制质量的影响。与现有技术中的视点级比特平均分配方法相比,本发明可有效提升虚拟视点质量,质量提升的程度与虚拟视点偏离各参考视点的中心距离有关,偏离得越远则提升效果越明显。同时,由于各视点比特分配权重与绘制过程中的融合权重相关,因此,为距离虚拟视点越近的参考视点分配更多的比特,可更好地保留视频纹理细节,从而提高绘制后的虚拟视点质量,提升用户视觉体验。

    一种基于深度学习的VVC帧内快速编码方法

    公开(公告)号:CN112702599B

    公开(公告)日:2022-05-20

    申请号:CN202011552183.X

    申请日:2020-12-24

    Abstract: 本发明公开了一种基于深度学习的VVC帧内快速编码方法,包括,在VVC编码过程中,获取亮度编码块及量化参数;将亮度编码块及量化参数输入到考虑非对称卷积和注意力感知的深度学习模型中,得到预测向量,以各划分模式为最优快速划分模式的预测概率作为预测向量中的元素;基于预测向量确定保留的划分模式;基于保留划分模式进行VVC帧内快速划分。与现有技术相比,本发明在VVC帧内快速编码过程中,大幅降低了编码复杂度,提高了算法的稳定性,保证了划分结果的准确性。

    一种基于混合注意力和SwinV2熵模型的端到端图像压缩方法

    公开(公告)号:CN119946271A

    公开(公告)日:2025-05-06

    申请号:CN202510102238.3

    申请日:2025-01-22

    Abstract: 本发明公开了一种基于混合注意力和SwinV2熵模型的端到端图像压缩方法,包括:将待压缩图像输入训练好的图像压缩模型中输出重建图像;模型的训练步骤包括:对输入的原始图像x经卷积变换后生成的若干个通道特征进行特征提取并自适应地关注对压缩任务重要的通道特征,生成潜在表示y;获潜在表示y之间的冗余信息,计算高斯分布(μ,σ);使用高斯概率模型结合高斯分布对潜在表示y进行建模,生成潜在表示#imgabs0#对潜在表示#imgabs1#进行解码重建生成重建图像;基于重建图像和原始图像之间的差值以及压缩原始图像产生的码流比特数计算损失函数并反向优化模型参数;迭代训练直至模型收敛或达到最大迭代次数。本发明能够提高模型的压缩性能并显著降低模型的复杂度。

    一种基于光衰减和深度估计的水下图像清晰化处理方法

    公开(公告)号:CN113850747B

    公开(公告)日:2024-06-14

    申请号:CN202111151760.9

    申请日:2021-09-29

    Abstract: 本发明公开了一种基于光衰减和深度估计的水下图像清晰化处理方法,包括:S1、获取待处理水下图像;S2、对待处理水下图像进行场景深度估计运算,得到待处理水下图像的场景深度图;S3、提取待处理水下图像的背景光值,根据提取背景光值对待处理水下图像进行色彩预处理,并估算色彩预处理后的待处理水下图像的光衰减率;S4、根据待处理水下图像的场景深度图、背景光值和光衰减率对待处理水下图像进行水深值估计;S5、根据估计的水深值以及待处理水下图像的场景深度图、背景光值和光衰减率,对待处理水下图像进行复原处理。与现有技术相比,本发明能够提升对水下图像色彩及对比度复原处理的准确度,获得更好的水下图像清晰化成像质量。

    一种利用两路焦点堆栈融合的光场显著性检测方法

    公开(公告)号:CN117392410A

    公开(公告)日:2024-01-12

    申请号:CN202311430549.X

    申请日:2023-10-31

    Abstract: 本发明具体涉及一种利用两路焦点堆栈融合的光场显著性检测方法,将全聚焦图像和焦点堆栈图像输入显著性检测模型,输出待检测目标的光场显著性检测图,包括:根据全聚焦图像计算生成颜色紧凑显著性图;根据焦点堆栈图像计算生成背景概率;根据颜色紧凑显著性图结合背景概率计算生成前景显著性图;根据每个切片的透射图和中心显著性图结合被细化的颜色紧凑显著性图生成强化显著性图;将前景显著性图和强化显著性图融合生成最终的光场显著性检测图。本发明通过第一路提取并融合焦点堆栈中的深度与中心先验信息来检测显著区域,通过第二路焦点堆栈强化光场图像中粗糙的显著性区域,通过融合两路所得到的显著图来提高显著目标检测的准确性。

    基于亚像素和梯度引导的光场图像超分辨率重建方法

    公开(公告)号:CN117114987A

    公开(公告)日:2023-11-24

    申请号:CN202310874018.3

    申请日:2023-07-17

    Abstract: 本发明具体涉及基于亚像素和梯度引导的光场图像超分辨率重建方法,包括:将目标光场图像输入超分辨重建模型得到超分辨率重建图像;训练时:将低分辨率光场图像和对应的梯度阵列作为模型输入;提取低分辨率光场图像和对应梯度阵列的多重亚像素特征;对光场和梯度多重亚像素特征进行特征表示增强;对光场和梯度多重亚像素增强特征进行特征融合得到多重亚像素融合特征;基于多重亚像素融合特征进行超分辨率重建,并将低分辨率光场图像经过双三次插值后与重建图像相加生成超分辨率重建图像;计算训练损失并优化模型参数直至收敛。本发明通过多重亚像素信息来弥补光场中的像素差异性,通过梯度先验来引导超分辨重建以保护重建图像的边缘纹理细节。

    融合空间和角度特征的光场图像超分辨率重建方法

    公开(公告)号:CN116977168A

    公开(公告)日:2023-10-31

    申请号:CN202310742337.9

    申请日:2023-06-21

    Abstract: 本发明具体涉及融合空间和角度特征的光场图像超分辨率重建方法,包括:将目标光场图像输入训练后的超分辨重建模型,输出超分辨率重建图像;模型训练时:提取低分辨率的光场图像中各个子孔径图像的2D空间特征和2D角度特征,然后连接2D空间特征和2D角度特征生成全局特征;对全局特征进行融合增强,生成光场图像的4D光场特征;根据光场图像的4D光场特征进行超分辨率重建,生成超分辨率重建图像;根据超分辨率重建图像和用作样本的高分辨率的光场图像计算训练损失,优化超分辨重建模型的参数直至模型收敛。本发明能够充分考虑光场图像的2D空间特征和2D角度特征,并且能够实现光场图像中空间特征信息和角度特征信息的有效互补。

Patent Agency Ranking