一种图像分割大模型、预训练方法及相关装置

    公开(公告)号:CN119942112A

    公开(公告)日:2025-05-06

    申请号:CN202510000599.7

    申请日:2025-01-02

    Abstract: 本发明公开一种图像分割大模型、预训练方法及相关装置,应用于图像识别技术,针对现有的基于深度学习的图像分割模型对大规模标注数据的依赖性和在小样本分割任务上的性能低的问题;本发明采用一种基于图像融合的伪分割方式,实现从大量无标注图像中的分割模型预训练,是通过以下技术方案来实现的:首先通过卷积和Transformer并行模块建立图像分割网络结构DCT‑Net,然后在无标注数据集中通过双视角数据增广得到待融合的训练图像对,接着对增广后的图像利用分块离散融合系数进行融合,得到融合后的图像。在此基础上将融合后的图像作为模型输入,融合系数图作为分割目标,建立伪分割任务对分割模型进行预训练。经过预训练后的模型在下游分割任务中,利用少量标注图像进行微调。本发明能克服传统基于深度学习的图像分割模型所需的标注成本高昂、小样本训练集上分割性能差的问题,可以有效降低模型所需标注量,并且提高其收敛速度和分割性能。

    图像语义分割方法、装置、电子设备和可读介质

    公开(公告)号:CN119942109A

    公开(公告)日:2025-05-06

    申请号:CN202411978931.9

    申请日:2024-12-30

    Inventor: 王泽琨

    Abstract: 本申请提供一种图像语义分割方法、装置、电子设备和可读介质。该方法包括:将待预测图像和待预测文本输入到包含文本编码器和图像编码器的多模态模型中进行特征提取,分别得到图像令牌和文本令牌;在文本令牌中嵌入信任令牌,信任令牌用于标识待预测文本中的已知类别标签和未知类别标签;通过信任学习器将匹配的图像令牌以及嵌入信任令牌后的文本令牌进行特征融合,得到融合特征;通过语义分割网络对融合特征进行语义分割,得到结果掩膜;通过结果掩膜对待预测图像中的各个像素分配类别标签,得到待遇测图像的图像分割结果。该方法能够提升模型的适应性与识别能力,避免因未知类别导致的遗漏或标注错误。

    仿真场景的生成方法、装置、电子设备及计算机程序产品

    公开(公告)号:CN119941888A

    公开(公告)日:2025-05-06

    申请号:CN202411974851.6

    申请日:2024-12-30

    Abstract: 本申请适用于图像处理技术领域,提供了一种仿真场景的生成方法、装置、电子设备及计算机程序产品。仿真场景的生成方法包括:获取真实场景对应的目标图像;提取目标图像中每个目标物体各自的轮廓信息;根据每个目标物体各自的轮廓信息,确定每个目标物体各自的目标贴图;根据每个目标物体各自的目标贴图,生成真实场景对应的仿真场景。本申请的方法通过提取目标图像中每个目标物体各自的轮廓信息,再根据每个目标物体各自的轮廓信息生成真实场景对应的仿真场景,因此能够保证仿真场景中的目标物体的形态和结构与真实场景中的目标物体的形态和结构基本一致,提高了生成的仿真场景与真实场景的相似度。

    一种基于频率语义补偿协作的红外与可见光图像融合方法

    公开(公告)号:CN119941525A

    公开(公告)日:2025-05-06

    申请号:CN202510007749.7

    申请日:2025-01-03

    Abstract: 本发明提供了一种基于频率语义补偿协作的红外与可见光图像融合方法,属于红外与可见光图像融合领域,本发明包括以下步骤:步骤1:获取融合网络的数据集,将数据集分为训练集和测试集;步骤2:构建红外与可见光图像融合网络,用于特征的提取和图像的还原,所述融合网络包括:层次化语义特征提取单元、频率与语义特征交叉补偿模块、图像上采样重构模块;步骤3:对训练集中的图像预处理,进行归一化;步骤4:在损失函数的指导下对融合网络进行训练,得到训练好的融合网络模型;步骤5:利用融合网络的测试集数据对步骤4得到的训练好的网络模型进行测试,得到融合图像。本发明所述的图像融合方法有着良好的泛化能力,能够充分地利用图像当中的频率信息和语义信息,生成含有显著目标信息和丰富纹理细节的融合图像。

Patent Agency Ranking