图像处理方法、多模态图像生成模型的训练方法及装置

    公开(公告)号:CN118608901B

    公开(公告)日:2024-12-17

    申请号:CN202411074050.4

    申请日:2024-08-07

    Abstract: 本发明提供了图像处理方法、多模态图像生成模型的训练方法及装置,图像处理方法包括:将待处理文本输入至预先训练好的多模态图像生成模型中,输出目标缺陷图像;多模态图像生成模型为稳定扩散模型和目标LoRA模型相结合的模型;目标LoRA模型用于微调稳定扩散模型的权重参数;目标LoRA模型为与缺陷特征信息所属缺陷类别相匹配的模型。该方式中,由于目标LoRA模型为与缺陷特征信息所属缺陷类别相匹配的模型,因此,通过该目标LoRA模型和稳定扩散模型相结合的多模态图像生成模型,可以使生成的目标缺陷图像中准确包含该缺陷特征信息所描述的缺陷,提高了生成目标缺陷图像的便利性、可控性,进而可以提供满足需求的缺陷图像数量。

    图像处理方法、多模态图像生成模型的训练方法及装置

    公开(公告)号:CN118608901A

    公开(公告)日:2024-09-06

    申请号:CN202411074050.4

    申请日:2024-08-07

    Abstract: 本发明提供了图像处理方法、多模态图像生成模型的训练方法及装置,图像处理方法包括:将待处理文本输入至预先训练好的多模态图像生成模型中,输出目标缺陷图像;多模态图像生成模型为稳定扩散模型和目标LoRA模型相结合的模型;目标LoRA模型用于微调稳定扩散模型的权重参数;目标LoRA模型为与缺陷特征信息所属缺陷类别相匹配的模型。该方式中,由于目标LoRA模型为与缺陷特征信息所属缺陷类别相匹配的模型,因此,通过该目标LoRA模型和稳定扩散模型相结合的多模态图像生成模型,可以使生成的目标缺陷图像中准确包含该缺陷特征信息所描述的缺陷,提高了生成目标缺陷图像的便利性、可控性,进而可以提供满足需求的缺陷图像数量。

Patent Agency Ranking