公开(公告)号：CN119783799B

公开(公告)日：2025-05-13

申请号：CN202510296663.0

申请日：2025-03-13

Applicant: 南京信息工程大学

Inventor： 黄施远 ,  刘琳 ,  韩铭佳 ,  戴宇宸 ,  陈丽瑾 ,  李志钢

IPC: G06N5/022 ,  G06N5/04 ,  G06F16/36 ,  G06F18/25 ,  G06V10/44 ,  G06V10/82 ,  G06N3/0455

Abstract: 本发明提供了一种基于动态提示学习和多粒度聚合的多模态知识图谱补全方法，包括以下步骤：步骤1，生成动态提示模板：根据任务需求选择合适的模板结构并使用自适应引导机制动态调整模板结构；步骤2，建立多模态特征编码器，将文本和图像数据转换为用于本模型训练的特征向量；步骤3，多粒度跨模态聚合MCA：将不同模态和不同粒度的特征进行融合；步骤4，设计多任务联合损失函数，优化模型在两个以上多模态任务中的性能并进行训练。本发明方法能够更全面地理解图像内容，从而提高推理准确性。

公开(公告)号：CN119783799A

公开(公告)日：2025-04-08

申请号：CN202510296663.0

申请日：2025-03-13

Applicant: 南京信息工程大学

Inventor： 黄施远 ,  刘琳 ,  韩铭佳 ,  戴宇宸 ,  陈丽瑾 ,  李志钢

IPC: G06N5/022 ,  G06N5/04 ,  G06F16/36 ,  G06F18/25 ,  G06V10/44 ,  G06V10/82 ,  G06N3/0455

Abstract: 本发明提供了一种基于动态提示学习和多粒度聚合的多模态知识图谱补全方法，包括以下步骤：步骤1，生成动态提示模板：根据任务需求选择合适的模板结构并使用自适应引导机制动态调整模板结构；步骤2，建立多模态特征编码器，将文本和图像数据转换为用于本模型训练的特征向量；步骤3，多粒度跨模态聚合MCA：将不同模态和不同粒度的特征进行融合；步骤4，设计多任务联合损失函数，优化模型在两个以上多模态任务中的性能并进行训练。本发明方法能够更全面地理解图像内容，从而提高推理准确性。