公开(公告)号：CN119322861A

公开(公告)日：2025-01-17

申请号：CN202411409094.8

申请日：2024-10-10

Applicant: 国网河北省电力有限公司信息通信分公司 ,  华北电力大学(保定) ,  国家电网有限公司

Inventor： 杨钰雪 ,  张志 ,  樊京杭 ,  何甜 ,  辛锐 ,  黄静宇 ,  王智慧 ,  魏肇星 ,  曹锦纲 ,  王洪涛

IPC: G06F16/58 ,  G06F16/38

Abstract: 本申请适用于图文检索技术领域，提供了一种跨模态图文检索方法及装置，该方法包括：获取文本检索图像样本；基于文本检索图像样本，对预设跨模态图文检索模型进行训练，得到训练好的跨模态图文检索模型；预设跨模态图文检索模型采用图像和文本双流网络并行处理结构；预设跨模态图文检索模型包括图文特征提取模块、交叉注意力模块、特征池化模块和特征融合模块；交叉注意力模块用于捕捉文本检索图像样本的不同模态间的相关性；特征池化模块用于通过可学习的方式沿区域维度进行特征降维；获取待检索图文，并将待检索图文输入训练好的跨模态图文检索模型，得到检索结果。本申请能够提升图文检索的准确性。