公开(公告)号：CN118212475A

公开(公告)日：2024-06-18

申请号：CN202410468662.5

申请日：2024-04-18

Applicant: 华侨大学

Inventor： 李弼程 ,  许逸飞 ,  蔡博伟 ,  皮慧娟 ,  王华珍 ,  王成

IPC: G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08 ,  G06F16/35 ,  G06F40/30

Abstract: 一种基于多模态融合的图像主题分类方法和系统，包括：通过数据预处理构建图像对应的叙事文本和概念文本；将图像及其对应的叙事文本和概念文本输入预训练的特征提取模型得到图像特征、图像概念文本特征和图像叙事文本特征；采用标签注意力融合机制将所述图像特征和概念文本特征进行融合得到第一融合特征，利用多模态交叉注意力融合机制将所述图像特征和所述叙事文本特征进行融合得到第二融合特征；对所述第一融合特征和所述第二融合特征进行拼接融合和标签预测，实现图像主题分类。本发明融合文本信息辅助图像的新闻主题分类，提升模型的可解释性和泛化性。