-
公开(公告)号:CN110889340A
公开(公告)日:2020-03-17
申请号:CN201911099046.2
申请日:2019-11-12
Applicant: 哈尔滨工程大学
Abstract: 本发明公开了一种基于迭代注意力机制的视觉问答模型,包括三个步骤:步骤S1,构建双重注意力机制;步骤S2,迭代模型内部结构;步骤S3,答案预测;本发明使用VGGNet提取图像的特征;将问题和答案用双向LSTM方式编码;把第一部分和第二部分的结果作为输入即以图片特征向量和问题特征向量作为输入,首先两个向量分别加入注意力机制,经过计算后得到两个注意力特征向量,再进行融合得到新的图片和问题特征向量;迭代进行第三部分工作内容降低关注区域粒度,得到最后图片和问题特征向量;利用上述步骤中得到的图片和问题的特征向量预测答案分布。本发明的有益效果是:关注点在问题上,且关注区域精确,预测答案准确。