公开(公告)号：CN109344266A

公开(公告)日：2019-02-15

申请号：CN201811106799.7

申请日：2018-09-21

Applicant: 北京大学深圳研究生院

Inventor： 王文敏 ,  夏雅娴 ,  韩梁 ,  王荣刚 ,  李革 ,  高文

IPC: G06F16/48 ,  G06F16/435

Abstract: 本发明公布了一种基于双语义空间的对抗性跨媒体检索方法，涉及模式识别、自然语言处理、多媒体检索等技术领域；包括：特征生成过程、双语义空间的构建过程和对抗性语义空间优化过程。本发明通过建立同构双语义空间，即文本子空间和图像子空间，实现在最大限度保留原有图像和文本信息的同时消除语义鸿沟；并通过对抗训练来优化同构子空间数据分布，挖掘多媒体数据中丰富的语义信息，在保证类别不变、模态可区分的情况下拟合语义空间中不同模态的向量分布。本发明方法能够有效的消除不同模态信息异构性，实现有效的跨媒体检索，在图文检索、模式识别等领域具有广泛的市场需求和应用前景。

公开(公告)号：CN109344266B

公开(公告)日：2021-08-06

申请号：CN201811106799.7

申请日：2018-09-21

Applicant: 北京大学深圳研究生院

Inventor： 王文敏 ,  夏雅娴 ,  韩梁 ,  王荣刚 ,  李革 ,  高文

IPC: G06F16/48 ,  G06F16/435

Abstract: 本发明公布了一种基于双语义空间的对抗性跨媒体检索方法，涉及模式识别、自然语言处理、多媒体检索等技术领域；包括：特征生成过程、双语义空间的构建过程和对抗性语义空间优化过程。本发明通过建立同构双语义空间，即文本子空间和图像子空间，实现在最大限度保留原有图像和文本信息的同时消除语义鸿沟；并通过对抗训练来优化同构子空间数据分布，挖掘多媒体数据中丰富的语义信息，在保证类别不变、模态可区分的情况下拟合语义空间中不同模态的向量分布。本发明方法能够有效的消除不同模态信息异构性，实现有效的跨媒体检索，在图文检索、模式识别等领域具有广泛的市场需求和应用前景。