公开(公告)号：CN114239730B

公开(公告)日：2024-08-20

申请号：CN202111564321.0

申请日：2021-12-20

Applicant: 华侨大学 ,  厦门亿联网络技术股份有限公司

Inventor： 曾焕强 ,  刘晓庆 ,  陈婧 ,  朱建清 ,  张联昌 ,  廖昀

IPC: G06F16/901 ,  G06N5/025 ,  G06F40/30 ,  G06V10/44 ,  G06F16/33 ,  G06F16/56 ,  G06N3/045 ,  G06N3/0464

Abstract: 本发明公开了一种基于近邻排序关系的跨模态检索方法，包括：构建用于图像模态数据以及文本模态数据的深度语义特征提取的深度神经网络模型；将图像数据与文本数据对分别输入到所述深度神经网络模型中进行训练；结合近邻样本排序损失函数和语义相似度度量损失函数，计算语义对齐的损失值，通过训练缩小损失值，得到训练好的深度神经网络模型；通过训练好的深度神经网络模型提取到图像数据和文本数据间的公共语义表达，并将图像的深度语义特征与文本的深度语义特征转化到公共语义空间中，实现语义相似度的度量和检索。本发明方法能够有效地实现图像和文本两种不同模态数据间的跨模态检索。

公开(公告)号：CN112818135A

公开(公告)日：2021-05-18

申请号：CN202110208342.2

申请日：2021-02-24

Applicant: 华侨大学 ,  厦门亿联网络技术股份有限公司

Inventor： 曾焕强 ,  刘晓庆 ,  廖昀 ,  张联昌 ,  冯万健 ,  王华虎

IPC: G06F16/36 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于公共语义空间学习构建图文知识图谱方法，包括如下步骤：构建深度神经网络用于图像与文本数据的深度特征提取；将图像与文本数据对oi＝(xi,li,yi)分别输入到深度神经网络中训练；其中oi表示第i对图像‑文本对数据以及对应的标签，xi，yi与li分别表示第i个图像数据、文本数据以及对应的标签数据；通过损失函数学习两种图像和文本数据间的公共语义表达，并将图像与文本特征转化到公共语义空间中；根据相似度度量，依据CN‑DBpedia的构建方法构建知识图谱。本发明提供的方法能有效实现图像、文本两种不同的模态间的知识图谱构建。

公开(公告)号：CN112818135B

公开(公告)日：2022-11-01

申请号：CN202110208342.2

申请日：2021-02-24

Applicant: 华侨大学 ,  厦门亿联网络技术股份有限公司

Inventor： 曾焕强 ,  刘晓庆 ,  廖昀 ,  张联昌 ,  冯万健 ,  王华虎

IPC: G06F16/36 ,  G06K9/62 ,  G06V10/80 ,  G06V10/82 ,  G06V10/764 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于公共语义空间学习构建图文知识图谱方法，包括如下步骤：构建深度神经网络用于图像与文本数据的深度特征提取；将图像与文本数据对oi＝(xi,li,yi)分别输入到深度神经网络中训练；其中oi表示第i对图像‑文本对数据以及对应的标签，xi，yi与li分别表示第i个图像数据、文本数据以及对应的标签数据；通过损失函数学习两种图像和文本数据间的公共语义表达，并将图像与文本特征转化到公共语义空间中；根据相似度度量，依据CN‑DBpedia的构建方法构建知识图谱。本发明提供的方法能有效实现图像、文本两种不同的模态间的知识图谱构建。

公开(公告)号：CN114239730A

公开(公告)日：2022-03-25

申请号：CN202111564321.0

申请日：2021-12-20

Applicant: 华侨大学 ,  厦门亿联网络技术股份有限公司

Inventor： 曾焕强 ,  刘晓庆 ,  陈婧 ,  朱建清 ,  张联昌 ,  廖昀

IPC: G06K9/62 ,  G06V10/80 ,  G06F40/30 ,  G06F16/33 ,  G06F16/56 ,  G06F16/901 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于近邻排序关系的跨模态检索方法，包括：构建用于图像模态数据以及文本模态数据的深度语义特征提取的深度神经网络模型；将图像数据与文本数据对分别输入到所述深度神经网络模型中进行训练；结合近邻样本排序损失函数和语义相似度度量损失函数，计算语义对齐的损失值，通过训练缩小损失值，得到训练好的深度神经网络模型；通过训练好的深度神经网络模型提取到图像数据和文本数据间的公共语义表达，并将图像的深度语义特征与文本的深度语义特征转化到公共语义空间中，实现语义相似度的度量和检索。本发明方法能够有效地实现图像和文本两种不同模态数据间的跨模态检索。

公开(公告)号：CN117010458A

公开(公告)日：2023-11-07

申请号：CN202311287656.1

申请日：2023-10-08

Applicant: 华侨大学

Inventor： 曾焕强 ,  刘晓庆 ,  施一帆 ,  朱建清 ,  陈婧 ,  林琦

IPC: G06N3/0464 ,  G06N3/048 ,  G06N3/084 ,  G06F16/31 ,  G06F16/33 ,  G06F16/51 ,  G06F16/583

Abstract: 本发明公开了一种基于动态排序优化的图文检索深度神经网络模型训练方法，涉及信息检索技术领域，包括：构建深度神经网络用于图像与文本数据的深度特征提取；基于输入的图文实例对的标签与特征信息，计算实例间的标签层级相似度矩阵、特征层级相似度矩阵以及不同实例之间的亲和矩阵；通过构建融合语义相似度损失、排序损失以及哈希量化损失的综合损失函数，采用梯度下降优化算法缩小所述损失值，得到训练好的深度神经网络模型。本发明在模型训练过程中动态地调整梯度优化强度，提高了训练速度和精度，通过训练好的深度神经网络模型实现跨模态检索精度的提升。