公开(公告)号：CN117874262B

公开(公告)日：2024-06-04

申请号：CN202410276528.5

申请日：2024-03-12

Applicant: 北京邮电大学

Inventor： 欧中洪 ,  胡塞尔 ,  宋美娜

IPC: G06F16/383 ,  G06F16/783 ,  G06F18/22 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明提出一种基于渐进原型匹配的文本‑动态图片跨模态检索方法，包括，获取文本查询集与动态图片候选集，并获取文本查询集和所述动态图片候选集之间的语义相似性；构建基于渐进原型匹配的细粒度文本‑动态图片的检索模型，检索模型包括动态图像嵌入模块、文本嵌入模块、全局分支模块、局部分支模块；将文本查询集与动态图片候选集作为输入，对检索模型进行训练，获取训练完成的检索模型；获取待查询文本与动态图片候选集，输入训练完成的检索模型，输出待查询文本与动态图片的相似度排序。通过本发明提出的方法，实现了针对文本、动态图片两种模态的一整套数据处理、模型训练和跨模态检索解决方案。

公开(公告)号：CN117874262A

公开(公告)日：2024-04-12

申请号：CN202410276528.5

申请日：2024-03-12

Applicant: 北京邮电大学

Inventor： 欧中洪 ,  胡塞尔 ,  宋美娜

IPC: G06F16/383 ,  G06F16/783 ,  G06F18/22 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明提出一种基于渐进原型匹配的文本‑动态图片跨模态检索方法，包括，获取文本查询集与动态图片候选集，并获取文本查询集和所述动态图片候选集之间的语义相似性；构建基于渐进原型匹配的细粒度文本‑动态图片的检索模型，检索模型包括动态图像嵌入模块、文本嵌入模块、全局分支模块、局部分支模块；将文本查询集与动态图片候选集作为输入，对检索模型进行训练，获取训练完成的检索模型；获取待查询文本与动态图片候选集，输入训练完成的检索模型，输出待查询文本与动态图片的相似度排序。通过本发明提出的方法，实现了针对文本、动态图片两种模态的一整套数据处理、模型训练和跨模态检索解决方案。

公开(公告)号：CN114154077A

公开(公告)日：2022-03-08

申请号：CN202111229233.5

申请日：2021-10-21

Applicant: 北京邮电大学

Inventor： 欧中洪 ,  陆舸帆 ,  田中一 ,  胡塞尔 ,  宋美娜 ,  钟茂华 ,  梁昊光

IPC: G06F16/9536 ,  G06Q50/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出一种多维度细粒度动态情感分析方法及系统，其中，方法包括：利用多模态数据相关经验，对缺失数据进行预测补全；对文本进行实体级的情感分析，得到针对不同实体的情感，并利用实体分割的结果对所述多模态数据进行二次切割；分别计算文本音频图像多模态的特征；利用所述多模态数据的融合特征，用训练好的分类模型预测情感；基于实体的历史情感数据，预测所述实体未来情感走向。本发明实现了针对多模态数据的一整套分析及预测技术方案。