公开(公告)号：CN117351246A

公开(公告)日：2024-01-05

申请号：CN202311355526.7

申请日：2023-10-18

Applicant: 暨南大学

Inventor： 林舒源 ,  郭榆 ,  黄迪 ,  黄斐然 ,  支庭荣

IPC: G06V10/75 ,  G06V10/80 ,  G06V10/84 ,  G06V10/762 ,  G06V10/82

Abstract: 本发明涉及图像匹配领域，尤其涉及一种误匹配对去除方法、系统及可读介质。一种误匹配对去除方法，包括：获取初始匹配对集；基于注意力机制针对所述初始匹配对集进行特征提取得到多层次深度特征；对所述多层次深度特征执行特征融合操作，得到所述初始匹配集的综合特征表示；基于所述综合特征表示获取每个匹配对的匹配概率，进而基于所述匹配概率对去除错误匹配对。针对初始匹配对集基于注意力机制针对所述初始匹配对集进行特征提取得到多层次深度特征；对所述多层次深度特征进行逐层融合操作得到所述初始匹配集中每个匹配对的匹配概率，进而基于所述匹配概率对去除错误匹配对。可以有效去除离群点信息的干扰，增强模型的准确性和稳定性，在各种应用场景中表现更好。

公开(公告)号：CN118013372B

公开(公告)日：2024-08-02

申请号：CN202410257623.0

申请日：2024-03-07

Applicant: 暨南大学

Inventor： 黄斐然 ,  杨正航 ,  郭榆 ,  刘志全 ,  林舒源 ,  林群雄 ,  陈志荣

IPC: G06F18/241 ,  G06N3/0455 ,  G06F18/213 ,  G06F16/35 ,  G06V10/40 ,  G06V10/764 ,  G06V10/82 ,  G06F18/22 ,  G06F18/25 ,  G06N3/047 ,  G06F18/2415 ,  G06N3/0895

Abstract: 本发明公开了一种基于多模态数据异构Transformer资产识别方法、系统及设备，该方法包括下述步骤：采集资产各个模态的信息，包括文本信息和图像信息；构建ALBERT模型、ViT模型和CLIP模型；基于ALBERT模型进行文本信息特征提取；基于ViT模型进行图像信息特征提取；基于CLIP模型进行图像文本匹配信息特征提取；对不同模态的信息进行不同通道的资产类型识别，输出不同通道的分类信息，基于CLIP模型对资产缺失信息进行生成；将不同通道的分类信息与CLIP模型得到的图像信息与文本信息的匹配度进行判别融合，输出最终的资产类别信息。本发明能从多个模态进行综合判断，提高资产识别的准确率。

公开(公告)号：CN118013372A

公开(公告)日：2024-05-10

申请号：CN202410257623.0

申请日：2024-03-07

Applicant: 暨南大学

Inventor： 黄斐然 ,  杨正航 ,  郭榆 ,  刘志全 ,  林舒源 ,  林群雄 ,  陈志荣

IPC: G06F18/241 ,  G06N3/0455 ,  G06F18/213 ,  G06F16/35 ,  G06V10/40 ,  G06V10/764 ,  G06V10/82 ,  G06F18/22 ,  G06F18/25 ,  G06N3/047 ,  G06F18/2415 ,  G06N3/0895

Abstract: 本发明公开了一种基于多模态数据异构Transformer资产识别方法、系统及设备，该方法包括下述步骤：采集资产各个模态的信息，包括文本信息和图像信息；构建ALBERT模型、ViT模型和CLIP模型；基于ALBERT模型进行文本信息特征提取；基于ViT模型进行图像信息特征提取；基于CLIP模型进行图像文本匹配信息特征提取；对不同模态的信息进行不同通道的资产类型识别，输出不同通道的分类信息，基于CLIP模型对资产缺失信息进行生成；将不同通道的分类信息与CLIP模型得到的图像信息与文本信息的匹配度进行判别融合，输出最终的资产类别信息。本发明能从多个模态进行综合判断，提高资产识别的准确率。

公开(公告)号：CN117351246B

公开(公告)日：2024-04-09

申请号：CN202311355526.7

申请日：2023-10-18

Applicant: 暨南大学

Inventor： 林舒源 ,  郭榆 ,  黄迪 ,  黄斐然 ,  支庭荣

IPC: G06V10/75 ,  G06V10/80 ,  G06V10/84 ,  G06V10/762 ,  G06V10/82

Abstract: 本发明涉及图像匹配领域，尤其涉及一种误匹配对去除方法、系统及可读介质。一种误匹配对去除方法，包括：获取初始匹配对集；基于注意力机制针对所述初始匹配对集进行特征提取得到多层次深度特征；对所述多层次深度特征执行特征融合操作，得到所述初始匹配集的综合特征表示；基于所述综合特征表示获取每个匹配对的匹配概率，进而基于所述匹配概率对去除错误匹配对。针对初始匹配对集基于注意力机制针对所述初始匹配对集进行特征提取得到多层次深度特征；对所述多层次深度特征进行逐层融合操作得到所述初始匹配集中每个匹配对的匹配概率，进而基于所述匹配概率对去除错误匹配对。可以有效去除离群点信息的干扰，增强模型的准确性和稳定性，在各种应用场景中表现更好。

公开(公告)号：CN115423050A

公开(公告)日：2022-12-02

申请号：CN202211372839.9

申请日：2022-11-04

Applicant: 暨南大学

Inventor： 林舒源 ,  陈晓 ,  郭榆 ,  黄斐然 ,  支庭荣

IPC: G06K9/62 ,  G06V10/74 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06F16/55 ,  G06F16/35

Abstract: 本发明实施例涉及信息检测技术领域，公开了一种虚假新闻检测方法、装置、电子设备及存储介质，一种虚假新闻检测方法，其特征在于，包括：提取新闻中的图像和文本的特征，形成图像特征序列和文本特征序列；对图像特征序列进行判别，得到图像预测值；对文本特征序列进行判别，得到文本预测值；融合图像特征序列和文本特征序列，得到多模态特征序列；对多模态特征序列进行判别，得到多模态预测值；融合图像特征预测值、文本特征预测值和多模态特征预测值，得到最终的预测值；通过对图像特征序列与文本特征序列进行计算，得到相似度；优化特征提取参数。本发明能检测同时含有图像与文本的虚假新闻。