-
公开(公告)号:CN117194605A
公开(公告)日:2023-12-08
申请号:CN202311474216.7
申请日:2023-11-08
Applicant: 中南大学
IPC: G06F16/31 , G16H15/00 , G16H30/20 , G06N3/0464 , G06N3/048 , G06N3/08 , G06F16/33 , G06F16/35 , G06F16/51 , G06F16/55 , G06F16/583
Abstract: 本发明公开了一种用于多模态医学数据缺失的哈希编码方法、终端及介质,包括如下步骤:对多模态医学数据进行标签抽取,然后构建随机化的语义相似度标签空间,构建视觉编码器和文本编码器对医学图像和医学报告进行深度语义哈希编码,构建随机化的语义相似度嵌入空间,生成统一语义相似度损失子空间,然后训练视觉编码器和文本编码器以进行多模态医学数据的深度语义哈希编码。本发明在能充分利用医学图像和医学报告的模态内一致性和模态间互补性的同时,能有效解决多模态医学数据中部分数据缺失的问题,并且还克服了成对医学数据所带来的假阴性和大规模多模态医学数据的存储消耗问题。
-