-
公开(公告)号:CN117934511A
公开(公告)日:2024-04-26
申请号:CN202410111337.3
申请日:2024-01-26
Applicant: 吉林大学
IPC: G06T7/11 , G06N3/0464 , G06N3/045 , G06N3/096 , G06N3/048 , G06N3/0895
Abstract: 本发明公开了一种模态缺失医学图像分割方法、装置、终端及存储介质,属于医学图像处理技术领域,包括获取三维医学图像,将所述三维医学图像正则化得到正则化后的三维医学图像;将所述正则化后的三维医学图像通过编码器提取并进行整合得到高维图像特征输出数据;将所述高维图像特征输出数据通过多级知识蒸馏方法得到进一步丰富后的高维图像特征;将所述进一步丰富后的高维图像特征输入到分割解码器当中得到最终分割结果。本发明从单模态输入中提取更多的潜在信息,最终提高在单模态情境下的分割性能,得到高质量的分割结果。
-
公开(公告)号:CN117557475A
公开(公告)日:2024-02-13
申请号:CN202311621831.6
申请日:2023-11-30
Applicant: 吉林大学
IPC: G06T5/73 , G06T5/50 , G06T5/60 , G06T3/4038 , G06T3/4046 , G06T3/4061 , G06N3/045 , G06N3/0475 , G06N3/0464 , G06N3/088 , G06N3/094 , G06N3/096
Abstract: 本发明公开了一种两阶段的遥感图像全色锐化方法,包括:将源图像中的全色图进行尺寸对齐和下采样处理,将下采样后的全色图与多光谱图进行拼接,获取初始特征图;构建一阶段生成对抗网络,采用对抗损失函数对所述一阶段生成对抗网络进行对抗训练,获得训练好的生成器;基于所述初始特征图通过所述训练好的生成器,获得一阶段融合图像;构建二阶段超分辨率网络,基于无监督损失函数进行迁移学习,通过优化无监督损失函数,得到训练好的二阶段超分辨率网络;基于所述训练好的二阶段超分辨率网络对所述一阶段融合图像进行上采样,获得二阶段融合图像,完成遥感图像全色锐化。
-
公开(公告)号:CN119785966A
公开(公告)日:2025-04-08
申请号:CN202510267149.4
申请日:2025-03-07
Applicant: 吉林大学
Abstract: 本发明适用于医学影像分析技术领域,提供了一种基于分层知识集成框架的放射学报告生成方法。通过分层知识注入和跨模态融合模块,有效缩小了图像感知与文本认知之间的差距,确保了图像与文本之间的一致性。利用丰富的医学先验知识,增强了报告的准确性与相关性。这种方法不仅为放射学报告生成提供了新方案,还在医学影像分析领域中展现广泛潜力。它能精确对齐图像与文本,反映关键临床信息,同时,结合图像特征与医学知识,增强报告实用性和可靠性。此外,能够处理复杂解剖结构和病理特征,减少报告中因细节遗漏导致的泛化问题,保证报告完整性、连贯性和实时性,具有显著的理论创新意义和实际应用价值。
-
公开(公告)号:CN119049637A
公开(公告)日:2024-11-29
申请号:CN202411140662.9
申请日:2024-08-20
Applicant: 吉林大学
Abstract: 本发明公开了一种胸透诊断报告自动生成方法、装置、终端及存储介质,属于医学图像文本多模态处理技术领域,包括获取胸透图像,将所述胸透图像通过卷积特征提取模块得到图块级视觉特征;将所述图块级视觉特征通过编码器进一步捕获并整合复杂映射得到最终视觉隐藏状态;将所述最终视觉隐藏状态通过记忆驱动的视觉语义增强模块进行语义增强,得到增强后的视觉特征;将所述增强后的视觉特征输入到解码器中得到最终生成的诊断报告。本发明通过对视觉特征进行特别的语义增强,解决了主流模型架构的非对称特征流向性隐患,最终得以生成更准确更全面的诊断报告。
-
公开(公告)号:CN118134866A
公开(公告)日:2024-06-04
申请号:CN202410235814.7
申请日:2024-03-01
Applicant: 吉林大学
IPC: G06T7/00 , G06V10/44 , G06V10/764 , G06V10/771 , G06V10/82 , G06N3/045 , G06N3/0464 , G06N3/0895
Abstract: 本发明公开了一种基于原型对比学习的双分支网络模型的DR分类方法,包括:获取糖尿病患者的糖尿病视网膜病变DR图像,将所述DR图像输入至原型对比学习的双分支网络模型中进行分类识别,获得分类结果;其中,所述原型对比学习的双分支网络模型包括骨干网络、特征学习分支和分类器分支。本发明有效地缓解了数据集中样本分布不平衡带来的挑战,特别是在少数类别样本的学习特征方面,确保了从特征学习到分类决策的平稳过渡。
-
公开(公告)号:CN117576033A
公开(公告)日:2024-02-20
申请号:CN202311540075.4
申请日:2023-11-17
Applicant: 吉林大学
IPC: G06T7/00 , G06T7/11 , G06N3/0895
Abstract: 本公开提供了基于多任务自监督学习的医学图像分割方法、装置及介质,获取医学图像,所述图像为灰度图像或彩色图像;将所述图像通过多任务联合预训练模块,根据任务要求不同进行训练,得到预训练好的编码器;将所述图像按照多个自监督学习任务的任务要求进行像素级变换;将所述图像的变换图像通过一个编码器结构,获得一个整合后的高维特征输出;将所述高维特征输出通过一个多头投影头,根据多任务要求训练以更新编码器参数;将所述编码器与分割解码器组合,对需分割的图像处理后输入,得到分割结果。针对多任务预训练模块设计了基于梯度的动态权重调整机制和动态学习率调整机制,缓解了多任务收敛速度的差异,更好地协同了多任务之间的学习过程。
-
公开(公告)号:CN115187571A
公开(公告)日:2022-10-14
申请号:CN202210893407.6
申请日:2022-07-27
Applicant: 吉林大学
IPC: G06T7/00 , G06T7/11 , G06T7/194 , G06V10/26 , G06V10/74 , G06V10/764 , G06V10/82 , G06N3/04 , G06N3/08
Abstract: 本发明提供了一种基于奖励函数引入先验知识的医学图像分割方法,包括如下步骤:获取公开的医学CT图像数据集;基于图像数据集,设计并得到奖励函数;在奖励函数中引入图像数据集中的CT图像的前景‑背景比引入,得到改进的奖励函数;在改进的奖励函数中引入先验知识实例的近似难度,得到最终的奖励函数;使用最终的奖励函数替换强化学习网络中的奖励函数,并进行强化网络训练,最后通过分割网络输出最终的分割结果图。本发明采用将外部先验知识引入到奖励函数的设计,使其朝着有益的方向极大地影响了模型学习的过程,图像中每个像素不仅考虑自身的状态,同时会考虑其它相邻像素的状态,并在约束方向上更新策略,分割结果与真实病变相似。
-
公开(公告)号:CN118864864B
公开(公告)日:2024-11-26
申请号:CN202411337970.0
申请日:2024-09-25
Applicant: 吉林大学
IPC: G06V10/26 , G06V10/764 , G06V10/82 , G06N3/0475 , G06N3/045 , G06N3/094
Abstract: 本发明公开了一种多模态医学图像分割系统,属于医学图像分割技术领域。系统包括:图像生成模块以及分割模块;所述图像生成模块用于对非配对图像进行跨模态图像生成,得到生成图像;将得到的所述生成图像通过对比学习,得到配准图像;所述分割模块用于采用分割模型对输入的所述配准图像与源图像进行分割操作,得到分割图像。本发明为了解决传统静态权重分配方法在动态环境中缺乏灵活性,无法在整个训练过程中自适应调整以反映任务重要性变化的问题,提出了一种动态权重控制机制。
-
公开(公告)号:CN118864864A
公开(公告)日:2024-10-29
申请号:CN202411337970.0
申请日:2024-09-25
Applicant: 吉林大学
IPC: G06V10/26 , G06V10/764 , G06V10/82 , G06N3/0475 , G06N3/045 , G06N3/094
Abstract: 本发明公开了一种多模态医学图像分割系统,属于医学图像分割技术领域。系统包括:图像生成模块以及分割模块;所述图像生成模块用于对非配对图像进行跨模态图像生成,得到生成图像;将得到的所述生成图像通过对比学习,得到配准图像;所述分割模块用于采用分割模型对输入的所述配准图像与源图像进行分割操作,得到分割图像。本发明为了解决传统静态权重分配方法在动态环境中缺乏灵活性,无法在整个训练过程中自适应调整以反映任务重要性变化的问题,提出了一种动态权重控制机制。
-
公开(公告)号:CN118196540B
公开(公告)日:2024-08-30
申请号:CN202410599748.1
申请日:2024-05-15
Applicant: 吉林大学
IPC: G06V10/764 , G06N3/045 , G06N3/0464 , G06N3/0895 , G06V10/82
Abstract: 本发明适用于小样本图像分类技术领域,提供了一种层次结构标签驱动的小样本图像分类方法,包括以下步骤:获取带有层次结构的多标签图像,构建卷积神经网络作为对比学习框架的主干网络,按照标签层次结构构建对比学习数据对;将数据对输入搭建好的网络模型中,获得特征向量并以特征向量为基础计算对比损失,同时将特征向量映射至具有负曲率的双曲空间中计算相似性损失;将对比损失和相似性损失结合成网络总损失,通过最小化损失函数来优化网络参数。本发明通过将双曲空间结合层次标签先验知识的方式缓解了数据集内细粒度数据间难分问题,同时本发明也可应用于带有偏斜、少样本、细粒度等问题的相关领域,具有可观的技术和经济价值。
-
-
-
-
-
-
-
-
-