公开(公告)号：CN115187530A

公开(公告)日：2022-10-14

申请号：CN202210726680.X

申请日：2022-06-24

Applicant: 华中科技大学协和深圳医院

Inventor： 姜伟 ,  邓晓妃 ,  朱婷 ,  杨意 ,  柳懿垚 ,  雷柏英

IPC: G06T7/00 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04

Abstract: 本发明公开了一种超声自动乳腺全容积图像的识别方法、装置、终端及介质，构建了用于提取局部信息的CNN网络分支和用于提取全局信息的Transformer网络分支，然后将同一超声自动乳腺全容积图像分别输入至两个网络分支，层级提取对应的特征图，并将两个分支提取的特征图结合上一层级输出的融合后特征图，通过空间和通道混合注意力机制进行融合，使得CNN网络分支的局部信息层级引导Transformer网络分支的全局信息，增强Transformer网络分支的特征提取能力。与现有技术相比，能够准确识别超声自动乳腺全容积图像中各种大小和形态的感兴趣区域。

公开(公告)号：CN114332040B

公开(公告)日：2025-02-28

申请号：CN202111660372.3

申请日：2021-12-30

Applicant: 华中科技大学协和深圳医院

Inventor： 姜伟 ,  邓晓妃 ,  朱婷 ,  汪天富 ,  雷柏英 ,  向卓 ,  柳懿垚 ,  赵程

IPC: G06T7/00 ,  G06V10/44 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于多模态的甲状腺病理图像分类方法及终端设备，其中，方法包括步骤：采用三个ResNet18网络分别对三个模态的甲状腺病理图像进行信息特征提取，得到三模态信息特征，所述三个模态的甲状腺病理图像包括甲状腺超声图像、甲状腺弹性图像和甲状腺血流图像；采用多模态多头注意力模块提取三个模态的甲状腺病理图像的共有信息特征；将三模态信息特征和共有信息特征进行融合后，并利用残差网络进行甲状腺病理图像分类，输出分类结果。本发明在合作研究单位提供的多模态甲状腺超声数据集上验证了设计的多模态的甲状腺病理图像分类方法，结果证明了此方法可以准确地对甲状腺病理图像进行分类，为超声科医生对诊断甲状腺癌提供快速、准确的辅助。

公开(公告)号：CN114332040A

公开(公告)日：2022-04-12

申请号：CN202111660372.3

申请日：2021-12-30

Applicant: 华中科技大学协和深圳医院

Inventor： 姜伟 ,  邓晓妃 ,  朱婷 ,  汪天富 ,  雷柏英 ,  向卓 ,  柳懿垚 ,  赵程

IPC: G06T7/00 ,  G06V10/44 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于多模态的甲状腺病理图像分类方法及终端设备，其中，方法包括步骤：采用三个ResNet18网络分别对三个模态的甲状腺病理图像进行信息特征提取，得到三模态信息特征，所述三个模态的甲状腺病理图像包括甲状腺超声图像、甲状腺弹性图像和甲状腺血流图像；采用多模态多头注意力模块提取三个模态的甲状腺病理图像的共有信息特征；将三模态信息特征和共有信息特征进行融合后，并利用残差网络进行甲状腺病理图像分类，输出分类结果。本发明在合作研究单位提供的多模态甲状腺超声数据集上验证了设计的多模态的甲状腺病理图像分类方法，结果证明了此方法可以准确地对甲状腺病理图像进行分类，为超声科医生对诊断甲状腺癌提供快速、准确的辅助。