基于深度学习的视网膜眼底图像半自动标注装置

    公开(公告)号:CN114520044A

    公开(公告)日:2022-05-20

    申请号:CN202210141897.4

    申请日:2022-02-16

    Applicant: 复旦大学

    Inventor: 章慧丰 冯瑞

    Abstract: 本发明提供一种基于深度学习的视网膜眼底图像半自动标注装置,由于通过预先训练好的基于深度学习的眼底图像识别模型对待标注的视网膜眼底图像进行自动标注,因此能够大大提高视网膜眼底图像标注的效率,本发明的装置还将自动标注结果传输至用户终端,供用户进行检查确认,并在自动标注结果不理想时进行调整,因此,对于标注不够精确的视网膜眼底图像,用户能够及时发现并进行进一步的处理,从而在提高标注效率的同时保障标注的准确性,进一步,还将经用户修改的标注图像进行暂存,用于对模型进行增量学习,提高自动标注的准确率。如上所述,通过本发明的半自动标注装置,能够提高对视网膜眼底图像的标注效率,并具有很好的泛化性和准确性。

    一种基于多尺度语义网络的视听视频解析装置及方法

    公开(公告)号:CN114519809A

    公开(公告)日:2022-05-20

    申请号:CN202210134629.X

    申请日:2022-02-14

    Applicant: 复旦大学

    Abstract: 本发明提供一种基于多尺度语义网络的视听视频解析方法及装置,用于对目标音视频中所有单模态和多模态事件进行识别和定位,其特征在于,通过对目标音视频进行了预处理得到的视觉特征和音频特征,然后由基于多尺度语义网络构建的视听视频解析模型对视觉特征和音频特征进行识别和定位从而生成目标音视频的所有单模态事件类别、多模态事件类别以及起始时刻。其中,视听视频解析模型包含跨模态时序卷积注意力网络、自适应语义融合模块、分类模块以及基于注意力的多模态多实例学习池化模块,跨模态时序卷积注意力网络用于捕捉多尺度语义,自适应语义融合模块用于多尺度语义的融合,基于注意力的多模态多实例学习模块用于实现弱监督学习。

    基于图网络的文本关系提取方法
    23.
    发明公开

    公开(公告)号:CN114491074A

    公开(公告)日:2022-05-13

    申请号:CN202210106348.3

    申请日:2022-01-28

    Applicant: 复旦大学

    Inventor: 王京 冯瑞

    Abstract: 本发明提供一种基于图网络的文本关系提取方法,将文本内容信息以及文本行的位置信息分别转换为用于搭建图网络的结点特征以及边特征,从而搭建图网络,并使用图网络预测文本行的属性以及文本行之间的边属性,从而实现了对文本行之间的键值对关系信息的提取任务。特别地,本发明的方法利用了视圆可见性规则对所述文本行进行预判,后续只对可能存在边关系的文本行进行计算预测,因此避免了大量冗余计算,实现了快速高效的关系信息的提取。

    一种基于视听觉多模态的视频音源分离方法

    公开(公告)号:CN114446317A

    公开(公告)日:2022-05-06

    申请号:CN202210093434.5

    申请日:2022-01-26

    Applicant: 复旦大学

    Abstract: 本发明公开了一种基于视听觉多模态的视频音源分离方法,具有这样的特征,包括以下步骤:步骤1,对视频的视觉信息和听觉信息进行特征提取,得到视觉标签和听觉特征;步骤2,将视觉标签和听觉特征放入多实例多标签网络,得到听觉特征与视觉标签的关联值;步骤3,将视频和关联值放入音源分离网络中,得到每一个对象的单独声音,其中,步骤2中,多实例多标签网络的训练包括以下步骤:步骤2‑1,构建初始多实例多标签网络;步骤2‑2,将一个视频中所得到的所有音频特征向量作为训练集放入多实例多标签网络中训练,得到每个音频特征向量和所有视觉对象的关联特征图。

    基于深度学习眼底图像左右眼及视野位置分类方法及系统

    公开(公告)号:CN114445666A

    公开(公告)日:2022-05-06

    申请号:CN202210100811.3

    申请日:2022-01-27

    Applicant: 复旦大学

    Inventor: 姜璐璐 冯瑞

    Abstract: 本发明公开了一种基于深度学习眼底图像左右眼及视野位置分类方法,具有这样的特征,包括以下步骤:步骤1,对眼底图像进行预处理获得预处理图像;步骤2,基于预处理图像,搭建卷积神经网络模型,进行黄斑与视盘的检测,得到检测结果;步骤3,通过检测结果获得眼底图像的黄斑与视盘的位置信息,包括黄斑与视盘的相对位置和黄斑与视盘在眼底图像中的位置;步骤4,根据黄斑与视盘的相对位置进行左右眼分类,视盘在黄斑右侧判断为右眼图像,否则为左眼图像;步骤5,根据黄斑与视盘在图像中位置进行视野位置分类,视盘与黄斑连线中心在图像中心位置判断为单视野图像,否则为双视野图像。

    基于EHHT和CI的精神分裂症语音自动检测方法及系统

    公开(公告)号:CN114400025A

    公开(公告)日:2022-04-26

    申请号:CN202210100356.7

    申请日:2022-01-27

    Applicant: 复旦大学

    Inventor: 田维维 冯瑞

    Abstract: 本发明提供一种基于EHHT和CI的精神分裂症语音自动检测方法及系统,通过对精神分裂症语音的临床特点的分析和研究,利用EHHT和CI对现有的共振峰提取算法进行了改进,并利用改进的共振峰提取算法从语音样本中获取反映精神分裂症语音的音质情感变化的声学特征参数集,进而采用SVM分类器来进行分类检测,实现对精神分裂症患者语音和健康对照组语音的自动分类检测,进一步设计实验讨论了白噪声的次数和方差、IMF分量个数、窗长这四个因素对检测效果的影响。结果表明,检测正确率可以达到98.8%,精神分裂症患者在体现音质特征的共振峰语音声学参数上与健康对照组存在显著差异,并有可能为精神分裂症的临床辅助诊断研究提供一个全新的客观、定量和高效指标。

    基于长短时记忆深度神经网络的说话人分段标注方法

    公开(公告)号:CN110910891B

    公开(公告)日:2022-02-22

    申请号:CN201911118136.1

    申请日:2019-11-15

    Applicant: 复旦大学

    Abstract: 本发明提供一种基于长短时记忆神经网络的说话人分段标注方法及装置,其特征在于,采用基于长短时记忆深度神经网络的说话人识别样本标注模型从待测音频中检测出每个说话人语音出现和持续的时间,包括:步骤S1,对待测音频进行预处理获得音频帧级特征f1和音频帧级特征f2;步骤S2,搭建基于长短时记忆深度神经网络的说话人识别样本标注模型,该说话人样本标注模型包括说话人转换检测子模型以及说话人特征建模子模型;步骤S3,分别训练说话人转换检测子模型以及说话人特征建模子模型;步骤S4,将音频帧级特征f1以及音频帧级特征f2输入基于长短时记忆深度神经网络的说话人识别样本标注模型从而完成待测音频中各个说话人的说话时间段的分类记录。

    基于深度学习的MRI影像合成CT影像的方法

    公开(公告)号:CN113205567A

    公开(公告)日:2021-08-03

    申请号:CN202110446744.6

    申请日:2021-04-25

    Inventor: 韩舒凉 冯瑞

    Abstract: 本发明提供一种基于深度学习的MRI影像合成CT影像的方法,用于在已有MRI影像的基础上,通过深度学习中的全卷积神经网络与对抗式生成网络,以监督学习训练的方式跨模态生成相应的伪CT影像,具体包括如下步骤:步骤S1,选取原始MRI影像作和原始CT影像分别作为浮动影像以及和参考影像,而后进行N4偏置校正和标准化获得预处理后的MRI及CT影像;步骤S2,采用预处理MRI影像和预处理CT影像训练用于MRI影像合成CT影像的对抗式生成网络模型;步骤S3,将预处理MRI影像输入MRI影像合成CT影像的对抗式生成网络模型,从而将预处理MRI影像转换为合成CT影像。

    基于循环生成对抗网络CycleGAN模型的跨模态MR影像互生成方法

    公开(公告)号:CN113205472A

    公开(公告)日:2021-08-03

    申请号:CN202110431489.8

    申请日:2021-04-21

    Inventor: 王润涵 冯瑞

    Abstract: 本发明属于计算机视觉领域,提供了一种基于循环生成对抗网络CycleGAN模型的跨模态MR影像互生成方法,使用了CycleGAN模型模型,可以生成对目标模态真实影像具有良好近似度的合成影像,而采用了循环的网络结构可以将模型的训练集由两两配对的源模态与目标模态影像的限制弱化为不需要配对的影像,这使得模型的训练难度降低,使用场景更广。同时,本发明能够通过跨模态MR影像互生成模型获得较为真实的不同模态MR影像,相较于简单的数据增强方法,合成影像具有更好的保真度并保留了更多的生物组织结构信息的优势,能够作为MR影像的分割、分类等下游任务的模型的训练数据,起到了扩充训练集和数据增强的作用,能够有效缓解MR影像获取难度大和数据稀缺的问题。

Patent Agency Ranking