多模态数据驱动的孤独症检测系统、设备及存储介质

    公开(公告)号:CN114974571B

    公开(公告)日:2023-03-24

    申请号:CN202210623471.2

    申请日:2022-06-02

    Abstract: 本发明公开了一种多模态数据驱动的孤独症检测系统、设备及存储介质,属于人工智能辅助医疗领域。该方法首先收集输入的多模态数据,主要包含问卷回答、脑部磁共振成像和日常生活视频;然后将得到的多模态数据分别通过文本特征提取模块、图像特征提取模块和视频特征提取模块进行特征抽取,初步得到表征孤独症相关的多模态特征;最后通过基于注意力机制的特征融合网络,进一步处理多模态特征,得到孤独症相关信息的综合特征,将其输入分类器来预测儿童患有孤独症的概率。本发明输入多模态特征,并利用注意力机制更好地融合各模态之间的信息,更准确地预测儿童是否患有孤独症。

    多模态数据驱动的孤独症检测系统、设备及存储介质

    公开(公告)号:CN114974571A

    公开(公告)日:2022-08-30

    申请号:CN202210623471.2

    申请日:2022-06-02

    Abstract: 本发明公开了一种多模态数据驱动的孤独症检测系统、设备及存储介质,属于人工智能辅助医疗领域。该方法首先收集输入的多模态数据,主要包含问卷回答、脑补磁共振成像和日常生活视频;然后将得到的多模态数据分别通过文本特征提取模块、图像特征提取模块和视频特征提取模块进行特征抽取,初步得到表征孤独症相关的多模态特征;最后通过基于注意力机制的特征融合网络,进一步处理多模态特征,得到孤独症相关信息的综合特征,将其输入分类器来预测儿童患有孤独症的概率。本发明输入多模态特征,并利用注意力机制更好地融合各模态之间的信息,更准确地预测儿童是否患有孤独症。

Patent Agency Ranking