公开(公告)号：CN119205731B

公开(公告)日：2025-03-04

申请号：CN202411680257.6

申请日：2024-11-22

Applicant: 江西财经大学

Inventor： 戴利云 ,  许劲松 ,  付帅奇 ,  孙建成

IPC: G06T7/00 ,  G06V10/82 ,  G06V10/77 ,  G06F18/213 ,  G06F18/25 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/0985 ,  A61B5/055 ,  A61B5/00 ,  G06N3/048

Abstract: 本发明涉及计算机视觉与认知神经科学领域，特别是涉及一种自然图像的人脑认知文本描述生成方法及系统，本发明通过预先构建将fMRI信号与经CLIP针对各种复杂场景获取的图像特征向量和文本特征向量形成映射的fMRI‑Image映射模型，并将获取到的人脑基于刺激图像产生的fMRI信号，并对获取到的fMRI信号进行预处理，以得到处理后的fMRI信号，将预处理后的fMRI信号输入到构建fMRI‑Image映射模型中，以得到图像特征向量和文本特征向量，将fMRI‑Image映射模型输出的图像特征向量和文本特征向量输入到预训练的语言映射模型，以生成图像文本描述，从而能够从复杂的自然场景中提取视觉语义特征，有助于准确生成对自然图像的文本描述。

公开(公告)号：CN119006934A

公开(公告)日：2024-11-22

申请号：CN202411479538.5

申请日：2024-10-23

Applicant: 江西财经大学

Inventor： 孙建成 ,  孟德麒 ,  戴利云 ,  付帅奇

IPC: G06V10/764 ,  G06V10/82 ,  G06V10/44 ,  G06N3/042 ,  G06N3/08 ,  G06T7/00 ,  G06N5/045

Abstract: 本发明提出一种可解释的人脑视觉语义认知分类方法，该方法包括：将数据输入图神经网络模型，基于分组完毕的数据进行方差分析F检验并得到P值；基于P值对数据进行特征选择；基于特征选择出的样本，生成距离矩阵，利用距离矩阵，通过高斯核函数生成邻接矩阵；利用邻接矩阵对特征选择出的样本进行处理；基于处理后的样本对模型进行训练，得到训练完毕的模型；将数据输入训练完毕的模型得到分类结果，并利用训练完毕的模型的图神经网络解释器、度分布和节点中心性对分类结果进行分析和度量，得到分析结果。本发明本发明利用图网络的可解释性，通过指标量化和可视化的方式对人脑视觉语义的分类方法和视觉认知机制进行解释和分析。

公开(公告)号：CN119205731A

公开(公告)日：2024-12-27

申请号：CN202411680257.6

申请日：2024-11-22

Applicant: 江西财经大学

Inventor： 戴利云 ,  许劲松 ,  付帅奇 ,  孙建成

IPC: G06T7/00 ,  G06V10/82 ,  G06V10/77 ,  G06F18/213 ,  G06F18/25 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/0985 ,  A61B5/055 ,  A61B5/00 ,  G06N3/048

Abstract: 本发明涉及计算机视觉与认知神经科学领域，特别是涉及一种自然图像的人脑认知文本描述生成方法及系统，本发明通过预先构建将fMRI信号与经CLIP针对各种复杂场景获取的图像特征向量和文本特征向量形成映射的fMRI‑Image映射模型，并将获取到的人脑基于刺激图像产生的fMRI信号，并对获取到的fMRI信号进行预处理，以得到处理后的fMRI信号，将预处理后的fMRI信号输入到构建fMRI‑Image映射模型中，以得到图像特征向量和文本特征向量，将fMRI‑Image映射模型输出的图像特征向量和文本特征向量输入到预训练的语言映射模型，以生成图像文本描述，从而能够从复杂的自然场景中提取视觉语义特征，有助于准确生成对自然图像的文本描述。