一种基于认知双通道的认知推理的视觉问答方法

    公开(公告)号:CN114969459A

    公开(公告)日:2022-08-30

    申请号:CN202210343042.X

    申请日:2022-04-02

    Applicant: 复旦大学

    Abstract: 本发明涉及是计算机多模态信息处理领域和认知科学领域,主要涉及一种基于认知双通道的认知推理的视觉问答方法。主要包括以下步骤:步骤1,构建认知内容,提取问题关键字,图像目标区域的标签内容,作为检索大型知识库的索引,通过检索内容构建任务知识库;步骤2,先验认知计算,通过多模态预训练模型,训练视觉文本内容表征;步骤3,构建任务的推理时空特性,通过对问句进行句法分析、词性分析,构建了问题关键字词之间的拓扑图,运用步骤2中的视觉表征内容计算图像内部区域的关联度,构建图像内容空间图结构;步骤4,锁定与问答内容相关的图像内容,根据步骤2中的联合表征的视觉向量、文本向量,计算每个文本向量关注的图像内容,构建问答关联图像内容;步骤5,层次认知的推理,联合步骤1中构建的知识内容与步骤2的先验计算,对问答内容重新编码,根据重编码的表示内容与步骤3分析的时空特性相结合,构建问答指令集合,通过问答指令进行问答推理,获取视觉问答的结果。本发明提高了开放域视觉问答模型的准确率,在推理过程中根据外部知识内容不断修正对问答内容的认知理解,使得视觉问答过程具有鲁棒性和可解释性。

    一种基于信息补全的全卷积细化网络腺体图像分割方法

    公开(公告)号:CN114862747A

    公开(公告)日:2022-08-05

    申请号:CN202110156609.8

    申请日:2021-02-04

    Applicant: 复旦大学

    Abstract: 本发明提供了一种基于信息补全的全卷积细化网络腺体图像分割方法,用于对腺体图像进行分割处理得到腺体分割结果,其特征在于,其特征在于,包括如下步骤:先通过空间信息补充模块依次对相邻的两个特征进行空间信息补充处理得到多个第一信息补全特征;然后,语义信息引导模块依次对相邻的两个特征进行语义信息补充处理得到多个第二信息补全特征;接着,将第一信息补全特征以及第二信息补全特征输入解码器得到初始分割结果。通过本发明的一种基于信息补全的全卷积细化网络腺体图像分割方法,可以补全图像因为需要下采样至低分辨率而损失的信息,从而提高分割边界的准确性,并得到准确的高分辨率分割结果。

    融合注意力机制和片段排列的实体关系联合抽取方法

    公开(公告)号:CN114757192A

    公开(公告)日:2022-07-15

    申请号:CN202210341776.4

    申请日:2022-04-02

    Applicant: 复旦大学

    Abstract: 本发明属于计算机自然语言处理技术领域,具体为一种融合注意力机制和片段排列的实体关系联合抽取方法。该方法的步骤包括:输入文本,将输入的文本转化为词向量;基于片段排列的方式枚举所有可能的候选片段;将所有的候选片段输入到注意力机制的神经网络模型,根据注意力得分进行剪枝,来减少实体负样本的数量;进行命名实体识别和关系抽取。本发明基于片段排列的方式,能够枚举所有可能的片段,选择的每一个片段都是独立的,可以直接提取片段级别的特征去解决重叠实体问题。同时,针对实体负样本数量过多的问题,本发明加入了注意力机制,根据注意力的得分,可以有效地删除部分负样本以提高实体关系联合抽取的性能。

    一种基于优化热度图监督机制的服饰关键点检测方法

    公开(公告)号:CN114529795A

    公开(公告)日:2022-05-24

    申请号:CN202011218825.2

    申请日:2020-11-04

    Applicant: 复旦大学

    Abstract: 根据本实施例提供的一种基于优化热度图监督机制的服饰关键点检测方法,将服饰关键点检测训练集通过多重分辨率热度图计算得到三种尺度的预测热度图,由于所采用的骨干网络为HRNet因此能够在信息传输过程中保持高分辨率,然后通过在逐渐聚焦热图监督机制中添加标准偏差逐渐降低的高斯核的方法能够在增大空间分辨率的同时带来冗余的空间信息,最后通过计算水平损失函数、均方误差,并通过所述以反向传播的方式对服饰关键点检测网络进行训练从而得到服饰关键点检测网络。通过水平损失函数对服饰关键点检测网络进行训练能够在不过多损害计算性能的前提下,训练出了更佳的检测模型,提升了服饰关键点检测的精度。

    基于深度学习的脊柱退行性病变智能康复辅助训练系统

    公开(公告)号:CN114092854A

    公开(公告)日:2022-02-25

    申请号:CN202111295019.X

    申请日:2021-11-03

    Applicant: 复旦大学

    Abstract: 本发明公开了一种基于深度学习的脊柱退行性病变智能康复辅助训练系统。本发明系统包括基于深度学习的中医导引术视频实时分类模块和基于人体骨架表示的视频序列划分与评估模块;前者通过获取二维人体骨架数据,作为学习模型的训练数据,进行深度学习训练,得到泛化的深度学习模型;最后得到实时帧分类结果;后者根据帧分类结果,对相同类别的骨架序列进行分割与实时纠错,将分割好的序列段与相应类别专家组视频骨架序列段进行序列对比评分。本发明系统无需医护人员的指导和干预,能够使患者随时自行进行中医导引术训练,适用于家庭及基层医疗卫生机构,能够减轻医护人员的压力,提高患者康复训练的灵活性和准确性。

    一种基于高斯混合模型的唇部分割方法

    公开(公告)号:CN113592880A

    公开(公告)日:2021-11-02

    申请号:CN202110870992.3

    申请日:2021-07-30

    Applicant: 复旦大学

    Inventor: 阎韶琦 张文强

    Abstract: 本发明提供了一种基于高斯混合模型的唇部分割方法,包括以下步骤:步骤1,对输入图像进行人脸检测,获取人脸上半部分区域,将该区域的像素颜色作为训练数据建立肤色高斯混合模型并计算下半脸中每个像素的肤色概率值,得到人脸下部肤色概率图;步骤2,根据嘴唇的先验知识,在人脸下部肤色概率图中迭代检测得到唇部区域;步骤3,将唇部区域和非唇部区域的像素作为训练数据建立唇部区域和非唇部区域的高斯混合模型并计算唇部区域中各像素的概率值,得到背景概率图;步骤4,对背景概率图进行OSTU二值化处理并通过区域生长法和中值滤波进行优化,最后通过k‑points方法处理得到最佳唇部区域;步骤5,根据最佳唇部区域在输入图像中对应提取嘴唇轮廓图像。

    一种基于搜索空间优化的前馈神经网络结构搜索方法

    公开(公告)号:CN111275172A

    公开(公告)日:2020-06-12

    申请号:CN202010068826.7

    申请日:2020-01-21

    Applicant: 复旦大学

    Inventor: 张文强

    Abstract: 本发明涉及一种基于搜索空间优化的前馈神经网络结构搜索方法,包括以下步骤:S1:按照搜索空间的定义随机生成设定数量的搜索空间并转化为离散编码,构建搜索空间初始种群;S2:利用超网络对初始种群中的所有搜索空间进行性能评估;S3:根据性能评估结果对搜索空间进行优化,输出最优搜索空间;S4:对应搜索算法在最优搜索空间中,搜索设定模型评估算法下最优的前馈神经网络结构,并利用该神经网络结构完成需求数据集下的需求任务,与现有技术相比,本发明具有提高神经网络结构搜索的效率和性能等优点。

    工业结构化场景中医用胶囊缺陷自动检测的系统

    公开(公告)号:CN102879404B

    公开(公告)日:2015-06-17

    申请号:CN201210374140.6

    申请日:2012-10-07

    Applicant: 复旦大学

    Abstract: 本发明属于视频分析技术领域,具体为一种工业结构化场景中医用胶囊缺陷自动检测的系统。该系统包括:三个分别安装在胶囊传送滚轴两侧和正上方的摄像头,两个安装在胶囊传送滚轴两侧的LED光源,一台计算机;所述计算机上安装有处理软件系统,该处理软件系统包括软件界面启动模块、样本训练模块、图像分析模块以及通讯模块;系统工作时图像分析模块对胶囊图像进行检测,并通过通讯模块将检测结果传输给硬件,使其能剔除不合格胶囊;本发明综合不同图像处理方法性能差异,形成一套能够同时满足时间和准确率要求的算法,可在有限的计算资源下,保证较高的准确率,并实时的进行分析,以满足工业生产中的实际需要。

    工业结构化场景中机器视觉精确定位机械零件的系统

    公开(公告)号:CN102706274A

    公开(公告)日:2012-10-03

    申请号:CN201210122716.X

    申请日:2012-04-25

    Applicant: 复旦大学

    Abstract: 本发明属于视频分析技术领域,具体为一种工业结构化场景中机器视觉精确定位机械零件的系统。该系统包括:一个安装在零件放置平台正上方的摄像头,一个LED光源,一台计算机;所述计算机上安装有处理软件系统,该处理软件系统包括软件界面启动模块、摄像机标定与校正模块、样本训练模块,还包括图像分析模块、通过通讯模块;系统工作时图像分析模块对零件进行精确实时的检测和定位,并通过通讯模块将处理结果传输给执行器;本发明综合不同图像特征提取方法性能差异,形成一套级联分析算法,可在有限的计算资源下,降低误检率,保证目标物准确识别和定位,并实时的进行分析,以满足工业生产中的实际需要。

    开放智能计算构架的家用多功能小型服务机器人

    公开(公告)号:CN101084817B

    公开(公告)日:2012-08-22

    申请号:CN200710040031.X

    申请日:2007-04-26

    Applicant: 复旦大学

    Abstract: 本发明属于机器人技术领域,具体涉及一种小型的具有高度智能的家用服务型机器人。机器人整体由移动/执行/感知硬件模组和智能运算软件模组组成,硬件模组和软件模组通过视觉信息和其他传感器信息构成闭环控制,具有拟人的控制特性,能够模仿人的完成任务的能力,小巧的体型和功耗能够保证机器人在复杂的家庭环境中进行服务。本发明将复杂的智能计算软件功能和家用服务机器人的小型移动/执行/感知平台在物理上分离,使机器人具备机器视觉、听觉、高度智能规划和功能扩展的能力,能够完成高度智能化的地面清洁工作,能够根据主人的口语命令控制家里的各种家电,能够根据口语指示为主人运送果盘、茶水、拖鞋、垃圾桶等小型家用器具。

Patent Agency Ranking