-
公开(公告)号:CN119941509A
公开(公告)日:2025-05-06
申请号:CN202510014159.7
申请日:2025-01-06
Applicant: 中国矿业大学
IPC: G06T3/4053 , G06T5/70 , G06V10/774
Abstract: 本发明公开了一种生成式图像先验的场景文字图像超分辨方法,该方法包含两个阶段;第一个阶段,构建一个基于多模态的扩散模型,使用GPT模型从低分辨率文字图像中获得特定的文本信息,生成高分辨率图像先验;第二个阶段,构建一个ITPGDM模型,通过高分辨率图像先验和文字识别先验重构高分辨率文字图像,ITPGDM模型包括PSAB模块和CFAB模块,PSAB模块用于将不同先验信息对齐,CFAB模块用于细化字符级特征;所述ITPGDM模型表示基于图像和文本先验引导的场景文本图片超分辨扩散模型,PSAB模块表示先验语义对齐模块,CFAB模块表示字符关注模块。本发明方法充分利用了扩散模型和GPT模型的强大优势,并使用多先验语义对齐模块和字符关注模块增强场景文字图像超分辨的能力。
-
公开(公告)号:CN119723588A
公开(公告)日:2025-03-28
申请号:CN202411752516.1
申请日:2024-12-02
Applicant: 徐州高新区安全应急装备产业技术研究院 , 中国矿业大学
IPC: G06V30/148 , G06V30/19 , G06N3/0455 , G06N3/08
Abstract: 本发明公开了一种基于图像语义分割引导的多样化图像描述生成方法,提出了一种基于图像语义分割引导和条件变分Transformer的多样化图像描述方法。它融入了图像语义分割特征来提供目标语义指导,并有效地对目标检测特征进行了视觉解耦,识别更准确的视觉特征。此外,引入条件变分Transformer通过优化ELBO目标函数来学习图像与文本间的一对多映射关系,实现多样化的图像描述生成。大量实验结果证明,本章的方法在准确性与多样性指标上都明显优于目前主流的多样化图像描述模型。
-
公开(公告)号:CN118736575A
公开(公告)日:2024-10-01
申请号:CN202410807697.7
申请日:2024-06-21
Applicant: 中国矿业大学
IPC: G06V20/70 , G06V10/80 , G06V10/82 , G06V10/44 , G06N3/0455 , G06N3/045 , G06N3/0499 , G06N3/0464 , G06N3/084
Abstract: 本发明提出一种基于增强注意力机制的端到端图像描述生成方法,属于人工智能技术领域。生成图像描述生成模型,包括图像特征抽取层、多粒度特征融合编码器、自适应双向解图码器、线性变换层和打分排序层;对图像描述生成模型使用交叉熵损失进行训练,然后采用自我批评训练优化CIDEr评分优化,并利用完成训练的图像描述生成模型描述图像。其评价指标上超越了现有技术,本发明的图像描述方法不仅提高了图像语义理解能力,而且更贴近人类描述习惯,具有良好的可解释性。
-
公开(公告)号:CN114298911B
公开(公告)日:2024-09-20
申请号:CN202111672918.7
申请日:2021-12-31
Applicant: 中国矿业大学
IPC: G06T3/4046 , G06T3/4076
Abstract: 本发明提供一种多尺度残差注意机制网络的单图像超分辨率重建方法,包括:构建多尺度残差注意机制网络,包括依次连接的由卷积层构建的浅特征提取部分,由N个深度连接多尺度残差注意组、远程跳跃连接和全局感知外部注意机制组成的深特征提取部分,放大模块部分,以及由卷积层构建的重构部分;将待重建的低分辨率图像ILR,通过浅特征提取部分提取其浅层特征F0,输入深特征提取模块获取深度特征FDF;通过放大模块部分将深度特征FDF进行放大;通过重构部分,将放大的特征FUP转换为超分辨率图像ISR。本发明构建了一个深度连接的多尺度残差注意网络,实现精确的SISR。
-
公开(公告)号:CN118658093A
公开(公告)日:2024-09-17
申请号:CN202410759579.3
申请日:2024-06-13
Applicant: 中国矿业大学
IPC: G06V20/40 , G06N3/0442 , G06N3/045 , G06V10/82 , G06V10/25 , G06N3/0464 , G06V10/80 , G06N3/048 , G06V10/74
Abstract: 本发明公开了一种基于双重稀疏长短期Transformer的视频阴影检测方法,先将第一帧图像输入微调SAM模型生成参考帧伪掩码,并用于初始化长短期记忆库,然后将当前帧图像输入编码器提取查询特征,同时从长短期记忆库读取长短期记忆特征,然后引入阴影分区机制获取仅关注阴影分区的注意力值,将查询特征、长短记忆特征和仅关注阴影分区的注意力值一起输入到双重稀疏长短期Transformer模块,同时学习全局视觉信息和局部阴影信息,最后利用解码器生成当前帧图像的预测掩码,并将查询特征和预测掩码组成新的记忆特征,直接存储进短期记忆库,通过长期记忆库更新模块存储进长期记忆库。本发明方法充分利用了Transformer的强大优势,结合阴影区域上下文和时间一致性来增强阴影外观学习的能力。
-
公开(公告)号:CN111126282B
公开(公告)日:2023-05-12
申请号:CN201911352556.6
申请日:2019-12-25
Applicant: 中国矿业大学
IPC: G06V20/10 , G06V10/80 , G06V10/776 , G06V10/764
Abstract: 本发明公开了一种基于变分自注意力强化学习的遥感图像内容描述方法,属于计算机视觉和自然语言处理的交叉领域;包括:使用遥感图像分类数据集,预训练融合变分自编码器的卷积神经网络;使用预训练的卷积神经网络提取遥感图像的空间特征和语义特征;使用自注意力使空间特征融合上下文信息;使用遥感图像内容描述数据集,使用Transformer解码空间特征和语义特征,融合特征,输出遥感图像内容的文本描述;使用强化学习提升文本描述质量。本发明利用遥感图像分类数据集,融合变分自编码器进行卷积神经网络预训练,使用自注意力机制,特征融合,强化学习,优化了遥感图像内容描述文本的质量。
-
公开(公告)号:CN111062423B
公开(公告)日:2022-04-26
申请号:CN201911201999.5
申请日:2019-11-29
Applicant: 中国矿业大学
Abstract: 本发明公开了一种基于自适应特征融合的点云图神经网络的点云分类方法,使用残差结构缓解梯度消失;使用全局特征与局部特征相融合,提升网络性能;使用权重自适应机制指导特征融合;本发明利用图神经网络关注局部特征,点云网络提取全局特征的同时加入残差块,将提取的全局特征与局部特征融合,在特征融合的时候对于不同的特征加入了权重自适应机制,从而优化模型性能。
-
公开(公告)号:CN107203511B
公开(公告)日:2020-07-17
申请号:CN201710390409.2
申请日:2017-05-27
Applicant: 中国矿业大学
IPC: G06F40/295 , G06F40/289 , G06N3/08
Abstract: 本发明公开了一种基于神经网络概率消歧的网络文本命名实体识别方法,将无标签语料分词,利用Word2Vec提取词向量,将样本语料转换成词特征矩阵并窗口化,构建深度神经网络进行训练,在神经网络的输出层加入softmax函数做归一化处理,得到每个词对应命名实体类别的概率矩阵;将概率矩阵重新窗口化,利用条件随机场模型进行消歧,得到最后的命名实体标注。本发明根据其存在网络词汇、新生词汇的特性,提供了一种不改变神经网络结构的词向量增量学习方法,为应对网络文本中语法结构不规范、错别字多的问题,采用了概率消歧的方法。因此本发明的方法在网络文本命名实体识别任务中可产生较高的准确率。
-
公开(公告)号:CN111127493A
公开(公告)日:2020-05-08
申请号:CN201911098961.X
申请日:2019-11-12
Applicant: 中国矿业大学
Abstract: 本发明公开了一种基于注意力多尺度特征融合的遥感图像语义分割方法,通过搭建基于注意力多尺度特征融合的语义分割网络,构建训练数据集,采用所述训练数据集进行网络参数训练。在测试时使用训练好的网络对待测数据进行语义分割。所述网络是一种轻量级的编码器-解码器结构。其中引入了图像级联网络的思想,同时利用注意力机制优化编码特征与解码特征,构造出多尺度注意力优化模块、多尺度特征融合模块、边界增强模块,提取和融合不同尺度的特征图,并使用多尺度的语义标签和边界标签指导训练,能够有效进行遥感图像的语义分割。
-
公开(公告)号:CN109063649A
公开(公告)日:2018-12-21
申请号:CN201810876899.1
申请日:2018-08-03
Applicant: 中国矿业大学
CPC classification number: G06K9/00362 , G06N3/0454
Abstract: 本发明公开了一种基于孪生行人对齐残差网络的行人重识别方法,包括以下步骤:S1、构建基础分支孪生残差网络;S2、构建行人对齐分支孪生残差网络;S3、利用已构造好的训练数据集对构建好的基础分支孪生网络和行人对齐分支孪生残差网络进行参数训练,将训练好的基础分支孪生残差网络中基础分支原型和行人对齐分支孪生残差网络中行人对齐分支原型取出进行行人重识别的分类模型。本发明提升了原有算法行人重识别的准确度。
-
-
-
-
-
-
-
-
-