-
公开(公告)号:CN113609923B
公开(公告)日:2022-05-13
申请号:CN202110800098.9
申请日:2021-07-13
Applicant: 中国矿业大学
IPC: G06V40/20 , G06V10/764 , G06V10/80 , G06V10/82 , G06N3/04
Abstract: 本发明公开了一种基于注意力的连续手语语句识别方法,首先,分别提取彩色视频和光流视频模态的关键帧手语视频的关键帧序列的时空特征,将提取到的时空特征输入构建的基于注意力的连续手语语句识别模型,该模型本质上是一个序列到序列模型:通过基于注意力的双模态编码网络得到两个模态的融合特征序列,并输入基于连接时序分类的解码网络,得到最终的语义序列。本发明通过利用序列到序列模型将手语序列转换到另一个语言序列,解决输出长度不确定的问题,改善输入与输出序列的不规则对齐问题。同时,在完成具有冗余信息的复杂任务时,使用注意力模型将注意力聚焦于视频特征的重要区域,对连续手语语句识别效果有显著的提升。
-
公开(公告)号:CN112214746A
公开(公告)日:2021-01-12
申请号:CN202010962618.1
申请日:2020-09-14
Applicant: 中国矿业大学
Abstract: 本发明公开了一种基于多模态静脉图像性别信息异构分离的身份识别方法,依赖于双层无监督稀疏特征学习模型和改进的最大类间方差二进制特征编码模型。本发明涉及计算机视觉领域,包括自行构建静脉图像库,无监督稀疏特征学习对人体手背静脉图像进行性别信息异构分离,在性别属性判断的基础上进行特征提取,分别计算图像二进制特征编码值和编码权值,再进行特征向量相似度判断,身份识别等步骤。本发明公开的基于多模态静脉图像性别信息异构分离的身份认证方法,通过对静脉图像进行性别信息分离,用性别标签引导不同特征提取策略来进行身份认证,提高了身份识别的准确性,能很好地满足准确性要求较高的各类身份识别应用需求。
-
公开(公告)号:CN115439892B
公开(公告)日:2025-02-11
申请号:CN202211084284.8
申请日:2022-09-06
Applicant: 中国矿业大学
IPC: G06V40/12 , G06V10/774 , G06V10/74 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/048 , G06N3/084 , G06F21/32
Abstract: 本发明公开了一种基于掌纹掌静脉多模态融合的身份识别方法,涉及生物识别技术领域。具体包括以下步骤:对数据库中的手掌图像设置好配对标签,属于同一个人的手掌图像标签设置为1,不同则标签设置为0;构建初始掌纹和掌纹的单模态识别网络并训练;构建初始掌纹和掌静脉的跨模态识别网络并训练;通过训练好的掌纹和掌纹的单模态识别网络、训练好的掌纹和掌静脉的跨模态识别网络构建初始整体识别网络并训练。本发明创新性的提出了掌纹和掌纹的单模态识别与掌纹和掌静脉的跨模态识别相结合的混合式身份识别方法,这种方法能提升很大的准确度,使匹配更接近理想。
-
公开(公告)号:CN118522078A
公开(公告)日:2024-08-20
申请号:CN202410716515.5
申请日:2024-06-04
Applicant: 中国矿业大学
IPC: G06V40/70 , G06V40/14 , G06V40/12 , G06V10/774 , G06V10/82 , G06V10/80 , G06N3/045 , G06N3/0464 , G06N3/0475 , G06N3/094 , G06N3/09 , G06N3/084
Abstract: 本发明公开了一种基于跨模态生成的缺失模态下掌纹掌静脉融合识别方法,针对像素空间缺失模态生成困难和多模态融合信息冗余的问题,本发明提出了两个创新点:(1)提出半监督的跨模态生成方法,逐步实现跨模态图像之间的纹理风格迁移和纹路结构生成,完成任意缺失模态图像生成。(2)提出自适应稀疏模态融合模型,减少多模态融合特征的冗余信息,增强模型对模态特征质量动态变化的鲁棒性。在测试集中任意模态图像缺失的情况下,通过由掌静脉图像生成掌纹图像的生成器Gvp和由掌静脉图像生成掌纹图像的生成器Gpv与自适应稀疏模态融合模型的联合作用,形成掌静脉和掌纹双模态手部生物特征在任意模态缺失下的鲁棒识别方法。
-
公开(公告)号:CN117523685A
公开(公告)日:2024-02-06
申请号:CN202311521995.1
申请日:2023-11-15
Applicant: 中国矿业大学
IPC: G06V40/70 , G06V40/12 , G06V10/80 , G06N3/045 , G06N3/0464 , G06V10/774 , G06N3/09 , G06N3/088
Abstract: 本发明公开了一种基于非对称对比融合的双模态生物特征识别方法,涉及生物识别技术领域。本发明创新性地提出了基于非对称对比融合的双模态生物特征识别模型,在掌纹掌静脉融合网络的基础上,设计了一种新的非对称对比学习策略,在单模态的输入级和多模态融合的输出级进行互信息最大化和语义一致性信息的对比学习,该模型结合有监督和无监督的表征学习方法,可以更为灵活和充分地利用数据,减少模型训练对数据标注的依赖,减少任务相关信息的丢失,使模型学习鲁棒性的多模态特征表示,提高身份信息的识别精度。
-
公开(公告)号:CN115439892A
公开(公告)日:2022-12-06
申请号:CN202211084284.8
申请日:2022-09-06
Applicant: 中国矿业大学
Abstract: 本发明公开了一种基于掌纹掌静脉多模态融合的身份识别方法,涉及生物识别技术领域。具体包括以下步骤:对数据库中的手掌图像设置好配对标签,属于同一个人的手掌图像标签设置为1,不同则标签设置为0;构建初始掌纹和掌纹的单模态识别网络并训练;构建初始掌纹和掌静脉的跨模态识别网络并训练;通过训练好的掌纹和掌纹的单模态识别网络、训练好的掌纹和掌静脉的跨模态识别网络构建初始整体识别网络并训练。本发明创新性的提出了掌纹和掌纹的单模态识别与掌纹和掌静脉的跨模态识别相结合的混合式身份识别方法,这种方法能提升很大的准确度,使匹配更接近理想。
-
公开(公告)号:CN114677306B
公开(公告)日:2022-11-15
申请号:CN202210319123.6
申请日:2022-03-29
Applicant: 中国矿业大学
Abstract: 本发明公开了一种基于边缘信息引导的上下文聚合图像去雨方法,旨在解决现阶段去雨方法忽略图像本身的纹理信息以及边缘信息的问题,其新颖之处在于设计了一个多尺度信息网络,其中包括了用于获取粗调图像去雨信息的上分支图像去雨网络和用于获取图像边缘信息的下分支边缘信息检测网络,且包括了上下文聚合模块,此模块用于聚合处理上下文信息,并利用聚合处理后的信息对粗调图像去雨信息进行引导,增强上分支图像去雨网络对图像细节信息的表征能力。实验结果表明该方法在完成图像去雨的同时使图像获得更加丰富的纹理信息和边缘信息。
-
公开(公告)号:CN113689344B
公开(公告)日:2022-05-27
申请号:CN202110745105.X
申请日:2021-06-30
Applicant: 中国矿业大学
Abstract: 本发明公开了一种基于特征解耦学习的低曝光图像增强方法,使用正常曝光静脉图像和低曝光静脉图像训练特征解耦网络,迫使编码得到低曝光静脉图像的背景特征,再利用训练好的特征解耦网络和低曝光静脉图像训练图像增强网络,提取低曝光静脉图像的纹理特征,实现低曝光静脉图像的纹理特征和背景特征分离,并单独使用低曝光静脉图像的纹理特征重建增强的静脉图像。本发明提出一种基于特征解耦学习的低曝光图像增强方法,从两种图像的特点出发,引入对抗损失,将低曝光静脉图像纹理特征和背景分离,操纵特定的特征重建正常曝光的图像,对低曝光静脉图像实现有效增强。
-
公开(公告)号:CN113609922A
公开(公告)日:2021-11-05
申请号:CN202110792080.9
申请日:2021-07-13
Applicant: 中国矿业大学
Abstract: 本发明公开了一种基于模态匹配的连续手语语句识别方法,将手语语句的彩色视频和光流图像序列的关键帧和目标词语片段序列作为输入,通过基于模态匹配的连续手语语句识别模型,将手语语句的彩色视频和光流图像序列的关键帧片段序列与语义匹配对齐,得到最终的语义序列。本发明公开了一种基于模态匹配的连续手语语句识别模型,用轻量的特征提取网络,减少其参数量,针对手语数据集进行任务特定性训练,在数据集中样本的标注较少的情况下对连续手语语句进行识别,减少了在传统手语识别方法中对人体姿势信息高度依赖的问题。
-
公开(公告)号:CN107911575B
公开(公告)日:2018-10-26
申请号:CN201711063790.8
申请日:2017-11-02
Applicant: 中国矿业大学
Abstract: 本发明公开了一种高精度低功耗多相机同步触发系统,包括电源模块,所述电源模块的输出端分别与显示模块、控制模块、NXP kinetis L25微控制器、调理电路的输入端电连接,所述NXP kinetis L25微控制器的输出端分别与显示模块、调理电路的输入端电连接,所述控制模块的输出端与NXP kinetis L25微控制器输入端电连接,所述NXP kinetis L25微控制器与SWD调试模块双向连接;所述的电源模块为该装置的电源提供部分,负责为微控制器、显示模块、控制模块、调理电路等提供合适的电压。本发明所采用普通微控制器实现多相机同步触发系统,同步精度高,运行功耗低,成本低廉,易于实现,在复杂环境具有较强抗干扰能力,能够适用于工业现场及野外环境。
-
-
-
-
-
-
-
-
-