-
公开(公告)号：CN118537932B
公开(公告)日：2025-03-07
申请号：CN202410716512.1
申请日：2024-06-04
Applicant: 中国矿业大学
IPC: G06V40/70 , G06V40/14 , G06V40/12 , G06V10/774 , G06V10/82 , G06V10/80 , G06N3/045 , G06N3/0464 , G06N3/0895
Abstract: 本发明公开了一种基于特征解耦的缺失模态下掌纹掌静脉融合识别方法，针对目前模态缺失下多模态融合方法存在的问题：(1)利用生成式的方法，对于每一种缺失模态都需要设计一个生成模型，导致整体模型庞大，不太适用于实际应用；(2)大多数模态缺失方法是指定缺失模态的，限制了灵活性。针对上述问题，本发明使用简单的网络模型，设计对比学习损失和模态间身份一致性损失解耦共享特征和特定特征并构建在特征层的掌纹跨模态生成器或掌静脉跨模态生成器，利用已知模态特征补全对缺失模态特征。不同于现有方法，本发明提出的多模态融合方法具有卓越的鲁棒性，对于在测试集任意模态缺失的情况，仍能取得准确的识别结果，满足多样化应用场景的需求。
-
公开(公告)号：CN118692156A
公开(公告)日：2024-09-24
申请号：CN202410716518.9
申请日：2024-06-04
Applicant: 中国矿业大学
IPC: G06V40/70 , G06V40/14 , G06V40/12 , G06V10/774 , G06V10/82 , G06V10/80 , G06N3/0455 , G06N3/084 , G06N3/0499 , G06N3/0464
Abstract: 本发明公开了一种基于动态提示信息的缺失模态的多模态图像识别方法。本发明提出了两个创新点：(1)本发明针对的是在训练和测试阶段均缺失的场景下，使模型更具鲁棒性，能够更好地适应真实生活中多变的条件。(2)本发明提出了动态提示信息的融合模块，增强了剩余模态间充分的交互，提升了多模态识别任务性能。并且可以根据识别样本的难易程度，动态选择融合模块，融合未缺失的模态信息，提高模型对复杂情境的应对能力。
-
公开(公告)号：CN118537932A
公开(公告)日：2024-08-23
申请号：CN202410716512.1
申请日：2024-06-04
Applicant: 中国矿业大学
IPC: G06V40/70 , G06V40/14 , G06V40/12 , G06V10/774 , G06V10/82 , G06V10/80 , G06N3/045 , G06N3/0464 , G06N3/0895
Abstract: 本发明公开了一种基于特征解耦的缺失模态下掌纹掌静脉融合识别方法，针对目前模态缺失下多模态融合方法存在的问题：(1)利用生成式的方法，对于每一种缺失模态都需要设计一个生成模型，导致整体模型庞大，不太适用于实际应用；(2)大多数模态缺失方法是指定缺失模态的，限制了灵活性。针对上述问题，本发明使用简单的网络模型，设计对比学习损失和模态间身份一致性损失解耦共享特征和特定特征并构建在特征层的掌纹跨模态生成器或掌静脉跨模态生成器，利用已知模态特征补全对缺失模态特征。不同于现有方法，本发明提出的多模态融合方法具有卓越的鲁棒性，对于在测试集任意模态缺失的情况，仍能取得准确的识别结果，满足多样化应用场景的需求。
-
公开(公告)号：CN117523685B
公开(公告)日：2024-07-09
申请号：CN202311521995.1
申请日：2023-11-15
Applicant: 中国矿业大学
IPC: G06V40/70 , G06V40/12 , G06V10/80 , G06N3/045 , G06N3/0464 , G06V10/774 , G06N3/09 , G06N3/088
Abstract: 本发明公开了一种基于非对称对比融合的双模态生物特征识别方法，涉及生物识别技术领域。本发明创新性地提出了基于非对称对比融合的双模态生物特征识别模型，在掌纹掌静脉融合网络的基础上，设计了一种新的非对称对比学习策略，在单模态的输入级和多模态融合的输出级进行互信息最大化和语义一致性信息的对比学习，该模型结合有监督和无监督的表征学习方法，可以更为灵活和充分地利用数据，减少模型训练对数据标注的依赖，减少任务相关信息的丢失，使模型学习鲁棒性的多模态特征表示，提高身份信息的识别精度。
-
公开(公告)号：CN115457611A
公开(公告)日：2022-12-09
申请号：CN202211293367.8
申请日：2022-10-21
Applicant: 中国矿业大学
IPC: G06V40/14 , G06V10/82 , G06V10/80 , G06V10/774 , G06V10/26
Abstract: 本发明公开了一种基于特征解耦网络的静脉识别方法，设计高鲁棒性静脉图像分割模型，获取高质量的静脉形状特征二值分割图，构建基于多尺度注意力残差模块的静脉形状纹理特征解耦网络，实现静脉图像纹理和形状特征的自适应解耦，提出权值引导的高判别深度特征学习模块，增强了静脉深度特征表示能力。本发明减少了纹理信息中光照信息对于静脉深度特征表示能力的影响，增强了静脉纹理特征和形状特征的融合效果，提高了静脉识别方法的性能。
-
Patent Agency Ranking
公开(公告)号：CN113450278B
公开(公告)日：2022-02-18
申请号：CN202110742059.8
申请日：2021-06-30
Applicant: 中国矿业大学
Abstract: 本发明公开了一种基于跨域协同学习的图像去雨方法，构建基于多尺度注意力残差模块的双分支图像去雨网络，通过面向合成领域的跨域协同学习策略，减少不同合成领域雨纹信息分布差异对于双分支图像去雨模型去雨效果的影响，通过面向真实领域的跨域学习策略，降低真实领域和合成领域雨纹信息分布差异对于双分支图像去雨模型去雨表现的影响。本发明提高了图像去雨模型对于不同领域样本雨纹信息的学习能力，减少了不同领域雨纹信息分布差异对于图像去雨模型去雨表现的影响，增强了图像去雨模型的鲁棒性和泛化能力。
-
公开(公告)号：CN113689344A
公开(公告)日：2021-11-23
申请号：CN202110745105.X
申请日：2021-06-30
Applicant: 中国矿业大学
Abstract: 本发明公开了一种基于特征解耦学习的低曝光图像增强方法，使用正常曝光静脉图像和低曝光静脉图像训练特征解耦网络，迫使编码得到低曝光静脉图像的背景特征，再利用训练好的特征解耦网络和低曝光静脉图像训练图像增强网络，提取低曝光静脉图像的纹理特征，实现低曝光静脉图像的纹理特征和背景特征分离，并单独使用低曝光静脉图像的纹理特征重建增强的静脉图像。本发明提出一种基于特征解耦学习的低曝光图像增强方法，从两种图像的特点出发，引入对抗损失，将低曝光静脉图像纹理特征和背景分离，操纵特定的特征重建正常曝光的图像，对低曝光静脉图像实现有效增强。
-
公开(公告)号：CN113297955A
公开(公告)日：2021-08-24
申请号：CN202110559367.7
申请日：2021-05-21
Applicant: 中国矿业大学
Abstract: 本发明公开了一种基于多模态分层级信息融合的手语词识别方法，该方法包括：以彩色视频、深度视频和骨骼节点视频三种模态的关键帧序列作为网络输入，构建一个双流I3D网络提取彩色视频和深度视频特征，通过特征拼接融合双模态语义特征，再使用LSTM构建长期时空特征，使用SoftMax进行分类评分；同时使用DST‑GCN网络提取骨骼节点视频的时空特征，再使用SoftMax进行分类评分；最终通过决策级融合方式将两个SoftMax层的预测分数进行融合，得到手语词识别结果。本发明所提出的基于多模态分层级信息融合的手语词识别方法，通过构建分层级融合策略，充分利用了多模态数据互补信息；通过构建DST‑GCN网络，增强了时空图卷积网络时间特征提取能力，进而提高了手语词识别的准确率。
-
公开(公告)号：CN113269702A
公开(公告)日：2021-08-17
申请号：CN202110559336.1
申请日：2021-05-21
Applicant: 中国矿业大学
Abstract: 本发明公开了一种基于跨尺度特征融合的低曝光静脉图像增强方法，制作低曝光静脉图像数据集，构建跨尺度特征融合模块，基于通道注意力机制，采用残差结构构建静脉跨尺度融合残差块，若干个残差块首尾连接堆叠成静脉图像跨尺度融合模型，构建测试集，将测试集中的低曝光静脉图像输入到静脉图像跨尺度融合模型，得到增强后的静脉图像。本发明提出一种多尺度分支的跨尺度特征信息融合方法，充分利用了静脉图像不同尺度之间空间结构信息，增强了网络模型对于静脉纹络等细节信息的表征学习能力，提升了低曝光静脉图像的增强效果。
-
公开(公告)号：CN113269698A
公开(公告)日：2021-08-17
申请号：CN202110560691.0
申请日：2021-05-21
Applicant: 中国矿业大学
Abstract: 本发明公开了一种基于Actor‑Critic模型的低曝光静脉图像增强方法，设计对比度，饱和度，白平衡，曝光和色调曲线函数滤波器，通过Actor‑Critic模型选取最优的一组图像滤波顺序和参数，并利用其对低曝光静脉图像进行滤波操作，输出每个滤波操作对应图像并提取细节信息，叠加到最后一层滤波器处理后的图像中，最终输出增强的静脉图像。本发明公开的基于Actor‑Critic的低曝光静脉图像增强模型，可以自动选择图像编辑滤波顺序和参数，实现低曝光静脉图像光照信息的恢复和对比度的增强，并且通过提取滤波处理过程中各滤波器输出图像的互补静脉细节信息，解决了全局图像处理造成的静脉细节丢失的问题，达到低曝光静脉图像增强的效果。
-
-
-
-
-
-
-
-
-
Search Results
40
records
(took 0.035 seconds)
