-
公开(公告)号:CN114821802B
公开(公告)日:2024-11-01
申请号:CN202210528751.5
申请日:2022-05-16
IPC: G06V40/20 , G06V40/10 , G06V40/16 , G06V20/40 , G06V10/40 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/047 , G06N3/0495 , G06N3/082 , G06N5/04
Abstract: 本发明为基于多线索相互蒸馏和自蒸馏的连续手语识别方法,包括获取手语视频,从手语视频中提取脸部、左手手部以及右手手部视频并进行预处理,从视频中提取空间特征,再从空间特征中提取具有短期时间联系的手语词级特征,从手语词级特征中提取具有长期时间联系的上下文级特征,再利用全连接层和激活函数,获得归一化的分类概率矩阵;基于获得的分类概率矩阵构建总损失函数,并训练神经网络;将训练后的神经网络用于预测手语,并输出手语标签。该方法利用了原始手语图像中的脸部信息和手部信息,通过相互蒸馏的方式充分利用脸部信息和手部信息的知识,解决了局部信息利用不充分的问题,提高了神经网络的泛化能力;通过自蒸馏的方式增加了神经网络中不同模块之间的协调性。
-
公开(公告)号:CN114005096B
公开(公告)日:2024-05-10
申请号:CN202111317650.5
申请日:2021-11-09
Applicant: 河北工业大学
Abstract: 本发明为基于特征增强的车辆重识别方法,该方法以构建具有空间注意力引导的自适应特征擦除模块和多感受野残差注意力模块的基于多注意力引导的特征增强网络,通过多感受野残差注意力在不同大小的感受野下帮助主干网络获得丰富的车辆外观特征,利用空间注意力引导的自适应特征擦除模块有选择性的擦除车辆最显著特征,使多注意力引导的特征增强网络的局部分支能够挖掘潜在局部特征,融合全局分支的全局特征和擦除分支的潜在局部特征完成车辆重识别过程。本发明方法不仅能够克服复杂的环境变化,如光照剧烈变化、障碍物遮挡而造成局部显著信息丢失的问题,而且能够满足在安全监管、智能交通系统中高效、快速的查找目标车辆的需求。
-
公开(公告)号:CN117876772A
公开(公告)日:2024-04-12
申请号:CN202410046916.4
申请日:2024-01-12
Applicant: 河北工业大学
IPC: G06V10/764 , G06V10/40 , G06V10/80 , G06V10/25
Abstract: 本发明为多时间窗静息态功能磁共振影像数据特征分析方法,对于所有训练样本,将静息态功能磁共振影像数据的时间序列划分成若干个连续的时间窗,使用稀疏一致性学习进行多时间窗的联合特征选择。该方法使用L1范数对单个时间窗内的特征权重进行稀疏约束,L21范数对所有时间窗的特征权重进行一致性约束。另外,该方法根据学习到的特征权重矩阵,构建了样本‑时间窗‑脑区‑脑连接的四阶张量,然后使用张量分解分别得到这四个维度的因子矩阵,最后利用多核支持向量机对选择后的特征进行融合分类。本发明可以从样本和时间窗两个角度对脑区和脑连接的因子矩阵进行分析,达到更好的分类效果。
-
公开(公告)号:CN117876704A
公开(公告)日:2024-04-12
申请号:CN202410046994.4
申请日:2024-01-12
Applicant: 河北工业大学
Abstract: 本发明为基于多信息引导和渐进掩码Transformer的小篡改区域定位方法,该方法利用边缘和区域两种信息来引导小篡改区域的定位,在边缘信息引导阶段,首先利用浅层特征和深层特征来生成篡改区域的边缘引导信息,然后使用边缘引导信息与浅层特征进行逐元素相乘并与浅层特征进行残差连接,最后使用通道注意力来挖掘通道之间的关联;在区域信息引导阶段,首先提取并聚合各层频域相关信息并生成粗糙预测掩码,然后扩大可见的篡改区域并生成区域引导信息,最后将区域引导信息与深层特征逐元素相乘并与深层特征进行残差连接并对篡改特征的通道相关性进行建模;同时以渐进的方式使用掩码Transformer来细化各层特征。能更加精确地定位篡改区域。
-
公开(公告)号:CN114821802A
公开(公告)日:2022-07-29
申请号:CN202210528751.5
申请日:2022-05-16
IPC: G06V40/20 , G06V40/10 , G06V40/16 , G06V20/40 , G06V10/40 , G06V10/764 , G06V10/82 , G06N3/04 , G06N3/08 , G06N5/04 , G06K9/62
Abstract: 本发明为基于多线索相互蒸馏和自蒸馏的连续手语识别方法,包括获取手语视频,从手语视频中提取脸部、左手手部以及右手手部视频并进行预处理,从视频中提取空间特征,再从空间特征中提取具有短期时间联系的手语词级特征,从手语词级特征中提取具有长期时间联系的上下文级特征,再利用全连接层和激活函数,获得归一化的分类概率矩阵;基于获得的分类概率矩阵构建总损失函数,并训练神经网络;将训练后的神经网络用于预测手语,并输出手语标签。该方法利用了原始手语图像中的脸部信息和手部信息,通过相互蒸馏的方式充分利用脸部信息和手部信息的知识,解决了局部信息利用不充分的问题,提高了神经网络的泛化能力;通过自蒸馏的方式增加了神经网络中不同模块之间的协调性。
-
公开(公告)号:CN113487481B
公开(公告)日:2022-04-12
申请号:CN202110746815.4
申请日:2021-07-02
Abstract: 本发明为基于信息构建和多密集残差块的循环视频超分辨率方法,该方法利用引入信息构建模块对初始的循环神经网络进行先验信息构建和填充,使得序数靠前的循环神经网络有足够的信息去重建靠前帧,同时利用多密集残差块提取代表深层次信息的特征,在循环神经网络中以隐藏状态的方式进行传播;包括以下内容:对视频数据进行预处理,获得对应的低分辨率帧序列;构建信息构建模块,输入为前m帧低分辨率帧序列,输出为初始的隐藏信息h0和初始的预输出信息o0;构建多密集残差块的循环神经网络,将信息构建模块的两个输出输入到多密集残差块的循环神经网络中,得到超分辨率帧序列。可以胜任在线超分辨率任务。
-
公开(公告)号:CN111209918B
公开(公告)日:2022-04-05
申请号:CN202010008328.3
申请日:2020-01-06
Applicant: 河北工业大学
IPC: G06V10/46 , G06V10/26 , G06V10/762 , G06V10/764 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08 , G06T3/40
Abstract: 本发明是一种图像显著性目标检测方法,涉及图像分析的区域分割,是基于多图模型先验和短连接网络优化的图像显著性检测方法,该方法是对每张输入图像利用颜色和位置信息,计算KNN图模型和K正则图模型,得到在KNN图模型下的显著图S1和在K正则图模型下的显著图S2,再将KNN图模型和K正则图模型进行像素级别的融合,得到原图像的初始显著图S3,利用短连接网络优化初始显著图S3,获得原图像的最终的显著图Sfinal,完成图像显著性目标检测,克服了图像显著性目标检测的现有技术中存在的显著目标检测不完整、当前景背景颜色相似时算法检测不准确的缺陷。
-
公开(公告)号:CN114202075A
公开(公告)日:2022-03-18
申请号:CN202111502748.8
申请日:2021-12-10
Applicant: 河北工业大学
Abstract: 本发明引导式多模态影像遗传学数据特征分析方法,同时考虑样本的多模态影像数据分析以及基因影像典型相关分析。采用权重分解方法将权重分为模态一致性权重和模态特异性权重,模态一致性权重表示模态之间共有的信息,模态特异性权重表示单个模态独有的信息。此外采用样本的标签这一先验信息,利用回归分析引导多模态影像数据的特征学习,同时利用机器学习中多任务学习框架将多模态数据与基因数据的典型相关分析作为多个学习任务,利用多任务学习所包含的有用信息帮助每个任务得到更准确的学习器并且找到任务之间的差别和联系。本发明公开的方法能够有效地进行特征选择和影像遗传学数据相关性分析。
-
公开(公告)号:CN113888399A
公开(公告)日:2022-01-04
申请号:CN202111240317.9
申请日:2021-10-25
Applicant: 河北工业大学
Abstract: 本发明为一种基于风格融合与域选结构的人脸年龄合成的方法,该方法包括以下内容:对人脸公开数据集进行预处理,每个人脸样本对应一个年龄标签,设置年龄域的数量;构建风格融合和多域判别的对抗网络,包括基于风格融合的生成器网络和域选判别器网络;域选判别器网络包括多个域选结构和一个全连接层,域选结构由两种类型的函数组成:基础函数和多个域函数;针对每一批次的输入图像只用基础函数和一个特定的域函数提取特征,其中域函数的个数与年龄域的个数保持一致。本发明能够有效地解决人脸身份信息丢失和训练不稳定的问题。
-
公开(公告)号:CN113723345A
公开(公告)日:2021-11-30
申请号:CN202111053962.X
申请日:2021-09-09
Applicant: 河北工业大学
Abstract: 本发明为一种基于风格转换和联合学习网络的域自适应行人再识别方法,包括一、利用源域数据集对神经网络模型进行预训练;二、对目标域数据集中的行人图像进行风格转换;三、对每张行人图像进行预处理;四、将同一张行人图像采用两种预处理方式得到的图像输入到两个神经网络模型中提取特征,将两个高阶特征保存至两个存储器中;两个高阶特征进行聚类,得到伪标签;将同一张行人图像的两个高阶特征进行融合,融合后的高阶特征存储在联合存储器中;五、基于伪标签训练两个神经网络模型,基于联合存储器同步训练两个神经网络模型;六、重复第四、五步并在训练过程中计算两个神经网络模型的识别精度,将识别精度最佳的神经网络模型用于行人再识别。
-
-
-
-
-
-
-
-
-