一种基于头部输出特征自适应匹配的知识蒸馏方法

    公开(公告)号:CN117152810B

    公开(公告)日:2025-04-11

    申请号:CN202311012547.9

    申请日:2023-08-11

    Abstract: 本发明公开了一种基于头部特征自适应匹配的知识蒸馏方法,对教师网络和学生网络的输出层特征进行排序和修剪处理,将注意力集中到修剪处理后得到的头部特征中,根据相应的排序方式计算头部蒸馏损失;再将头部特征中包含目标类信息的特征层修剪得到主体特征,在主体特征中进行自适应匹配,根据相应的排序方式计算自适应输出特征损失;利用总蒸馏损失促使学生网络学习主要输出特征层的类间相似度信息。本发明利用了非目标类知识的信息并且融合了自适应注意力匹配的方法,定位到含更多泛化信息的主体特征,自适应地提取到更有利于学生网络学习的分类信息,提升了学生网络对陌生数据集的适应性,同时也增强了模型的泛化性和鲁棒性。

    基于类别统计驱动的伪标签自蒸馏语义分割方法

    公开(公告)号:CN116958548B

    公开(公告)日:2024-08-27

    申请号:CN202310902217.0

    申请日:2023-07-21

    Abstract: 本发明公开了一种基于类别统计驱动的伪标签自蒸馏语义分割方法,属于计算机图像处理技术,在训练过程中对教师模型语义类别概率信息进行统计,并根据概率分布特性将类别标签进行平滑处理,将平滑标签与教师模型输出语义类别概率信息的加权均值作为学生模型的监督信息,有效地提升了类别统计驱动下的伪标签自蒸馏语义分割的效果。本发明公开的基于类别统计驱动的伪标签自蒸馏语义分割方法,将经过平滑处理的标签与教师模型输出语义类别概率信息加权均值作为学生模型的监督信息,改善了在训练过程中标签硬化难以拟合以及人为平滑操作引入标签噪声的问题,解决了蒸馏过程中因教师模型类别预测错误导致学生网络知识学习受到噪声标签影响的问题。

    一种融合字词和关系信息的中文实体关系联合抽取方法

    公开(公告)号:CN118504525A

    公开(公告)日:2024-08-16

    申请号:CN202410568922.6

    申请日:2024-05-09

    Abstract: 本发明公开了一种融合字词和关系信息的中文实体关系联合抽取方法,利用中文分词器获取字词两种细粒度的中文文本,提出了字词位置上下文融合编码器,实现将字、词细粒度文本、位置信息、上下文信息融合编码,获取包含字、词、位置、上下文信息的编码词向量,提出了基于先验关系交叉融合机制的编码器,将先验关系信息融入实体关系联合抽取中,本发明考虑到中文的语法特点,充分结合字信息、词信息、位置信息、关系信息,构建实体识别和关系抽取的内在联系,克服了现有关系抽取中所存在的不足,有效提高的中文文本实体关系联合抽取准确率。

    不同时间尺度下多节点多元负荷联邦协同预测方法

    公开(公告)号:CN117436576B

    公开(公告)日:2024-08-09

    申请号:CN202311315635.6

    申请日:2023-10-11

    Abstract: 本发明公开了不同时间尺度下多节点多元负荷联邦协同预测方法,包括如下三个阶段,第一阶段使用样条插值法对时间尺度较大的负荷数据进行插值补充,将负荷数据统一至相同的时间尺度,第二阶段利用每个节点自身数据得到它的本地多元负荷预测模型;第三阶段在不泄露数据隐私的前提下,对各节点模型进行联邦学习融合训练;训练完成后,在节点内对模型进行微调。使用本方法的模型得到的负荷预测结果更接近真实值。特别地,针对负荷波动幅度较大、负荷波动幅度小但频率高等复杂场景,本文所提算法都有最好的电气负荷预测结果。

    一种基于任务特征融合的非侵入式负荷监测功率分解方法

    公开(公告)号:CN117498543A

    公开(公告)日:2024-02-02

    申请号:CN202311406235.6

    申请日:2023-10-27

    Abstract: 本发明公开了一种基于任务特征融合的非侵入式负荷监测功率分解方法,将每个家电的功率分解视为一个子任务,构建基于多任务学习的多家电功率分解模型。设计的模型包括一个共性特征矩阵提取分支和多个个性任务提取分支,分别提取所有家电都需要的共性特征矩阵和个别家电需要的个性特征矩阵,然后将每个家电的个性特征矩阵和共性特征矩阵融合在一起用于每个子任务的功率分解。通过特征融合的方式不仅可以将各个子任务关联起来,并且丰富了家电功率分解特征。本发明增强了功率分解模型的泛化能力,减少了需要多次训练模型的训练时间和训练参数,提高了家电功率分解的准确性。

    基于自适应掩码加权的投影式知识蒸馏方法

    公开(公告)号:CN117454971A

    公开(公告)日:2024-01-26

    申请号:CN202311530381.X

    申请日:2023-11-16

    Abstract: 本发明公开了一种基于自适应掩码加权的投影式知识蒸馏方法,首先构建基于学生网络的学生模块提取的特征的关系矩阵使其相邻像素间所包含信息更加丰富多样,其次基于学生网络的关系矩阵和特征图分别构建自适应掩码矩阵进行自适应掩码加权,再构建投影层并利用被掩码加权的特征在教师网络的引导下投影出完整的、逼近教师特征的特征,最后利用教师网络相应的特征层去监督学生网络相应的特征层并以此更新学生模型。本发明提高了学生网络模型对于所学到的丰富信息的表达能力,解决了由随机掩码学生特征和学生特征相邻像素感受野有限造成的学生网络表征能力受限、信息利用不足的问题,提升了知识蒸馏模型的鲁棒性和泛化能力。

    相干信号环境卫星导航接收机鲁棒空时自适应处理方法

    公开(公告)号:CN117348038A

    公开(公告)日:2024-01-05

    申请号:CN202311299552.2

    申请日:2023-10-09

    Abstract: 本发明公开了一种相干信号环境下卫星导航接收机鲁棒空时自适应处理方法,既能有效抑制相干信号环境下的干扰,又能提高卫星导航接收机阵列输出载噪比。具体步骤包括:1.堆叠卫星导航接收机空时自适应滤波器的时域接收快拍信号;2.对空间角度区域和时域分别进行离散化采样;3.利用空时二维迭代自适应渐近算法估计功率谱和噪声功率;4.划分干扰的空时二维区域并计算采样点的空时导向向量;5.重构空时干扰加噪声协方差矩阵;6.构建空时自适应滤波优化问题;7.估计空时导向向量误差向量;8.矫正期望信号空时导向向量;9.计算空时自适应滤波加权向量及阵列输出载噪比。本发明提高了卫星导航接收机空时自适应抗干扰方法对阵列误差的鲁棒性能。

    一种基于半监督学习的有向目标检测方法

    公开(公告)号:CN116452794B

    公开(公告)日:2023-11-03

    申请号:CN202310395613.9

    申请日:2023-04-14

    Abstract: 本发明公开了一种基于半监督学习的有向目标检测方法,首先通过本发明提出的一种新的五参数有向框表示方法对有标签数据集进行标注,其次设计了基于多阶段Faster RCNN的有向目标检测网络。为了保证网络在有高召回率的同时具有高精确度,本发明采用先预测水平包络框再将其回归为有向框的方式,并设计了角度增强训练算法。在此基础上,构建基于教师‑学生网络的有向目标检测半监督学习方法,利用少量有标签数据集和大量无标签数据集联合训练,计算有监督损失和无监督损失的加权和,得到总损失,用于网络模型参数更新。根据本发明,使用少量的有标签数据和海量的无标签数据,在极低的有向目标检测数据集标注成本下,提高了有向目标检测的精度。

    基于类别统计驱动的伪标签自蒸馏语义分割方法

    公开(公告)号:CN116958548A

    公开(公告)日:2023-10-27

    申请号:CN202310902217.0

    申请日:2023-07-21

    Abstract: 本发明公开了一种基于类别统计驱动的伪标签自蒸馏语义分割方法,属于计算机图像处理技术,在训练过程中对教师模型语义类别概率信息进行统计,并根据概率分布特性将类别标签进行平滑处理,将平滑标签与教师模型输出语义类别概率信息的加权均值作为学生模型的监督信息,有效地提升了类别统计驱动下的伪标签自蒸馏语义分割的效果。本发明公开的基于类别统计驱动的伪标签自蒸馏语义分割方法,将经过平滑处理的标签与教师模型输出语义类别概率信息加权均值作为学生模型的监督信息,改善了在训练过程中标签硬化难以拟合以及人为平滑操作引入标签噪声的问题,解决了蒸馏过程中因教师模型类别预测错误导致学生网络知识学习受到噪声标签影响的问题。

Patent Agency Ranking