-
公开(公告)号：CN117764190A
公开(公告)日：2024-03-26
申请号：CN202211131266.0
申请日：2022-09-16
Applicant: 华为技术有限公司
IPC: G06N20/00 , G06N3/0464 , G06N3/08
Abstract: 一种数据处理方法，应用于神经网络的二值化，方法包括：分别通过MLP包括块block中的多个第一处理分支中的每个第一处理分支，处理输入数据，得到多个第一处理结果；其中，每个第一处理分支包括一个或多个全连接层；多个第一处理分支中包括对输入数据在空间维度上进行交互以及对输入数据在通道维度上进行交互的处理分支；输入数据以及多个第一处理分支中的参数为二值化数据。本申请中二值化MLP中block设置多个并行的处理分支，该多个并行的处理分支可以同时对输入数据在空间维度和通道维度上进行信息交互，增加了网络的信息交互复杂度，从而提升了二值化MLP的网络性能。
-
公开(公告)号：CN113159273A
公开(公告)日：2021-07-23
申请号：CN202110132041.6
申请日：2021-01-30
Applicant: 华为技术有限公司
Abstract: 本申请实施例公开了一种神经网络的训练方法及相关设备，该方法包括：在前向传播过程中，采用二值化函数对目标权重进行二值化处理，将二值化处理后的数据作为神经网络中第一神经网络层的权重；在反向传播过程中，将拟合函数的梯度作为二值化函数的梯度，计算损失函数对目标权重的梯度，由于拟合函数是基于二值化函数的级数展开确定的，所以拟合函数与二值化函数的拟合效果较好，从而能够提高训练效果，提高训练得到的神经网络的准确率。
-
公开(公告)号：CN111695673A
公开(公告)日：2020-09-22
申请号：CN202010387976.4
申请日：2020-05-09
Applicant: 华为技术有限公司
Abstract: 本申请涉及人工智能领域中的一种训练神经网络预测器的方法、图像处理方法及装置，该训练神经网络预测器的方法包括：获取第一神经网络的第一网络结构和第二神经网络的第二网络结构，所述第一网络结构为带标签的网络结构，所述标签用于指示所述第一网络结构的性能；获取所述第一网络结构和所述第二网络结构之间的相似度；根据所述第一网络结构、所述第二网络结构、所述相似度和所述标签，训练所述神经网络预测器，所述神经网络预测器用于预测网络结构的性能。在本申请实施例的方法中，使用网络结构之间的关系辅助训练所述神经网络预测器，可以在使用少量标记数据的情况下，提高训练好的所述神经网络预测器的预测准确度。
-
公开(公告)号：CN112446476B
公开(公告)日：2025-04-15
申请号：CN201910833833.9
申请日：2019-09-04
Applicant: 华为技术有限公司
IPC: G06N3/0495 , G06N3/0464 , G06N3/063 , G06N3/096 , G06F18/241 , G06F18/25 , G06F18/214
Abstract: 本申请提供了人工智能领域中的一种神经网络模型压缩的方法，包括：服务器获取用户设备上传的第一神经网络模型和第一神经网络的训练数据；根据第一神经网络的训练数据和服务器存储的未标记数据，得到PU分类器；使用PU分类器，从服务器存储的未标记数据中选择扩展数据，扩展数据具有与第一神经网络模型的训练数据相似属性与分布；根据扩展数据，利用知识蒸馏KD方法训练第二神经网络模型，第一神经网络模型作为教师网络模型，第二神经网络模型作为学生网络模型。采用PU分类器，从未标记数据中选择与第一神经网络模型的训练数据具有相似属性与分布的数据，提高神经网络模型压缩的准确性，避免大量正样本数据的传输。
-
公开(公告)号：CN112257751B
公开(公告)日：2024-12-03
申请号：CN202011006089.4
申请日：2020-09-23
Applicant: 华为技术有限公司
IPC: G06N3/082 , G06N3/0464 , G06F17/15 , G06F18/214
Abstract: 本申请涉及一种对神经网络模型进行剪枝的方法。所述方法包括：获取带有标签的训练数据和高仿数据；将训练数据和高仿数据输入到神经网络模型分别得到多个训练特征和多个高仿特征；各级操作层上的操作算子各自分配有控制系数，根据训练数据，高仿数据，标签以及控制系数，计算损耗函数并对控制系数进行调整，继续进行控制系数调整的过程直至损耗函数的输出满足预设条件；计算操作算子的重要性指标，剪掉不重要的操作算子得到剪枝后的神经网络模型。
-
Patent Agency Ranking
公开(公告)号：CN113159273B
公开(公告)日：2024-04-30
申请号：CN202110132041.6
申请日：2021-01-30
Applicant: 华为技术有限公司
IPC: G06N3/0464 , G06N3/084
Abstract: 本申请实施例公开了一种神经网络的训练方法及相关设备，该方法包括：在前向传播过程中，采用二值化函数对目标权重进行二值化处理，将二值化处理后的数据作为神经网络中第一神经网络层的权重；在反向传播过程中，将拟合函数的梯度作为二值化函数的梯度，计算损失函数对目标权重的梯度，由于拟合函数是基于二值化函数的级数展开确定的，所以拟合函数与二值化函数的拟合效果较好，从而能够提高训练效果，提高训练得到的神经网络的准确率。
-
公开(公告)号：CN111882031A
公开(公告)日：2020-11-03
申请号：CN202010615537.4
申请日：2020-06-30
Applicant: 华为技术有限公司
Abstract: 本申请公开了一种神经网络蒸馏方法，应用于人工智能领域，包括：通过第一神经网络和第二神经网络对待处理数据进行处理，以获取第一目标输出和第二目标输出，第一目标输出为对第一神经网络层的输出进行基于核函数的变换得到的，第二目标输出为对第二神经网络层的输出进行基于核函数的变换得到的；根据第一目标输出和第二目标输出构建的目标损失对第一神经网络进行知识蒸馏。本申请对第一神经网络层的输出和第二神经网络层的输出进行了基于核函数的变换，进而可以将第一神经网络层和第二神经网络层输入和权重映射到高维特征空间，消除了知识蒸馏时由于神经网络层的权重分布不同而造成的网络性能降低。
-
公开(公告)号：CN119761443A
公开(公告)日：2025-04-04
申请号：CN202411689808.5
申请日：2020-09-23
Applicant: 华为技术有限公司
IPC: G06N3/082 , G06N3/0464 , G06N3/045 , G06N3/0475 , G06N3/094 , G06V10/82 , G06V10/774
Abstract: 本申请涉及一种对神经网络模型进行剪枝的方法。所述方法包括：获取带有标签的训练数据和高仿数据；将训练数据和高仿数据输入到神经网络模型分别得到多个训练特征和多个高仿特征；各级操作层上的操作算子各自分配有控制系数，根据训练数据，高仿数据，标签以及控制系数，计算损耗函数并对控制系数进行调整，继续进行控制系数调整的过程直至损耗函数的输出满足预设条件；计算操作算子的重要性指标，剪掉不重要的操作算子得到剪枝后的神经网络模型。
-
公开(公告)号：CN111797970B
公开(公告)日：2024-06-28
申请号：CN201911351051.8
申请日：2019-12-24
Applicant: 华为技术有限公司
IPC: G06N3/0464 , G06N3/084
Abstract: 本申请提供人工智能领域中训练神经网络的方法和相关装置。训练神经网络的方法包括：向神经网络输入训练数据，所述训练数据包括图像、文本或语音；根据神经网络中的第一目标层的第一输出空间，确定神经网络中的第二目标层的第一输入空间；将第一输入空间中的特征向量输入第二目标层，对神经网络进行训练；其中，第二目标层输入第一输入空间中的特征向量时神经网络拟合随机噪声的能力，小于第二目标层输入第一输出空间中的特征向量时神经网络的输出空间拟合随机噪声的能力。本申请提供训练神经网络的方法、利用神经网络处理数据的方法和相关装置，有利于避免神经网络对图像、文本或语音进行处理时出现过拟合现象。
-
公开(公告)号：CN113516227A
公开(公告)日：2021-10-19
申请号：CN202110639374.8
申请日：2021-06-08
Applicant: 华为技术有限公司
Abstract: 本申请公开了一种基于联邦学习的神经网络训练方法及设备，可应用于人工智能领域中，包括：构建包括第一损失函数和第二损失函数的目标损失函数，第一损失函数用于表征对输入神经网络的有标签数据预测错误的概率，第二损失函数用于表征对输入神经网络的无标签数据进行预测得到的预测结果不属于预设分类类别的概率，之后，各客户端利用目标损失函数各自采用本地训练集(每个本地训练集均包括有标签数据及无标签数据)对本地目标神经网络训练，得到的权重矩阵上传服务器进行整合，整合权重矩阵再发送给各客户端重复训练，直至达到训练终止条件。本申请构建的目标损失函数同时考虑到了各客户端上有标签数据和无标签数据对目标损失函数的贡献。
-
-
-
-
-
-
-
-
-
Search Results
24
records
(took 0.028 seconds)
