公开(公告)号：CN115796308A

公开(公告)日：2023-03-14

申请号：CN202111053626.5

申请日：2021-09-09

Applicant: 国网能源研究院有限公司 ,  国网福建省电力有限公司厦门供电公司

Inventor： 郑厚清 ,  刘文亮 ,  刘键烨 ,  庄劲 ,  孙艺新 ,  占彤平 ,  贾德香 ,  吴飞 ,  李心达 ,  陈行滨 ,  柳占杰 ,  黄琦斌 ,  于灏 ,  杨国钊 ,  刘睿 ,  王珍 ,  高洪达 ,  郑建柏 ,  王程 ,  欧阳小健 ,  陈光 ,  傅俪 ,  尹莞婷 ,  高晓楠 ,  王智敏 ,  陈睿欣 ,  王玓 ,  刘素蔚 ,  邓云博 ,  崔维平 ,  张红宪

IPC: G06N20/20 ,  G06N3/082

Abstract: 本发明公开了一种基于剪枝和拉普拉斯正则化的联邦学习方法，属于联邦学习和信息安全技术领域。该方法首先求出各个本地客户端在一轮训练中的目标函数，然后利用剪枝方法，求出目标函数中两个神经网络系数的掩码矩阵，并求出掩码矩阵的相似性，经过适当比例变换作为这两个网络的聚合强度大小，接下来利用梯度下降算法求出控制端的全局参数作为下一轮每个客户端的神经网络系数的初始化值，最后当全局损失小于设定阈值或者本地客户端的准确率不再提升，则训练结束。本发明提出的基于剪枝和拉普拉斯正则化的联邦学习方法可以有意义地聚合不同网络间的系数，使模型具有更好的可解释性，同时去除本地用户模型中共享的参数并保持本地用户模型的个性化，提高了联邦学习方法的收敛速度和全局平均准确率，并且使联邦学习方法的收敛结果更平稳。