公开(公告)号：CN118862948A

公开(公告)日：2024-10-29

申请号：CN202410786500.6

申请日：2024-06-18

Applicant: 北京交通大学

Inventor： 王伟 ,  李晗溪 ,  陈国荣 ,  韩昫 ,  卫相宇 ,  刘鹏睿 ,  吕晓婷 ,  许向蕊 ,  陈政 ,  胡福强 ,  祝咏升 ,  段莉 ,  李超

IPC: G06N3/042 ,  G06N3/096 ,  G06N3/098

Abstract: 本发明提供了一种基于知识蒸馏和锐度感知最小化的个性化联邦学习方法。该方法包括：服务器生成全局共享无标签伪数据集，并下发给各个客户端；客户端利采用锐度感知最小化方法对本地模型进行优化，得到优化后的本地模型wc；客户端利用本地数据集和无标签伪数据集生成本地知识，服务器对各个客户端的本地知识中的logits依据权重系数进行加权运算得到全局#imgabs0#将由全局原型p和全局#imgabs1#构成的全局知识下发给各个客户端；客户端根据本地logits和全局知识中的全局#imgabs2#对本地模型wc进行更新。本发明利用无标签伪数据集作为公共数据集进行知识蒸馏，就能够实现良好的性能。服务器利用权重对本地知识进行聚合，以获得高质量的全局知识，用于提升本地模型性能。