一种面向异构数据的双重联邦蒸馏学习方法及装置

    公开(公告)号:CN117196070A

    公开(公告)日:2023-12-08

    申请号:CN202311474649.2

    申请日:2023-11-08

    Abstract: 本发明属于异构数据下的联邦学习的技术领域,更具体地,涉及一种面向异构数据的双重联邦蒸馏学习方法及装置。所述方法包括全局知识蒸馏和局部知识蒸馏,全局知识蒸馏包括利用全局生成器生成全局伪数据,将全局伪数据输入局部模型和初始聚合模型,并根据模型输出结果对初始聚合模型微调,得到全局模型;局部知识蒸馏包括利用局部生成器生成局部伪数据,将局部伪数据输入局部模型和全局模型,并根据模型输出结果更新局部生成器,再利用更新后的局部生成器生成新的局部伪数据,利用新的局部伪数据更新局部模型。本发明保障数据异构环境下产生客户漂移现象时联邦学习系统中服务端和客户端双边优化,实现全局模型和局部模型的稳定收敛及性能提升。

Patent Agency Ranking