公开(公告)号：CN117196070B

公开(公告)日：2024-01-26

申请号：CN202311474649.2

申请日：2023-11-08

Applicant: 山东省计算中心(国家超级计算济南中心)

Inventor： 杨明 ,  王艳寒 ,  王鑫 ,  吴晓明 ,  梁艳 ,  穆超 ,  陈振娅 ,  徐硕 ,  吴法宗

IPC: G06N20/00 ,  G06F18/24 ,  G06N3/098

Abstract: 本发明属于异构数据下的联邦学习的技术领域，更具体地，涉及一种面向异构数据的双重联邦蒸馏学习方法及装置。所述方法包括全局知识蒸馏和局部知识蒸馏，全局知识蒸馏包括利用全局生成器生成全局伪数据，将全局伪数据输入局部模型和初始聚合模型，并根据模型输出结果对初始聚合模型微调，得到全局模型；局部知识蒸馏包括利用局部生成器生成局部伪数据，将局部伪数据输入局部模型和全局模型，并根据模型输出结果更新局部生成器，再利用更新后的局部生成器生成新的局部伪数据，利用新的局部伪数据更新局部模型。本发明保障数据异构环境下产