公开(公告)号：CN117851937A

公开(公告)日：2024-04-09

申请号：CN202410032618.X

申请日：2024-01-09

Applicant: 厦门大学

Inventor： 卢杨 ,  吕凤玲 ,  王菡子

IPC: G06F18/2431 ,  G06F18/25 ,  G06N3/098

Abstract: 本发明公开了一种基于专家协作学习的不平衡数据联邦学习方法，包括：若干个参与方共同训练一全局模型，直至该全局模型收敛；每个参与方下载收敛完成的该全局模型，并利用该全局模型的特征提取器去初始化参与方的若干专家模型；每个参与方根据各自的数据，对专家模型以及全局模型的分类器进行更新；所述专家模型用于针对不同类别的数据进行特征提取、分类，包括头类数据专家模型和尾类数据专家模型；将待测样本输入专家模型以及全局模型等。本发明为每个参与方设置一个头专家和一个尾专家分别针对每个参与方中的头部类和尾部类，这允许每个参与方中的少数类去成为一个专家的主导类，每个专家内部的不平衡程度和参与方的不平衡程度相比，也会有所降低。

公开(公告)号：CN116843021A

公开(公告)日：2023-10-03

申请号：CN202310452493.1

申请日：2023-04-25

Applicant: 之江实验室 ,  厦门大学

Inventor： 卢杨 ,  吕凤玲 ,  钱品馨 ,  黄刚 ,  华炜 ,  王菡子

IPC: G06N3/098 ,  G06F18/24 ,  G06N5/02

Abstract: 本发明公开了一种基于知识蒸馏特征生成的长尾数据联邦学习方法和系统，在服务器上训练一个轻量级的生成模型。生成模型的输入为标签，输出为对应的特征。生成特征可以模拟真实特征的分布。在个性化模型的训练过程中，为每个客户端上的局部少数类生成更多特征，为其他类生成更少特征，这将有助于缓解每个客户端数据的严重不平衡。此外，全局模型是从局部模型聚合而来的，在全局头类中表现更好，而且能够获得高质量和含有丰富信息的特征。将全局模型的知识提取到个性化模型中可以帮助提高个性化模型的性能。通过生成特征来知识蒸馏来训练个性化模型。这样能够有效解决联邦异构长尾数据分布的问题，进一步提升了个性化联邦学习下的模型性能。