公开(公告)号：CN117056962A

公开(公告)日：2023-11-14

申请号：CN202310903744.3

申请日：2023-07-21

Applicant: 厦门大学

Inventor： 范晓亮 ,  彭朝鹏 ,  王铮 ,  蒋怡宁 ,  朱纪玉 ,  王程

IPC: G06F21/62 ,  G06N3/098 ,  G06F21/60

Abstract: 本发明公开了一种联邦学习大模型精调方法及装置，该方法包括：服务器端将预训练好的模型划分为第一模型和第二模型；客户端构建与第一模型结构一致的本地模型，并根据第一模型的参数固定本地模型参数；在每一轮通信中，客户端获取嵌入数据，并根据差分隐私机制对嵌入数据进行加密，以得到加密后的嵌入数据；服务器端将加密后的嵌入数据输入到第二模型，以得到输出数据；客户端根据输出数据计算模型损失，以便得到对应的梯度；服务器端根据梯度计算第二模型中的参数对应的梯度，并根据第二模型中的参数对应的梯度对第二模型进行更新，重复通信训练直至第二模型收敛；由此，通过联邦分离和差分隐私加密避免了私域数据和模型参数泄露的风险。