公开(公告)号：CN117395024A

公开(公告)日：2024-01-12

申请号：CN202311140704.4

申请日：2023-09-05

Applicant: 厦门大学

Inventor： 范晓亮 ,  杨志成 ,  朱纪玉 ,  王子徽 ,  王程

IPC: H04L9/40 ,  G06N3/042

Abstract: 本申请的实施例提供了一种基于图纵向联邦模型的防御方法、装置、介质及设备。该方法包括：根据接收到的针对目标节点的预测请求，向各参与方对应的本地服务器发送针对目标节点的目标节点嵌入上传指令，以使各本地服务器反馈与目标节点相对应的目标节点嵌入；查询历史节点嵌入库，将与除恶意参与方以外的其他参与方发送的目标节点嵌入之间总相似度最高的历史节点嵌入组作为目标历史节点嵌入组；将目标历史节点嵌入组中由恶意参与方发送的历史节点嵌入替换由该恶意参与方发送的目标节点嵌入并调用全局模型进行预测，以使全局模型输出与目标节点对应的预测结果。本申请实施例的技术方案可以提高图纵向联邦模型的鲁棒性，保证其对对抗攻击的防御效果。

公开(公告)号：CN117056962A

公开(公告)日：2023-11-14

申请号：CN202310903744.3

申请日：2023-07-21

Applicant: 厦门大学

Inventor： 范晓亮 ,  彭朝鹏 ,  王铮 ,  蒋怡宁 ,  朱纪玉 ,  王程

IPC: G06F21/62 ,  G06N3/098 ,  G06F21/60

Abstract: 本发明公开了一种联邦学习大模型精调方法及装置，该方法包括：服务器端将预训练好的模型划分为第一模型和第二模型；客户端构建与第一模型结构一致的本地模型，并根据第一模型的参数固定本地模型参数；在每一轮通信中，客户端获取嵌入数据，并根据差分隐私机制对嵌入数据进行加密，以得到加密后的嵌入数据；服务器端将加密后的嵌入数据输入到第二模型，以得到输出数据；客户端根据输出数据计算模型损失，以便得到对应的梯度；服务器端根据梯度计算第二模型中的参数对应的梯度，并根据第二模型中的参数对应的梯度对第二模型进行更新，重复通信训练直至第二模型收敛；由此，通过联邦分离和差分隐私加密避免了私域数据和模型参数泄露的风险。