公开(公告)号：CN117056962A

公开(公告)日：2023-11-14

申请号：CN202310903744.3

申请日：2023-07-21

Applicant: 厦门大学

Inventor： 范晓亮 ,  彭朝鹏 ,  王铮 ,  蒋怡宁 ,  朱纪玉 ,  王程

IPC: G06F21/62 ,  G06N3/098 ,  G06F21/60

Abstract: 本发明公开了一种联邦学习大模型精调方法及装置，该方法包括：服务器端将预训练好的模型划分为第一模型和第二模型；客户端构建与第一模型结构一致的本地模型，并根据第一模型的参数固定本地模型参数；在每一轮通信中，客户端获取嵌入数据，并根据差分隐私机制对嵌入数据进行加密，以得到加密后的嵌入数据；服务器端将加密后的嵌入数据输入到第二模型，以得到输出数据；客户端根据输出数据计算模型损失，以便得到对应的梯度；服务器端根据梯度计算第二模型中的参数对应的梯度，并根据第二模型中的参数对应的梯度对第二模型进行更新，重复通信训练直至第二模型收敛；由此，通过联邦分离和差分隐私加密避免了私域数据和模型参数泄露的风险。

公开(公告)号：CN117010490A

公开(公告)日：2023-11-07

申请号：CN202310776719.3

申请日：2023-06-28

Applicant: 厦门大学

Inventor： 范晓亮 ,  彭朝鹏 ,  冯明宽 ,  郑传潘 ,  王程

IPC: G06N5/01 ,  G06N3/0442 ,  G06N3/08 ,  G06F18/25

Abstract: 本申请的实施例提供了一种基于图表示学习的数据插值方法、装置、介质及设备。该方法中对多重异质关系中目标预测节点和邻居节点之间的相似性和差异性同时进行建模，以聚合邻居节点的节点信息，得到目标预测节点的归纳式特征表示，并基于GRU神经网络在多重异质关系中自适应地根据邻居节点在时间维度上的信息流动模式指导目标预测节点时间相关性的建模，再在不同时间步动态地融合多重异质关系中学习到的目标预测节点的目标节点表示以输出目标预测节点的估计序列。本申请实施例的技术方案可以提高数据插值的合理性以及准确性。