-
公开(公告)号：CN115456191A
公开(公告)日：2022-12-09
申请号：CN202210914946.3
申请日：2022-08-01
Applicant: 厦门大学
IPC: G06N20/00
Abstract: 本发明公开了一种联邦学习平台，通过任务预处理模块对机器学习任务对应的原始数据集进行预处理，以生成所述机器学习任务对应的子联邦任务，以及获取所述机器学习任务对应的模型；任务运行模块加载机器学习任务对应的子联邦任务和对应的模型，以便完成联邦训练初始化；联邦训练模块根据子联邦任务和对应的模型模拟服务端和用户端进行联邦学习以完成联邦训练；由此，能够将传统机器学习任务转化为联邦训练场景的通用任务处理范式，使得联邦学习在任意机器学习任务上的效果能够被快速验证。
-
Patent Agency Ranking
公开(公告)号：CN117056962A
公开(公告)日：2023-11-14
申请号：CN202310903744.3
申请日：2023-07-21
Applicant: 厦门大学
Abstract: 本发明公开了一种联邦学习大模型精调方法及装置，该方法包括：服务器端将预训练好的模型划分为第一模型和第二模型；客户端构建与第一模型结构一致的本地模型，并根据第一模型的参数固定本地模型参数；在每一轮通信中，客户端获取嵌入数据，并根据差分隐私机制对嵌入数据进行加密，以得到加密后的嵌入数据；服务器端将加密后的嵌入数据输入到第二模型，以得到输出数据；客户端根据输出数据计算模型损失，以便得到对应的梯度；服务器端根据梯度计算第二模型中的参数对应的梯度，并根据第二模型中的参数对应的梯度对第二模型进行更新，重复通信训练直至第二模型收敛；由此，通过联邦分离和差分隐私加密避免了私域数据和模型参数泄露的风险。
-
公开(公告)号：CN112906911B
公开(公告)日：2022-07-01
申请号：CN202110150143.0
申请日：2021-02-03
Applicant: 厦门大学
IPC: G06N20/20
Abstract: 本发明公开了一种联邦学习的模型训练方法、介质及设备，其中方法包括：选取评测客户端；进行模型预训练，以提取评测数据集；根据内部评测训练集进行模型的训练，以生成评测模型，并计算第一损失值；将评测模型广播给各个客户端，并获取第二损失值，以及计算第一累积分布和第二累积分布；计算损失值上限值，并将损失值上限值广播给对应的客户端，以便每个客户端进行噪声过滤，得到客户端网络模型；每个客户端计算质量因子，并将质量因子和客户端网络模型发送给服务器，以便服务器根据质量因子和客户端网络模型进行聚合，得到服务器模型；能够消除潜在的数据偏见，对客户端采集的数据进行有效过滤，提高联邦学习模型的准确度。
-
公开(公告)号：CN115496121A
公开(公告)日：2022-12-20
申请号：CN202210466824.2
申请日：2022-04-29
Applicant: 厦门大学
Abstract: 本发明公开了一种基于联邦学习的模型训练方法及装置，其中方法包括：在每轮通信中，服务器获取用户上传的模型参数和训练损失，并更新用户历史梯度列表，其中用户历史梯度列表包括所有用户最新的梯度和该梯度所属的轮数；服务器计算出当前轮采样到的用户的平均梯度；服务器计算出当前轮未采样到的用户历史梯度中与平均梯度两两之间余弦夹角值中的最小值，通过一个带约束的非线性规划目标函数优化得到该轮更新的全局梯度，从而得到最终聚合后的模型；由此，在不损害未采样到的用户模型的前提下优化了全局模型，提升了模型在当前轮对未采样到的用户的代表性，降低了服务器选择用户时的采样偏差的负面影响，从而提高了联邦学习模型的准确度和公平性。
-
公开(公告)号：CN113326949A
公开(公告)日：2021-08-31
申请号：CN202110399316.2
申请日：2021-04-14
Applicant: 厦门大学
Abstract: 本发明公开了一种联邦学习的模型参数优化方法及系统，方法包括：获取多个客户端上传的模型参数及其对应的训练损失；计算每个客户端对应的梯度，以便更新历史梯度列表；根据训练损失对每个客户端对应的梯度进行排序，并依次判断每个客户端对应的梯度与除自身外的其他梯度之间是否存在矛盾分量；如果是，则采用投影的方式依次消去每个客户端对应的梯度与其他梯度相矛盾的分量，以得到每个客户端投影后的梯度并进行聚合以得到初步梯度；从某一轮起按轮数判断初步梯度与那一轮中被采样且当前轮未被采样的客户端的历史梯度之间是否存在矛盾分量；如果是，则采用投影的方式消除初步梯度中与那一轮的所有矛盾分量的总和；从而提高联邦学习模型的公平性。
-
公开(公告)号：CN112906911A
公开(公告)日：2021-06-04
申请号：CN202110150143.0
申请日：2021-02-03
Applicant: 厦门大学
IPC: G06N20/20
Abstract: 本发明公开了一种联邦学习的模型训练方法、介质及设备，其中方法包括：选取评测客户端；进行模型预训练，以提取评测数据集；根据内部评测训练集进行模型的训练，以生成评测模型，并计算第一损失值；将评测模型广播给各个客户端，并获取第二损失值，以及计算第一累积分布和第二累积分布；计算损失值上限值，并将损失值上限值广播给对应的客户端，以便每个客户端进行噪声过滤，得到客户端网络模型；每个客户端计算质量因子，并将质量因子和客户端网络模型发送给服务器，以便服务器根据质量因子和客户端网络模型进行聚合，得到服务器模型；能够消除潜在的数据偏见，对客户端采集的数据进行有效过滤，提高联邦学习模型的准确度。
-
-
-
-
-
Search Results
6
records
(took 0.021 seconds)
