-
公开(公告)号：CN113989561B
公开(公告)日：2024-04-16
申请号：CN202111268128.2
申请日：2021-10-29
Applicant: 河海大学
Abstract: 本发明公开了一种基于异步联邦学习的参数聚合更新方法、设备及系统。所述方法通过在参数服务器上保存权重摘要来保留工作节点的最新权重，并且所有工作节点所占权重比例相同，权重摘要通过每个工作节点只能更新自身摘要部分，限制了快节点高频更新对整体权重的影响；所述方法通过在参数服务器上设置版本感知机制对权重摘要的版本进行记录，使得参数服务器聚合时可以根据工作节点不同的版本确定不同的加权比例，当整体版本差距过大时，通过全局更新的方式将慢节点中使用的旧权重更新到最新权重，从而提高慢节点的更新效率，使参数服务器上的模型更快的收敛。本发明可有效地提高基于联邦学习的机器学习模型的训练速度。
-
公开(公告)号：CN112348199B
公开(公告)日：2022-08-30
申请号：CN202011194414.4
申请日：2020-10-30
Applicant: 河海大学
Abstract: 本发明涉及一种基于联邦学习与多任务学习的模型训练方法，将目标神经网络中各个全连接层划为目标神经网络的后部模型，以及将其中剩余部分划为目标神经网络的前部模型；由参数服务器负责更新各目标神经网络的前部模型，交换网络中的各个工作节点终端共同负责各目标神经网络的后部模型，如此应用联邦学习框架针对目标神经网络进行训练，通过对几个任务同时训练共同或相关的网络层，使得多个任务互相促进训练准确性，提高了模型收敛速率与泛化能力，获得目标神经网络高效训练的同时，能够保证基础数据的私密性与安全性。
-
公开(公告)号：CN113989561A
公开(公告)日：2022-01-28
申请号：CN202111268128.2
申请日：2021-10-29
Applicant: 河海大学
Abstract: 本发明公开了一种基于异步联邦学习的参数聚合更新方法、设备及系统。所述方法通过在参数服务器上保存权重摘要来保留工作节点的最新权重，并且所有工作节点所占权重比例相同，权重摘要通过每个工作节点只能更新自身摘要部分，限制了快节点高频更新对整体权重的影响；所述方法通过在参数服务器上设置版本感知机制对权重摘要的版本进行记录，使得参数服务器聚合时可以根据工作节点不同的版本确定不同的加权比例，当整体版本差距过大时，通过全局更新的方式将慢节点中使用的旧权重更新到最新权重，从而提高慢节点的更新效率，使参数服务器上的模型更快的收敛。本发明可有效地提高基于联邦学习的机器学习模型的训练速度。
-
公开(公告)号：CN112348199A
公开(公告)日：2021-02-09
申请号：CN202011194414.4
申请日：2020-10-30
Applicant: 河海大学
Abstract: 本发明涉及一种基于联邦学习与多任务学习的模型训练方法，将目标神经网络中各个全连接层划为目标神经网络的后部模型，以及将其中剩余部分划为目标神经网络的前部模型；由参数服务器负责更新各目标神经网络的前部模型，交换网络中的各个工作节点终端共同负责各目标神经网络的后部模型，如此应用联邦学习框架针对目标神经网络进行训练，通过对几个任务同时训练共同或相关的网络层，使得多个任务互相促进训练准确性，提高了模型收敛速率与泛化能力，获得目标神经网络高效训练的同时，能够保证基础数据的私密性与安全性。
-
-
-
Search Results
4
records
(took 0.024 seconds)
