-
公开(公告)号:CN119026710A
公开(公告)日:2024-11-26
申请号:CN202411507923.6
申请日:2024-10-28
Applicant: 清华大学
IPC: G06N20/20 , G06F18/214 , G06F18/23
Abstract: 本发明公开了一种基于关键参数的个性化鲁棒聚合方法、装置及存储介质,该方法包括接收各本地节点发送的关键参数向量和本地模型;基于各本地节点的关键参数向量,得到本地节点的聚类分组结果;基于本地节点的聚类分组结果,得到各本地节点的安全得分和聚合权重;基于各本地节点的安全得分、聚合权重、聚类分组结果和关键参数向量对各本地模型进行聚合,得到各本地节点当前轮次的全局模型;将各本地节点当前轮次的全局模型发送至各本地节点,重复上述步骤,直至协作训练完成。由此,实现了异构场景下的拜占庭鲁棒个性化协作学习,提高了协作学习模型的鲁棒性和协作训练的安全性。
-
公开(公告)号:CN118334213A
公开(公告)日:2024-07-12
申请号:CN202410253047.2
申请日:2024-03-06
Applicant: 清华大学
IPC: G06T15/00 , G06T15/20 , G06T19/20 , G06V10/764 , G06F9/50
Abstract: 本申请提出了一种基于边缘计算的分布式实时渲染方法和装置,该方法包括:计算每一帧待渲染画面中的3D模型数据、视角数据和光照数据,通过深度学习的方式得到完整图像的画面分割方式,将对应的3D模型数据、视角数据和光照数据分发给每个边缘服务器,各个边缘服务器进行光栅化计算和光照计算生成局部图像,计算完毕后,将局部图像传输回终端设备整合成完整图像,在渲染的同时根据每一帧渲染的延迟和通信量生成经验训练智能体,以对画面分割方式进行调整。本申请能够使得渲染任务在各个边缘服务器之间分布得更加均匀,并且能够充分利用多数静态模型的世界位置不变的特点,显著减少3D模型数据在边缘服务器之间的传输,以最小化渲染延迟和通信传输量。
-
公开(公告)号:CN116489163A
公开(公告)日:2023-07-25
申请号:CN202310715439.1
申请日:2023-06-16
Applicant: 清华大学
IPC: H04L67/104 , H04L67/10 , G06N20/00
Abstract: 本发明公开了基于多链的边缘个性化协作学习方法及装置,该方法包括:在主链上发布当前轮次的协作学习任务,并获取初始主链全局模型;基于初始主链全局模型的参数优化结果得到各个自治链上对应的链内全局模型;协调边缘节点进行当前轮次的模型训练以得到各边缘节点的局部模型,并进行当前轮次的参数聚合得到一次聚合后自治链内全局模型;协调领导节点将聚合后自治链内全局模型在当前轮次参数进行二次聚合获得最终主链全局模型,最终主链全局模型进行当前轮次的模型参数微调得到当前轮次优化后的链内全局模型以完成当前轮次的协作学习任务。本发明能够针对不同网络场景进行定制化服务,以实现规模更大、兼容性更强以及更易于参与的协作学习任务。
-
公开(公告)号:CN117709486B
公开(公告)日:2024-04-19
申请号:CN202410161417.X
申请日:2024-02-05
Applicant: 清华大学
IPC: G06N20/00
Abstract: 本发明公开了一种面向协作学习的动态聚合方法及装置,该方法应用于协作学习的聚合节点,获取协作学习模型和参与协作学习模型的训练节点,并根据协作学习模型和训练节点的训练节点状态,得到初始化数据集;基于初始化数据集,构建并初始化面向协作学习动态聚合策略的初始强化学习模型;基于训练节点的实时训练节点状态与训练协作学习模型一个轮次所需的实际时间开销,在线训练初始强化学习模型,得到目标强化学习模型;基于目标强化学习模型的预测结果得到目标协作学习聚合策略,并利用目标协作学习聚合策略完成对协作学习模型的训练。本发明保证了协作学习过程中所有训练节点均参与训练,减少了训练节点整体闲置率,提高了全局训练效率与精确度。
-
公开(公告)号:CN117539449B
公开(公告)日:2024-03-29
申请号:CN202410028493.3
申请日:2024-01-09
Abstract: 本发明公开了一种高效灵活的协作学习框架及方法,该框架包括,协作学习训练环境初始化模块,用于提供协作学习的多种开发方式和训练配置;任务个性化定制模块,用于用户选择性的对模型训练任务进行自定义设置;智能打包传输模块,用于智能选择和打包模型训练任务对应的代码,并通过可执行文件的形式传输至客户端;任务扩展模块,用于根据需求添加辅助功能,以满足不同应用场景的需求。本发明提高了用户体验和开发效率,并使得用户无需了解底层算法逻辑,就可实现对其他功能模块的扩展,可扩展性强、适用场景广泛。
-
公开(公告)号:CN117709486A
公开(公告)日:2024-03-15
申请号:CN202410161417.X
申请日:2024-02-05
Applicant: 清华大学
IPC: G06N20/00
Abstract: 本发明公开了一种面向协作学习的动态聚合方法及装置,该方法应用于协作学习的聚合节点,获取协作学习模型和参与协作学习模型的训练节点,并根据协作学习模型和训练节点的训练节点状态,得到初始化数据集;基于初始化数据集,构建并初始化面向协作学习动态聚合策略的初始强化学习模型;基于训练节点的实时训练节点状态与训练协作学习模型一个轮次所需的实际时间开销,在线训练初始强化学习模型,得到目标强化学习模型;基于目标强化学习模型的预测结果得到目标协作学习聚合策略,并利用目标协作学习聚合策略完成对协作学习模型的训练。本发明保证了协作学习过程中所有训练节点均参与训练,减少了训练节点整体闲置率,提高了全局训练效率与精确度。
-
公开(公告)号:CN117251276B
公开(公告)日:2024-02-09
申请号:CN202311545748.5
申请日:2023-11-20
Applicant: 清华大学
Abstract: 本发明公开了一种面向协作学习平台的灵活调度方法及装置,本发明涉及下一代互联网技术领域,该方法,包括获取可用的控制节点和终端计算设备的基本信息;获取初始化后的待训练的协作学习任务队列中的训练任务;基于基本信息得到对应训练任务的所需的训练资源和训练数据;每个终端计算设备利用本地训练数据对初始化的全局模型进行训练得到各自的本地模型,并通过控制节点对完成本地训练后的本地模型进行分组参数聚合得到聚合后的全局模型,以将聚合后的全局模型的模型参数下发给所有终端计算设备进行协作训练下一轮次的模型训练。本发明实现了对大量终端计算设备的分层管理,并充分利用空闲的计算资源,保证了协作学习任务高效地完成。
-
公开(公告)号:CN117251276A
公开(公告)日:2023-12-19
申请号:CN202311545748.5
申请日:2023-11-20
Applicant: 清华大学
Abstract: 本发明公开了一种面向协作学习平台的灵活调度方法及装置,本发明涉及下一代互联网技术领域,该方法,包括获取可用的控制节点和终端计算设备的基本信息;获取初始化后的待训练的协作学习任务队列中的训练任务;基于基本信息得到对应训练任务的所需的训练资源和训练数据;每个终端计算设备利用本地训练数据对初始化的全局模型进行训练得到各自的本地模型,并通过控制节点对完成本地训练后的本地模型进行分组参数聚合得到聚合后的全局模型,以将聚合后的全局模型的模型参数下发给所有终端计算设备进行协作训练下一轮次的模型训练。本发明实现了对大量终端计算设备的分层管理,并充分利用空闲的计算资源,保证了协作学习任务高效地完成。
-
公开(公告)号:CN119025879B
公开(公告)日:2025-02-28
申请号:CN202411515145.5
申请日:2024-10-28
Applicant: 支付宝(杭州)信息技术有限公司 , 清华大学
IPC: G06F18/21 , G06F18/214 , G06N5/04
Abstract: 本说明书实施例公开了一种大模型的安全性测评方法、装置及设备,该方法包括:获取用于对目标大模型进行安全性测评所需使用的测试集,测试集中包括测试样本数据和对应的标签信息;确定测试样本数据中后门触发器的停用词权重比例阈值,基于停用词权重比例阈值对预设的多个初始停用词组中的基准停用词当前所在的初始停用词组进行调整,得到多个目标停用词组;将测试样本数据中包含的当前处于第一目标停用词组的停用词,使用多个目标停用词组中的其它目标停用词组中与停用词相匹配的基准停用词替换,直到停用词权重比例满足预设条件,得到替换后的测试集;基于替换后的测试集对目标大模型进行安全性测评,以判断目标大模型是否存在越狱攻击风险。
-
公开(公告)号:CN119026710B
公开(公告)日:2025-02-11
申请号:CN202411507923.6
申请日:2024-10-28
Applicant: 清华大学
IPC: G06N20/20 , G06F18/214 , G06F18/23
Abstract: 本发明公开了一种基于关键参数的个性化鲁棒聚合方法、装置及存储介质,该方法包括接收各本地节点发送的关键参数向量和本地模型;基于各本地节点的关键参数向量,得到本地节点的聚类分组结果;基于本地节点的聚类分组结果,得到各本地节点的安全得分和聚合权重;基于各本地节点的安全得分、聚合权重、聚类分组结果和关键参数向量对各本地模型进行聚合,得到各本地节点当前轮次的全局模型;将各本地节点当前轮次的全局模型发送至各本地节点,重复上述步骤,直至协作训练完成。由此,实现了异构场景下的拜占庭鲁棒个性化协作学习,提高了协作学习模型的鲁棒性和协作训练的安全性。
-
-
-
-
-
-
-
-
-