公开(公告)号：CN114386570B

公开(公告)日：2025-04-08

申请号：CN202111575862.3

申请日：2021-12-21

Applicant: 中山大学

Inventor： 陈旭 ,  崔嘉洛 ,  周知

IPC: G06N3/098 ,  G06N3/082 ,  G06N3/084 ,  G06N3/096 ,  G06N3/04

Abstract: 本发明涉及一种基于多分支神经网络模型的异构联邦学习训练方法。引入了一个多分支神经网络模型作为共享的全局模型，可以根据不同设备的计算能力来匹配适合的子分支模型，可以很好地适应异构计算资源的场景，充分利用不同设备的计算资源，从而有效地提高整个异构联邦学习训练系统的性能和效率；针对多分支模型的特点，本发明提出一种基于共享层参数的多分支模型聚合方法，可以将不同的子分支模型聚合形成一个全局的多分支模型，从而使得不同设备模型之间能够有效地共享模型参数；在参数聚合的基础上，本发明还引入了蒸馏学习以解决模型聚合后性能波动的问题，从而加速全局模型的收敛速度，减少所需的训练轮数，节约通信消耗。

公开(公告)号：CN119761580A

公开(公告)日：2025-04-04

申请号：CN202411888809.2

申请日：2024-12-20

Applicant: 电子科技大学

Inventor： 匡育衡 ,  王正宁 ,  印梦超 ,  王正 ,  张建平 ,  张毓丁 ,  石镇瑜

IPC: G06Q10/04 ,  G06T3/4038 ,  G06V10/80 ,  G06V10/77 ,  G06V10/82 ,  G06T5/50 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/098 ,  G06F17/16

Abstract: 本发明公开了一种基于双注意力时空图卷积的飞行器4D轨迹预测方法及系统，属于工智能时序预测技术领域。本申请利用自注意力机制对预定义邻接矩阵进行重构，并随着网络的训练不断进行优化以提高其泛化性。这有效解决了基于距离的预定义邻接矩阵无法充分反应动态场景中飞行器之间潜在关系的问题。在基于自注意力机制的可学习邻接矩阵的基础上，本申请利用图注意力网络进一步聚合节点之间的相关性，基于图注意力网络强大的全局信息汇聚能力对时空图进行额外的特征提取，使得模型能够捕捉节点之间更多的潜在联系，改善了传统图卷积运算无法有效聚合节点之间相关性的问题。进一步提升了飞行器未来轨迹预测的精确性。

公开(公告)号：CN119761462A

公开(公告)日：2025-04-04

申请号：CN202510264628.0

申请日：2025-03-07

Applicant: 山东大学

Inventor： 王淑鹏 ,  王光臣 ,  聂天洋 ,  吴臻 ,  张慧 ,  贾俊青 ,  蒋晓芸

IPC: G06N3/098 ,  G06N5/04 ,  G06F9/50

Abstract: 本发明提出了用于处理异质训练任务种群的分布式AI训练方法及系统，属于人工智能深度学习领域，包括：实时采集分布式AI训练相关的数据；将采集的数据进行统一处理并构建任务状态矩阵和资源状态矩阵；构建大规模多种群平均场博弈模型：将任务的训练进度、任务的资源请求策略、全局任务分配和资源使用情况以及任务间的资源竞争与同步导致的影响分别作为状态变量、控制变量、系统状态以及非局部相互作用构建出大规模多种群平均场博弈模型；对上述大规模多种群平均场博弈模型求解，并基于求解结果生成最优资源分配策略，分配任务所需的计算资源并确保节点负载均衡。

公开(公告)号：CN119761461A

公开(公告)日：2025-04-04

申请号：CN202411826732.6

申请日：2024-12-12

Applicant: 湖南大学

Inventor： 徐旸 ,  安佳杰 ,  张程 ,  谭江浩 ,  靳文强 ,  唐卓 ,  李肯立 ,  张尧学

IPC: G06N3/098 ,  G06F18/21 ,  G06F18/23 ,  G06F21/62 ,  G06F21/31 ,  G06F21/60 ,  H04L9/00

Abstract: 本发明公开了一种保护客户端偏好隐私的混淆聚类联邦学习方法及系统，方法包括：聚类初始化步骤：S1.服务器将为每个聚类初始化模型，公钥和地址并发送给客户端；聚类身份生成步骤：S2.客户端选取损失值最小的模型，生成真实聚类标识符并进行本地更新。按照混淆比例生成多个混淆聚类身份，将其与标识符和本地模型发送给服务器，根据聚类身份进行混淆聚类。在聚类中聚合本地模型和标识符，生成混淆聚类模型和系数矩阵；聚类模型重建步骤：S3.客户端接收到服务器发送的混淆聚类模型和系数矩阵后，求解非齐次线性方程重建准确的聚类模型。进行多轮训练，直到模型符合标准。本发明能够抵御聚类联邦学习中偏好分析攻击，并且模型精度损失较小。

公开(公告)号：CN119761410A

公开(公告)日：2025-04-04

申请号：CN202510272823.8

申请日：2025-03-10

Applicant: 北京邮电大学

Inventor： 杜军平 ,  王嘉 ,  李雅文 ,  薛哲 ,  梁美玉

IPC: G06N3/042 ,  G06F17/16 ,  G06N3/098 ,  G06F18/23 ,  G06F18/241

Abstract: 本发明提供一种掩码遮罩的横向联邦异质图学习方法及装置，包含客户端本地训练与全局聚合两阶段。客户端基于全局服务器分发的初始参数部署本地模型，利用动态生成的掩码遮罩随机遮掩输入特征以挖掘高阶拓扑结构，通过边重构损失优化拓扑感知能力；同时随机遮掩节点属性并动态调整遮掩比例，结合一致性语义损失增强语义鲁棒性；联合节点分类损失共同更新本地参数。全局聚合阶段，服务器根据各客户端指定元路径下的边集计算聚类系数衡量图结构紧密度，结合节点数量动态分配聚合权重，融合拓扑信息丰富的客户端参数，迭代优化全局模型。本发明能够克服客户端数据动态变化导致的语义不一致问题，捕捉局部图结构价值，提升全局泛化能力与收敛效率。

公开(公告)号：CN119760761A

公开(公告)日：2025-04-04

申请号：CN202411594157.1

申请日：2024-11-08

Applicant: 清华大学深圳国际研究生院

Inventor： 韩宇星 ,  朱公溪 ,  赵心远

IPC: G06F21/62 ,  G06N3/0499 ,  G06N3/098

Abstract: 本公开涉及一种模型的处理方法、介质、电子设备、服务器和程序产品，涉及计算机技术领域，该方法包括：获取待遗忘的样本数据和样本数据对应的第一样本标签；根据样本数据，随机生成第二样本标签；第二样本标签与第一样本标签不同；根据样本数据和第二样本标签，对第一数据模型进行重训练，得到第二数据模型；将第二数据模型发送至服务器，以便服务器根据第二数据模型，确定目标数据模型。通过对待遗忘的样本数据生成完全随机的误导标签，也即第二样本标签，进而根据样本数据和第二样本标签对第一数据模型进行重训练，使模型对待遗忘的样本数据产生决策偏移，从而达到学习失效遗忘数据的效果。

公开(公告)号：CN114970699B

公开(公告)日：2025-04-04

申请号：CN202210536445.6

申请日：2022-05-17

Applicant: 北京科技大学 ,  北京科技大学顺德研究生院

Inventor： 王睿 ,  孙叶桃 ,  李倩

IPC: G06F18/214 ,  G06F21/60 ,  G06N3/098 ,  H04L9/40

Abstract: 本发明公开了一种基于联邦学习的客户端筛选补充方法，包括：参数服务器在预定的时间约束下接收已满足本地更新轮次的客户端，作为聚合子集的第一部分；通过指标衡量各客户端样本标签分布情况，在第一部分聚合子集的基础上，通过客户端之间的随机加和以及非对称加密技术的结合，实现指标信息的加密传输，并计算第一部分聚合子集的平均指标信息，上传至参数服务器；参数服务器将平均指标信息作为询问信息下发给剩余客户端，选取自身指标信息小于等于平均指标信息的剩余客户端作为补充客户端，与第一部分的客户端进行组合补充，形成完整的聚合子集。本发明能够有效提升联邦学习框架下进行全局模型更新的收敛效率。

公开(公告)号：CN114969838B

公开(公告)日：2025-04-04

申请号：CN202210570125.2

申请日：2022-05-24

Applicant: 华东师范大学

Inventor： 陈铭松 ,  夏珺 ,  胡铭 ,  张毅

IPC: G06F21/64 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/098 ,  G06F18/25 ,  G06F21/33

Abstract: 本发明公开了一种基于协作学习的信息物理系统高效屏障证书生成方法，所述方法包括如下步骤：步骤一、对信息物理系统抽象建模成的约束连续系统中定义的约束条件进行形式化定义，获得系统域、初始状态集合、不安全状态集合，对上述集合分别进行高频采样和低频采样，生成用于获得屏障证书的训练数据；步骤二、利用低频采样获得的数据预训练初始模型，获得能够近似反映屏障证书的中间模型；步骤三、将步骤二中获得的中间模型作为初始模型，利用从节点进行协同学习，获得最终的屏障证书。本发明中的方法相对于现有的方法生成时间减少，生成成功率提高，而且可以为现阶段最先进的神经网络技术都无法处理的复杂系统合成屏障证书。

公开(公告)号：CN114611689B

公开(公告)日：2025-04-04

申请号：CN202210100881.9

申请日：2022-01-27

Applicant: 北京邮电大学

Inventor： 徐梦炜 ,  袁进良 ,  周傲 ,  马骁 ,  孙其博 ,  王尚广

IPC: G06N3/098 ,  G06N3/04

Abstract: 本发明提供了一种低精度整型表示下的联邦学习方法，包括：服务器对全局浮点数模型进行初始化，并选择终端；将全局浮点数模型量化为整型的全局整型模型；服务器将全局整型模型发送至终端；终端利用训练数据对获取的全局整型模型进行训练，得到整型的低精度模型；终端将低精度模型传输至服务器；服务器对全局整型模型以及低精度模型反量化，利用反量化后的全局整型模型以及反量化后的低精度模型更新全局浮点数模型；重复上述初始化之后的步骤直至所述全局浮点数模型收敛或达到预设的训练次数；本发明通过设计一个全整型表示的神经网络训练算法解决终端浮点数运算的能耗问题并通过设计一个低精度模型聚合算法解决低精度联邦学习的精度问题。

公开(公告)号：CN119740637A

公开(公告)日：2025-04-01

申请号：CN202411753264.4

申请日：2024-12-02

Applicant: 广州芳禾数据有限公司

Inventor： 童瑶 ,  梁文锋 ,  梁友 ,  温丹华 ,  戴永林 ,  彭乾

IPC: G06N3/098 ,  G06F21/62 ,  G06F21/71 ,  G06F21/60

Abstract: 本发明涉及隐私计算应用的技术领域，提出一种基于数据增强和L2增强防御的恶意安全联邦学习方法，包括以下步骤：本地客户端各自生成平均样本数据，并加密发送至服务器；每个本地客户端各自结合从服务器接收到的加密的平均样本数据和本地数据对其本地模型进行训练，得到训练好的本地模型的梯度向量，并加密将梯度向量发送至服务器；服务器保留分量长度不超过预设的分量长度阈值的梯度向量，计算保留的梯度向量的梯度值对应的L2范数，得到梯度L2范数；将梯度L2范数超过预设上限的梯度值过滤，并利用最终保留的梯度值对全局模型进行更新；该方法能够提高全局模型的性能、保护隐私并通过抵御梯度增加降低模型被破坏风险。