公开(公告)号：CN117725416A

公开(公告)日：2024-03-19

申请号：CN202311772627.4

申请日：2023-12-21

Applicant: 浙江工商大学 ,  浙大城市学院 ,  浙江鹏信信息科技股份有限公司

Inventor： 韩嵩 ,  丁鸿鑫 ,  陈晓莉 ,  任思琪 ,  赵帅 ,  林建洪 ,  戴其羽 ,  周树浩

IPC: G06F18/214 ,  G06F18/25 ,  G06F21/62 ,  G06N3/0475 ,  G06N3/045 ,  G06N3/094

Abstract: 本发明公开了一种面向跨设备场景的数据隐私保护联邦生成对抗网络训练方法及系统，该系统可以生成高质量的合成数据，用于解决数据短缺的问题。本发明采用差分隐私技术来确保用户数据在训练过程中的隐私性和安全性。此外，本发明提供一种知识转移方案，该方案通过用户的知识来选择潜在的高质量数据，以提高合成数据的效用。本发明实现了在跨设备场景中高效、安全的生成模型训练，并限制资源受限设备的权限，防止其泄漏或滥用生成器。

公开(公告)号：CN117749484A

公开(公告)日：2024-03-22

申请号：CN202311761433.4

申请日：2023-12-20

Applicant: 浙江工商大学 ,  浙大城市学院 ,  浙江大学

Inventor： 韩嵩 ,  周树浩 ,  王志波 ,  任思琪 ,  赵帅 ,  贺诗波 ,  任奎 ,  秦湛

IPC: H04L9/40 ,  H04L9/08 ,  G06N3/098

Abstract: 本发明公开了一种面向资源受限设备且具有隐私保护的联邦组模型训练方法及系统，包括：基于设备的资源对参与联邦学习的所有设备进行分组，并根据任务模型对这些分组定制组模型，所述模型为深度学习模型；构建ReDe层，用于重映射用户上传的特征映射，确保服务器端组子模型的训练；利用知识蒸馏，从任务模型的预测中提取额外的训练信息加入到训练损失中来提升组模型的精度；设计补偿损失和漂移校正，减少非独立同分布的数据分布所带来的客户漂移影响；结合内积函数加密，保证参与者训练过程中的隐私安全。本发明让更多资源受限的设备能够参与联邦学习，同时保证了参与者的隐私安全，并且在非独立同分布的数据分布下仍有较高的预测准确性。

公开(公告)号：CN117744761A

公开(公告)日：2024-03-22

申请号：CN202311806853.X

申请日：2023-12-26

Applicant: 浙江工商大学 ,  浙大城市学院

Inventor： 韩嵩 ,  戴其羽 ,  任思琪 ,  赵帅 ,  王硕苹 ,  丁鸿鑫 ,  周树浩

IPC: G06N3/098 ,  G06N3/096 ,  G06N3/0895

Abstract: 本发明公开了一种支持数据异构的基于监督对比学习的联邦模型训练方法及系统。本发明通过在横向联邦学习中的每一轮训练过程中，中心服务器下发全局编码器，本地客户端利用全局编码器与本地编码器进行知识蒸馏与监督对比学习，得到训练完成的本地编码器后上传给中心服务器，中心服务器权重聚合得到的本地编码器得到新的全局编码器，并利用公共数据集得到一个通用的预测器。本发明让更多数据分布不同的设备能够参与联邦学习，同时保证了参与者的隐私安全，利用知识蒸馏加快了客户端的训练效率并提升学习性能，利用了监督对比学习利用了数据之间内在的联系，提高了模型的学习性能，增强了模型对数据异构的抗性。