公开(公告)号：CN118095410A

公开(公告)日：2024-05-28

申请号：CN202410062281.7

申请日：2024-01-16

Applicant: 北京邮电大学 ,  联通时科(北京)信息技术有限公司

Inventor： 徐思雅 ,  喻鹏 ,  温鑫岩 ,  丰雷 ,  周凡钦 ,  杨晓春 ,  高飞 ,  王亚斌 ,  白龙 ,  陈曦 ,  尹超 ,  张雅君 ,  颜秉宏

IPC: G06N3/098 ,  G06N3/0455

Abstract: 本发明提供一种神经网络架构搜索的联邦学习参数高效微调方法及装置。该方法包括：基于联邦学习架构中客户端的预训练语言模型进行神经网络架构搜索中，对预训练语言模型的结构参数和参数高效微调模块进行迭代优化，获得第一结构参数和第一参数高效微调模块，并对其进行迭代聚合处理，获得全局结构参数和全局参数高效微调模块；基于全局参数高效微调模块和全局结构参数对客户端的预训练语言模型的第一结构参数和第一参数高效微调模块进行参数更新处理，获得参数更新结果，并基于参数更新结果对预训练语言模型进行微调，获得微调结果。本发明提供的方法，能够有效提高联邦学习参数高效微调效率和准确率，从而降低了通信成本。

公开(公告)号：CN118014035A

公开(公告)日：2024-05-10

申请号：CN202311814341.8

申请日：2023-12-26

Applicant: 北京邮电大学 ,  联通时科(北京)信息技术有限公司

Inventor： 徐思雅 ,  李文璟 ,  温鑫岩 ,  周凡钦 ,  丰雷 ,  杨晓春 ,  高飞 ,  王亚斌 ,  白龙 ,  陈曦 ,  尹超 ,  孙世键 ,  苏莹 ,  郭悦靓

IPC: G06N3/08 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/0499 ,  G06N3/0455

Abstract: 本发明提供一种基于自动化适配器的参数高效微调方法及装置，涉及人工智能技术领域，方法包括：获取预训练模型；在预训练模型的候选位置并行插入在先创建的适配器，得到待训练模型；其中，候选位置包括预训练模型的前馈模块、多头注意力模块和整个网络层；利用预设消融机制和神经网络架构搜索，对待训练模型进行训练，以利用适配器对预训练模型进行参数高效微调。本发明通过在预训练模型的候选位置并行插入适配器，并利用预设消融机制和神经网络架构搜索，对插入适配器的预训练模型进行训练，以提高最终适配器对预训练模型的微调性能，在确保少量可调参数的情况下提供强大的性能，进一步减少了微调计算开销，提高了参数高效微调精度。

公开(公告)号：CN115941790A

公开(公告)日：2023-04-07

申请号：CN202211329613.0

申请日：2022-10-27

Applicant: 北京邮电大学 ,  国网河南省电力公司信息通信公司 ,  国网河南省电力公司

Inventor： 徐思雅 ,  迟靖烨 ,  孟慧平 ,  温鑫岩 ,  郭少勇 ,  邵苏杰 ,  高峰 ,  张博洋 ,  谢波

IPC: H04L67/568 ,  H04L67/60 ,  H04L67/12 ,  H04L67/06

Abstract: 本发明提供一种边缘协同内容缓存方法、装置、设备及存储介质，包括：获取协作缓存域内各个服务车辆的业务偏好数据；将各历史偏好数据输入至联邦预测模型，得到组件需求预测结果；联邦预测模型是基于协作缓存域中边缘节点内的各个服务车辆的历史偏好数据进行联邦学习训练获得；基于组件需求预测结果，计算得到全局最优预缓存策略，以将全局最优预缓存策略的预缓存组件缓存至边缘节点。本发明通过联邦预测模型预测车辆服务组件需求，有效避免车辆隐私数据的泄露，并且基于组件需求预测结果，计算得到最优预缓存策略，以将服务组件预先缓存至边缘节点中，使得当接收到车辆服务请求时，可快速将边缘节点缓存的服务组件交付给车辆。