公开(公告)号：CN116306808A

公开(公告)日：2023-06-23

申请号：CN202310147699.3

申请日：2023-02-20

Applicant: 北京邮电大学

Inventor： 高志鹏 ,  莫梓嘉 ,  芮兰兰 ,  杨杨 ,  赵晨 ,  俞新蕾 ,  冯夫腾

IPC: G06N3/0464 ,  G06N3/082 ,  G06V40/10 ,  G06V10/774 ,  G06V10/82

Abstract: 本发明提供一种联合动态剪枝和条件卷积的卷积神经网络压缩方法及装置，所述方法包括：将训练样本集输入卷积神经网络得到卷积神经网络中各卷积层的输入特征和输出特征，计算每个卷积层各输入特征间的通道显著性相似度和各输出特征间的样本相似度并构建第一总损失函数，采用第一总损失函数对卷积神经网络迭代得到第一轻量化模型和多个第二轻量化模型，当第一轻量化模型的预测值未达到设定阈值，则将各第二轻量化模型的卷积层与第一轻量化模型卷积层的组合系数组合形成集成模型，并输出预测值。本发明能够根据不同的样本数据对模型进行自适应调整和剪枝，实现模型压缩，同时提高了模型效率。

公开(公告)号：CN116229170A

公开(公告)日：2023-06-06

申请号：CN202310199005.0

申请日：2023-03-03

Applicant: 北京邮电大学

Inventor： 高志鹏 ,  赵晨 ,  杨杨 ,  芮兰兰 ,  莫梓嘉 ,  俞新蕾 ,  段应文

IPC: G06V10/764 ,  G06V10/82 ,  G06V10/774 ,  G06N3/0464 ,  G06N3/0895 ,  G06N5/02

Abstract: 本发明提供一种基于任务迁移的联邦无监督图像分类模型训练方法、分类方法及设备：获取包含完整标签和部分标签的本地数据集；获取初始神经网络模型，其包括自适应增量层和深度迁移模块；自适应增量层为在初始神经网络模型的每个卷积层后添加一个全连接层；在深度迁移模块中构建域分类和域混淆的竞争机制，并采用知识蒸馏方法保存相关类别之间的信息；采用本地数据集为模型进行训练，构建域分类损失、域混淆损失和软标签损失的联合损失，并根据分类任务平均精度确定任务优先级，训练得到初始图像分类模型；基于各客户端模型参数构建共享模型，并根据共享模型参数更新初始图像分类模型。本发明提供的图像分类模型精度高且能保留个性化局部模型。

公开(公告)号：CN116310530A

公开(公告)日：2023-06-23

申请号：CN202310205865.0

申请日：2023-03-03

Applicant: 北京邮电大学

Inventor： 高志鹏 ,  赵晨 ,  杨杨 ,  芮兰兰 ,  莫梓嘉 ,  俞新蕾 ,  熊子健

IPC: G06V10/764 ,  G06V10/762 ,  G06V10/774 ,  G06V10/82 ,  G06V10/74 ,  G06N3/047 ,  G06N3/08 ,  G06N3/088 ,  G06N3/098

Abstract: 本发明提供一种基于语义聚类的联邦无监督图像分类模型训练方法、分类方法及设备：获取客户端本地数据集；获取初始模型，包括语义聚类模型和预训练得到的编码器网络；将本地数据集随机增强两次生成两个视图，输入初始编码器网络，提取特征向量并构建对比损失，训练得到编码器网络；将本地数据集输入编码器网络提取特征向量，并提取样本的Top‑K近邻样本，利用预设函数计算样本所属于不同集群的向量值，得到样本的类别；采用本地数据集对初始模型训练，构建聚类损失，以得到初始图像分类模型；基于各客户端模型参数构建设有自标记模块的共享模型，并根据共享模型参数更新初始图像分类模型。本发明提供的图像分类模型准确率高且适用非独立同分布场景。

公开(公告)号：CN116306904A

公开(公告)日：2023-06-23

申请号：CN202310125096.3

申请日：2023-02-16

Applicant: 北京邮电大学

Inventor： 高志鹏 ,  莫梓嘉 ,  杨杨 ,  芮兰兰 ,  赵晨 ,  俞新蕾 ,  冯夫腾

IPC: G06N3/096 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/047

Abstract: 本发明提供一种基于在线知识蒸馏的卷积神经网络量化方法及装置，所述方法包括：设置多个组员模型并对各组员模型进行权重量化和激活量化使得输出的预测值精度符合目标精度，将各组员模型的输出加权聚合成总目标，并基于总目标对组长模型进行知识蒸馏，采用总损失函数对组长模型迭代得到目标组长模型。本发明能够减少知识蒸馏时计算资源和计算时间的浪费，同时提高了目标组长模型的精度。

公开(公告)号：CN116229172A

公开(公告)日：2023-06-06

申请号：CN202310207512.4

申请日：2023-03-03

Applicant: 北京邮电大学

Inventor： 高志鹏 ,  赵晨 ,  芮兰兰 ,  杨杨 ,  莫梓嘉 ,  俞新蕾 ,  杨岩

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/048 ,  G06N3/08 ,  G06V10/74 ,  G06N3/0464 ,  G06N3/098

Abstract: 本发明提供一种基于对比学习的联邦少样本图像分类模型训练方法、分类方法及设备，包括：构建训练集和查询集，为训练集添加真实标签；获取初始模型，该初始模型包括嵌入网络和关系网络；将训练集样本和查询集样本成对输入嵌入网络，提取训练集样本特征图和查询集样本特征图并进行拼接，生成拼接特征图；将拼接特征图输入关系网络计算得到相似度分数，以得到训练集样本的类别；采用本地数据集对初始模型进行训练，并构建均方误差损失，得到初始图像分类模型；基于各客户端模型参数构建共享模型，并根据共享模型参数，采用指数移动平均更新所述初始图像分类模型，得到最终的图像分类模型。本发明提供的联邦学习模型训练简单且适用非独立同分布场景。

公开(公告)号：CN114358120A

公开(公告)日：2022-04-15

申请号：CN202111452498.1

申请日：2021-11-30

Applicant: 北京邮电大学

Inventor： 高志鹏 ,  芮兰兰 ,  杨杨 ,  杨岩 ,  赵晨 ,  莫梓嘉 ,  林怡静 ,  俞新蕾

IPC: G06K9/62 ,  G06N20/00 ,  G06N3/08 ,  G06F21/62 ,  G06V10/94 ,  G06V10/762 ,  G06V10/774 ,  G06V10/82 ,  G06V40/16

Abstract: 本申请实施例提供数据摘要生成方法、模型训练方法、相关装置及系统，其中的数据摘要生成方法包括：根据接收的全局模型的模型参数以及本地的训练数据所属的模型训练贡献层级，自适应生成本地的训练数据对应的数据摘要，其中，本地的训练数据与多份非本地的训练数据分布式设置，且各份训练数据各自所属的模型训练贡献层级为预先对各份训练数据分别进行分层聚类而得；输出本地的训练数据对应的数据摘要以基于各份训练数据各自对应的数据摘要共同训练全局模型。本申请能够有效提高生成数据摘要的针对性及自适应性，并能够提高数据摘要在分布式学习过程中的有效性及可靠性，进而能够有效提高使用数据摘要训练得到的全局模型的应用有效性及准确性。