一种基于通道梯度剪枝的柔性深度学习网络模型压缩方法

    公开(公告)号:CN112396179B

    公开(公告)日:2024-11-26

    申请号:CN202011308919.9

    申请日:2020-11-20

    Abstract: 一种基于通道梯度剪枝的柔性深度学习网络模型压缩方法,包括:步骤1、向原始网络添加遮掩层约束,获取待剪枝的深度卷积神经网络模型,步骤2、网络模型在数据集上训练,根据通道梯度和权值的乘积的绝对值作为重要性标准更新通道的遮掩层约束,得到掩码和稀疏模型,步骤3、基于掩码对稀疏模型做剪枝操作,步骤4、重训练紧凑的深度卷积神经网络模型。本发明还提供了基于通道梯度剪枝的柔性深度学习网络模型压缩方法在实际物体识别APP上的应用效果,剪枝后模型对物体的识别速度大幅提升,解决了深度神经网络模型因高存储空间占用,高内存占用,高计算资源占用导致无法部署到嵌入式、智能手机等设备上的技术问题,拓展了深度神经网络的应用范围。

    一种基于快速网络架构搜索的跨任务图像分类方法

    公开(公告)号:CN112508104B

    公开(公告)日:2024-11-05

    申请号:CN202011441402.7

    申请日:2020-12-08

    Abstract: 本发明提供了一种基于快速网络架构搜索的跨任务图像分类方法,用于在多个图像分类任务中搜索最佳的神经网络架构。具体包括以下步骤,步骤1、获取用于神经网络架构搜索的多任务数据集,步骤2、构建一个包含候选网络权重的超级网络和一个由候选网络结构编码而成的结构种群,步骤3、在多任务数据集上进行跨任务搜索,搜索结果包含超级网络和结构种群,步骤4、基于步骤3的搜索结果,在新任务上快速搜索最佳网络架构。本发明适用于多任务但单个任务内图片数量非常少的情况下的神经网络架构自动搜索,相比其他神经网络架构搜索方法,搜索到单任务上分类性能最佳的网络的时间要少30倍。

    一种基于快速网络架构搜索的跨任务图像分类方法

    公开(公告)号:CN112508104A

    公开(公告)日:2021-03-16

    申请号:CN202011441402.7

    申请日:2020-12-08

    Abstract: 本发明提供了一种基于快速网络架构搜索的跨任务图像分类方法,用于在多个图像分类任务中搜索最佳的神经网络架构。具体包括以下步骤,步骤1、获取用于神经网络架构搜索的多任务数据集,步骤2、构建一个包含候选网络权重的超级网络和一个由候选网络结构编码而成的结构种群,步骤3、在多任务数据集上进行跨任务搜索,搜索结果包含超级网络和结构种群,步骤4、基于步骤3的搜索结果,在新任务上快速搜索最佳网络架构。本发明适用于多任务但单个任务内图片数量非常少的情况下的神经网络架构自动搜索,相比其他神经网络架构搜索方法,搜索到单任务上分类性能最佳的网络的时间要少30倍。

    一种基于通道梯度剪枝的柔性深度学习网络模型压缩方法

    公开(公告)号:CN112396179A

    公开(公告)日:2021-02-23

    申请号:CN202011308919.9

    申请日:2020-11-20

    Abstract: 一种基于通道梯度剪枝的柔性深度学习网络模型压缩方法,包括:步骤1、向原始网络添加遮掩层约束,获取待剪枝的深度卷积神经网络模型,步骤2、网络模型在数据集上训练,根据通道梯度和权值的乘积的绝对值作为重要性标准更新通道的遮掩层约束,得到掩码和稀疏模型,步骤3、基于掩码对稀疏模型做剪枝操作,步骤4、重训练紧凑的深度卷积神经网络模型。本发明还提供了基于通道梯度剪枝的柔性深度学习网络模型压缩方法在实际物体识别APP上的应用效果,剪枝后模型对物体的识别速度大幅提升,解决了深度神经网络模型因高存储空间占用,高内存占用,高计算资源占用导致无法部署到嵌入式、智能手机等设备上的技术问题,拓展了深度神经网络的应用范围。

Patent Agency Ranking