-
公开(公告)号：CN116340769A
公开(公告)日：2023-06-27
申请号：CN202310198651.5
申请日：2023-03-03
Applicant: 厦门大学
IPC: G06F18/214 , G06N3/08 , G06N3/0464
Abstract: 用于高效N:M稀疏训练的双向掩码，涉及人工神经网络的压缩与加速。1)在权重的行维度根据权重大小计算前向掩码；2)利用前向掩码计算稀疏前向传播过程中权重的最优行排列，对前向稀疏权重按行重排列；3)对重排列后的稀疏权重在列维度根据稀疏权重大小计算反向掩码，保持行置换和不行置换之间相同的输出，缩小单向和双向掩码之间的梯度差距；4)利用随机梯度下降方法对深度神经网络有效优化卷积层及其N:M稀疏性。在前向和反向传播的两个方向上分离稀疏掩码以获得训练加速度，实现前向和反向权重的稀疏性，克服密集的梯度计算的问题。实现保持性能的有效权重行重排列方法，很好地最小化传统单向掩码和本发明的双向掩码之间的梯度差距。
Search Results
1
records
(took 0.018 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
