基于网络特征的分层剪枝方法

• Published in: 吉林大学学报（理学版） Vol. 60; no. 6; pp. 1407 - 1415
• Main Authors: 洪亮, 高尚, 李翔
• Format: Journal Article
• Language: Chinese
• Published: 吉林大学计算机科学与技术学院,长春130012 2022
• Subjects: 分层剪枝; 迭代剪枝; 网络特征; 模型压缩
• ISSN: 1671-5489
• DOI: 10.13413/j.cnki.jdxblxb.2022148

TP389.1; 针对传统分层剪枝方法在剪枝过程后期时,网络模型的准确率会随网络结构失衡陡然下降的问题,提出一种基于网络特征的分层剪枝方法.该方法首先根据网络深度、网络宽度、层间重要性指标计算每轮迭代的剪枝系数;然后结合基础剪枝率得到每层参数的动态剪枝率;最后对预训练的网络进行剪枝、微调,并重复上述过程至迭代结束.实验结果表明,基于网络特征的分层剪枝方法在V G G-16模型上表现良好,在压缩率提高约一倍的情况下,准确率仍比单剪枝率的分层剪枝方法高3.6％,且整体表现优于全局剪枝方法.当压缩率达到98.85％ 以上时,在Resnet-20模型上的准确率比单剪枝率的分层方法高20％,接近于全局剪枝方法,表明充分利用网络特征可提高分层剪枝方法的性能.