基于TT-Tucker分解的无预训练LC卷积神经网络压缩方法

• Published in: 华南理工大学学报（自然科学版） Vol. 52; no. 7; pp. 29 - 38
• Main Authors: 刘微容, 张志强, 张宁, 孟家豪, 张敏, 刘婕
• Format: Journal Article
• Language: Chinese
• Published: 兰州理工大学 电气工程与信息工程学院,甘肃 兰州 730050 01.07.2024
• Subjects: network compression; 卷积神经网络; constrained compression; 约束型压缩; convolutional neural network; 张量分解; 贝叶斯优化; Bayesian optimization; 网络压缩; tensor decomposition
• ISSN: 1000-565X
• DOI: 10.12141/j.issn.1000-565X.230617

TP391.4; 张量训练(TT)分解和Tucker分解是两种有效的卷积神经网络压缩方法.然而,TT和Tucker分解分别面临空间结构信息丢失与计算复杂度高等问题.为解决上述问题,文中考虑了网络结构的信息保留率和资源占用情况,采用学习-压缩(LC)算法的约束型压缩框架,提出了一种基于TT-Tucker分解的无预训练LC卷积神经网络压缩方法(TT-LC).TT-LC方法包括学习步骤和压缩步骤两个部分.学习步骤不需要预训练过程,采用了指数循环学习率方法以提高训练准确率.而在压缩步骤,文中根据TT和Tucker分解的优点以及贝叶斯规则选取全局最优秩的特性,运用经验变分贝叶斯矩阵分解(EVBMF)和贝叶斯优化(BayesOpt)选出合理的秩以指导张量分解,采用TT-LC方法压缩训练后的模型.TT-LC方法既降低了空间结构信息丢失率和计算复杂度,又解决了张量的秩选取不合理导致模型准确率显著下降的问题,可实现模型的双重贝叶斯选秩和双重压缩,获得最优的压缩模型.最后,采用ResNets和VGG网络在CIFAR10与CIFAR100数据集上进行实验.结果表明:对于ResNet32网络,相比于基准方法,文中方法在准确率为92.22%的情况下,获得了69.6%的参数量压缩率和66.7%的浮点计算量压缩率.