带有微分项改进的自适应梯度下降优化算法

梯度下降算法作为卷积神经网络训练常用优化算法,其性能的优劣直接影响网络训练收敛性.本文主要分析了目前梯度优化算法中存在超调而影响收敛性问题以及学习率自适应性问题,提出了一种带微分项的自适应梯度优化算法,旨在改善网络优化过程收敛性的同时提高收敛速率.首先,针对优化过程存在较大超调量的问题,通过对迭代算法的重整合以及结合传统控制学原理引入微分项等方式来克服权重更新滞后于实际梯度改变的问题;然后,引入自适应机制来应对因学习率的不适应性导致的收敛率差和收敛速率慢等问题;紧接着,基于柯西-施瓦茨和杨氏不等式等证明了新算法的最差性能上界(悔界)为O(√T).最后,通过在包括MNIST数据集以及CIFAR-...

Full description

Saved in:
Bibliographic Details
Published in控制理论与应用 Vol. 39; no. 4; pp. 623 - 632
Main Authors 葛泉波, 张建朝, 杨秦敏, 李宏
Format Journal Article
LanguageChinese
Published 南京信息工程大学自动化学院,江苏南京,210044%杭州电子科技大学自动化学院,浙江杭州310018%浙江大学控制科学与工程学院,浙江杭州310063%中国飞行试验研究院,陕西西安710089 01.04.2022
Subjects
微分项
卷积神经网络
自适应学习率
悔界
梯度下降算法
权重更新
Online AccessGet full text
ISSN1000-8152
DOI10.7641/CTA.2021.10061

Cover

More Information
Summary:梯度下降算法作为卷积神经网络训练常用优化算法,其性能的优劣直接影响网络训练收敛性.本文主要分析了目前梯度优化算法中存在超调而影响收敛性问题以及学习率自适应性问题,提出了一种带微分项的自适应梯度优化算法,旨在改善网络优化过程收敛性的同时提高收敛速率.首先,针对优化过程存在较大超调量的问题,通过对迭代算法的重整合以及结合传统控制学原理引入微分项等方式来克服权重更新滞后于实际梯度改变的问题;然后,引入自适应机制来应对因学习率的不适应性导致的收敛率差和收敛速率慢等问题;紧接着,基于柯西-施瓦茨和杨氏不等式等证明了新算法的最差性能上界(悔界)为O(√T).最后,通过在包括MNIST数据集以及CIFAR-10基准数据集上的仿真实验来验证新算法的有效性,结果表明新算法引入的微分项和自适应机制的联合模式能够有效地改善梯度下降算算法的收敛性能,从而实现算法性能的明显改善.
ISSN:1000-8152
DOI:10.7641/CTA.2021.10061