带有微分项改进的自适应梯度下降优化算法

梯度下降算法作为卷积神经网络训练常用优化算法,其性能的优劣直接影响网络训练收敛性.本文主要分析了目前梯度优化算法中存在超调而影响收敛性问题以及学习率自适应性问题,提出了一种带微分项的自适应梯度优化算法,旨在改善网络优化过程收敛性的同时提高收敛速率.首先,针对优化过程存在较大超调量的问题,通过对迭代算法的重整合以及结合传统控制学原理引入微分项等方式来克服权重更新滞后于实际梯度改变的问题;然后,引入自适应机制来应对因学习率的不适应性导致的收敛率差和收敛速率慢等问题;紧接着,基于柯西-施瓦茨和杨氏不等式等证明了新算法的最差性能上界(悔界)为O(√T).最后,通过在包括MNIST数据集以及CIFAR-...

Full description

Saved in:
Bibliographic Details
Published in控制理论与应用 Vol. 39; no. 4; pp. 623 - 632
Main Authors 葛泉波, 张建朝, 杨秦敏, 李宏
Format Journal Article
LanguageChinese
Published 南京信息工程大学自动化学院,江苏南京,210044%杭州电子科技大学自动化学院,浙江杭州310018%浙江大学控制科学与工程学院,浙江杭州310063%中国飞行试验研究院,陕西西安710089 01.04.2022
Subjects
微分项
卷积神经网络
自适应学习率
悔界
梯度下降算法
权重更新
Online AccessGet full text
ISSN1000-8152
DOI10.7641/CTA.2021.10061

Cover

Abstract 梯度下降算法作为卷积神经网络训练常用优化算法,其性能的优劣直接影响网络训练收敛性.本文主要分析了目前梯度优化算法中存在超调而影响收敛性问题以及学习率自适应性问题,提出了一种带微分项的自适应梯度优化算法,旨在改善网络优化过程收敛性的同时提高收敛速率.首先,针对优化过程存在较大超调量的问题,通过对迭代算法的重整合以及结合传统控制学原理引入微分项等方式来克服权重更新滞后于实际梯度改变的问题;然后,引入自适应机制来应对因学习率的不适应性导致的收敛率差和收敛速率慢等问题;紧接着,基于柯西-施瓦茨和杨氏不等式等证明了新算法的最差性能上界(悔界)为O(√T).最后,通过在包括MNIST数据集以及CIFAR-10基准数据集上的仿真实验来验证新算法的有效性,结果表明新算法引入的微分项和自适应机制的联合模式能够有效地改善梯度下降算算法的收敛性能,从而实现算法性能的明显改善.
AbstractList 梯度下降算法作为卷积神经网络训练常用优化算法,其性能的优劣直接影响网络训练收敛性.本文主要分析了目前梯度优化算法中存在超调而影响收敛性问题以及学习率自适应性问题,提出了一种带微分项的自适应梯度优化算法,旨在改善网络优化过程收敛性的同时提高收敛速率.首先,针对优化过程存在较大超调量的问题,通过对迭代算法的重整合以及结合传统控制学原理引入微分项等方式来克服权重更新滞后于实际梯度改变的问题;然后,引入自适应机制来应对因学习率的不适应性导致的收敛率差和收敛速率慢等问题;紧接着,基于柯西-施瓦茨和杨氏不等式等证明了新算法的最差性能上界(悔界)为O(√T).最后,通过在包括MNIST数据集以及CIFAR-10基准数据集上的仿真实验来验证新算法的有效性,结果表明新算法引入的微分项和自适应机制的联合模式能够有效地改善梯度下降算算法的收敛性能,从而实现算法性能的明显改善.
Author 杨秦敏
葛泉波
张建朝
李宏
AuthorAffiliation 南京信息工程大学自动化学院,江苏南京,210044%杭州电子科技大学自动化学院,浙江杭州310018%浙江大学控制科学与工程学院,浙江杭州310063%中国飞行试验研究院,陕西西安710089
AuthorAffiliation_xml – name: 南京信息工程大学自动化学院,江苏南京,210044%杭州电子科技大学自动化学院,浙江杭州310018%浙江大学控制科学与工程学院,浙江杭州310063%中国飞行试验研究院,陕西西安710089
Author_FL GE Quan-bo
ZHANG Jian-chao
YANG Qin-min
LI Hong
Author_FL_xml – sequence: 1
  fullname: GE Quan-bo
– sequence: 2
  fullname: ZHANG Jian-chao
– sequence: 3
  fullname: YANG Qin-min
– sequence: 4
  fullname: LI Hong
Author_xml – sequence: 1
  fullname: 葛泉波
– sequence: 2
  fullname: 张建朝
– sequence: 3
  fullname: 杨秦敏
– sequence: 4
  fullname: 李宏
BookMark eNrjYmDJy89LZWAQMzTQMzczMdR3DnHUMzIwMtQzNDAwM2Rh4ATSBroWhqZGHAy8xcWZSQYGhoYGRuamhpwMlk93LHs2p_PpvnVPO9peLtz5bMrOF_tnP5_V8qJ91cuGpqe7pjxbtP7prmVPdnS_nNn7ZM-Mpz3Tnq-b_mzzVB4G1rTEnOJUXijNzRDq5hri7KHr4-_u6ezoo1tsaGBsqmuYZJhmnmyRbG6ZlJqUYmSUZmaakpJsZpqYkmicapRklmaYmGKcaphomGxsZAKUMzdOTgUqS0ozsTSzMDE2MeZm0ICYW56Yl5aYlx6flV9alAe0MT67KiensrIS6FUjAxMDA1NjAMUwXwo
ContentType Journal Article
Copyright Copyright © Wanfang Data Co. Ltd. All Rights Reserved.
Copyright_xml – notice: Copyright © Wanfang Data Co. Ltd. All Rights Reserved.
DBID 2B.
4A8
92I
93N
PSX
TCJ
DOI 10.7641/CTA.2021.10061
DatabaseName Wanfang Data Journals - Hong Kong
WANFANG Data Centre
Wanfang Data Journals
万方数据期刊 - 香港版
China Online Journals (COJ)
China Online Journals (COJ)
DatabaseTitleList
DeliveryMethod fulltext_linktorsrc
Discipline Engineering
DocumentTitle_FL Adaptive gradient descent optimization algorithm with improved differential term
EndPage 632
ExternalDocumentID kzllyyy202204005
GrantInformation_xml – fundername: 中国航空科学基金项目
  funderid: (2019460T5001)
GroupedDBID -01
-0Y
2B.
4A8
5XA
5XJ
92H
92I
93N
ABJNI
ACGFS
ALMA_UNASSIGNED_HOLDINGS
CCEZO
CCVFK
CUBFJ
CW9
PSX
TCJ
TGT
U1G
U5S
UY8
ID FETCH-LOGICAL-s1035-1b1f7c8c79bebd22f65ddc65ada3e2b6f1ad3e1a1c32465d73ced22bf49684343
ISSN 1000-8152
IngestDate Thu May 29 04:08:30 EDT 2025
IsPeerReviewed true
IsScholarly true
Issue 4
Keywords 微分项
卷积神经网络
自适应学习率
悔界
梯度下降算法
权重更新
Language Chinese
LinkModel OpenURL
MergedId FETCHMERGED-LOGICAL-s1035-1b1f7c8c79bebd22f65ddc65ada3e2b6f1ad3e1a1c32465d73ced22bf49684343
PageCount 10
ParticipantIDs wanfang_journals_kzllyyy202204005
PublicationCentury 2000
PublicationDate 2022-04-01
PublicationDateYYYYMMDD 2022-04-01
PublicationDate_xml – month: 04
  year: 2022
  text: 2022-04-01
  day: 01
PublicationDecade 2020
PublicationTitle 控制理论与应用
PublicationTitle_FL Control Theory & Applications
PublicationYear 2022
Publisher 南京信息工程大学自动化学院,江苏南京,210044%杭州电子科技大学自动化学院,浙江杭州310018%浙江大学控制科学与工程学院,浙江杭州310063%中国飞行试验研究院,陕西西安710089
Publisher_xml – name: 南京信息工程大学自动化学院,江苏南京,210044%杭州电子科技大学自动化学院,浙江杭州310018%浙江大学控制科学与工程学院,浙江杭州310063%中国飞行试验研究院,陕西西安710089
SSID ssib001102751
ssib002258297
ssib023646306
ssib057620041
ssib051372463
ssj0042201
ssib023167526
Score 2.3882113
Snippet ...
SourceID wanfang
SourceType Aggregation Database
StartPage 623
Title 带有微分项改进的自适应梯度下降优化算法
URI https://d.wanfangdata.com.cn/periodical/kzllyyy202204005
Volume 39
hasFullText 1
inHoldings 1
isFullTextHit
isPrint
link http://utb.summon.serialssolutions.com/2.0.0/link/0/eLvHCXMwrV07b9RAELZC0kCBeIq3gsSWF2J7194t12dbESI0JFK66PwCQXRIJCmSCiHEQ0AX3jRQpKAIBU0SIfgzuUvyL5gZ752dSwqIaKy52fHstzNz9uzd7qxlXcuKwklkMd6QuZ03uBBFI0ldDlMVniUJdxIvwQ3Ok7e8iWl-Y0bMDI3cq61aWlxIxtLlA_eVHMarwAO_4i7Zf_BsXykwgAb_whU8DNe_8jGLBAsk0x6LPKaaTCriRExHSEjJJDQppm0WKJLhREgWxEwFLPKZ0kxy5EifaY3CcpxJh_RolIe7tMN0bDjYF8dOZYDCCuRD4jSZktQpEB5qBgzKx9sDl5UnXPaSYGRKAOkbkAHJq3FCK_FG6Mj0EtWQ-HjV_bW3KKtsGgd1IpUhtFOJCESmx4kISC9ZSoWVCDBCUEuY_Z4xAVg8IFJiAXSmxfxWAtPsaokNRjeNKqTBczJZk4gY3YAjt3vWhM4E9VpaE3RzYxQdEo6-V0ChJoh9-_ZlyAfgIadJowd7xHRjADAPQOI0HarexxzRG3lowKjImDgQRj-4pDSKKpFrDI7_g1PgxwrwIBL8Q8iWBuSg8H4AB8WTgd2XqcfTfssfFqTnEkhSXjZBPAYhfetcMqlEv4M1kIgxsLBJE8fHyCwjWyuCXQdANMpLRBvENaIMQ0U1s1Qtr8ACDtIWexIPV9UesLyWRXjlFnyTkHrlHwCDuY7vccx1mlN6DELdxuVO5bEGA_Xj7y_PzS0tLeHXAV_Y4og14vg-LmkZ0eHkzdvV5MnGJQy1ZN4RuO--99nBmhmimqzhyROeW63RELbrO7WzNQSkWVjNr5cXc-iffv7qmaIsoYvDuL53ELR_sl202ndqqf7UCeu4maOP6vKBe9IaWr57yjpWq9x62lKd9dXu5xedX2ud5093v2x0VzZ2fn_a_vhk59m33UePO5sr3a_fO5urW-svdz-83vr5vvPq7fbau-6PN2es6Tiaak40zCk0jXkb6_naiV34qUx9leRJ5jiFJ7Is9UQra7k5vMsKu5W5ud2yU5ibQpvvpjmIJQVXnsR9-2et4faDdn7OGuV2loo8EYXIOMc6XK6XFo4oPJXLPJP-eeuqGfisecvMzw6678JfyFy0jlZPv0vW8MLDxfwyzJ0WkivG6X8AF5z9Cw
linkProvider EBSCOhost
openUrl ctx_ver=Z39.88-2004&ctx_enc=info%3Aofi%2Fenc%3AUTF-8&rfr_id=info%3Asid%2Fsummon.serialssolutions.com&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rft.genre=article&rft.atitle=%E5%B8%A6%E6%9C%89%E5%BE%AE%E5%88%86%E9%A1%B9%E6%94%B9%E8%BF%9B%E7%9A%84%E8%87%AA%E9%80%82%E5%BA%94%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E4%BC%98%E5%8C%96%E7%AE%97%E6%B3%95&rft.jtitle=%E6%8E%A7%E5%88%B6%E7%90%86%E8%AE%BA%E4%B8%8E%E5%BA%94%E7%94%A8&rft.au=%E8%91%9B%E6%B3%89%E6%B3%A2&rft.au=%E5%BC%A0%E5%BB%BA%E6%9C%9D&rft.au=%E6%9D%A8%E7%A7%A6%E6%95%8F&rft.au=%E6%9D%8E%E5%AE%8F&rft.date=2022-04-01&rft.pub=%E5%8D%97%E4%BA%AC%E4%BF%A1%E6%81%AF%E5%B7%A5%E7%A8%8B%E5%A4%A7%E5%AD%A6%E8%87%AA%E5%8A%A8%E5%8C%96%E5%AD%A6%E9%99%A2%2C%E6%B1%9F%E8%8B%8F%E5%8D%97%E4%BA%AC%2C210044%25%E6%9D%AD%E5%B7%9E%E7%94%B5%E5%AD%90%E7%A7%91%E6%8A%80%E5%A4%A7%E5%AD%A6%E8%87%AA%E5%8A%A8%E5%8C%96%E5%AD%A6%E9%99%A2%2C%E6%B5%99%E6%B1%9F%E6%9D%AD%E5%B7%9E310018%25%E6%B5%99%E6%B1%9F%E5%A4%A7%E5%AD%A6%E6%8E%A7%E5%88%B6%E7%A7%91%E5%AD%A6%E4%B8%8E%E5%B7%A5%E7%A8%8B%E5%AD%A6%E9%99%A2%2C%E6%B5%99%E6%B1%9F%E6%9D%AD%E5%B7%9E310063%25%E4%B8%AD%E5%9B%BD%E9%A3%9E%E8%A1%8C%E8%AF%95%E9%AA%8C%E7%A0%94%E7%A9%B6%E9%99%A2%2C%E9%99%95%E8%A5%BF%E8%A5%BF%E5%AE%89710089&rft.issn=1000-8152&rft.volume=39&rft.issue=4&rft.spage=623&rft.epage=632&rft_id=info:doi/10.7641%2FCTA.2021.10061&rft.externalDocID=kzllyyy202204005
thumbnail_s http://utb.summon.serialssolutions.com/2.0.0/image/custom?url=http%3A%2F%2Fwww.wanfangdata.com.cn%2Fimages%2FPeriodicalImages%2Fkzllyyy%2Fkzllyyy.jpg