基于组稀疏优化的强化学习稀疏表征

TP181; 强化学习由于具有出色的数据效率和快速学习的能力,开始应用于许多实际问题以学习复杂策略.但是高维环境中的强化学习常常受限于维度灾难或者灾难性干扰,性能表现不佳甚至导致学习失败.围绕表征学习,提出了一种符合Lasso类型优化的稀疏卷积深度强化学习方法.首先,对稀疏表征的理论和优势进行综述,将稀疏卷积方法引入深度强化学习中,提出了一种新的稀疏表征方法;其次,对由稀疏卷积编码定义的可微优化层进行了数学推导并给出了优化算法,为了验证新的稀疏表征方法的有效性,将其应用于相关文献常见的基准环境中进行测试.实验结果表明,应用稀疏卷积编码的算法具有更好的性能和鲁棒性,在降低了 50%以上模型开销的...

Full description

Saved in:
Bibliographic Details
Published in华东理工大学学报（自然科学版） Vol. 50; no. 6; pp. 913 - 919
Main Authors 蔡林逸, 冯翔, 虞慧群
Format Journal Article
LanguageChinese
Published 华东理工大学计算机科学与工程系,上海 200237%华东理工大学计算机科学与工程系,上海 200237 2024
上海智慧能源工程技术研究中心,上海 200237
Subjects
catastrophic interference
隐式层
implicit layer
Lasso optimization
灾难性干扰
稀疏表征
强化学习
Lasso优化
reinforcement learning
sparse representation
Online AccessGet full text

Cover

More Information
Summary:TP181; 强化学习由于具有出色的数据效率和快速学习的能力,开始应用于许多实际问题以学习复杂策略.但是高维环境中的强化学习常常受限于维度灾难或者灾难性干扰,性能表现不佳甚至导致学习失败.围绕表征学习,提出了一种符合Lasso类型优化的稀疏卷积深度强化学习方法.首先,对稀疏表征的理论和优势进行综述,将稀疏卷积方法引入深度强化学习中,提出了一种新的稀疏表征方法;其次,对由稀疏卷积编码定义的可微优化层进行了数学推导并给出了优化算法,为了验证新的稀疏表征方法的有效性,将其应用于相关文献常见的基准环境中进行测试.实验结果表明,应用稀疏卷积编码的算法具有更好的性能和鲁棒性,在降低了 50%以上模型开销的前提下,取得了相当甚至更优的性能.此外,还研究了稀疏程度对算法性能的影响,结果显示适当的稀疏度能获得更优的性能.
ISSN:1006-3080
DOI:10.14135/j.cnki.1006-3080.20231223001