基于多智能体强化学习的端到端合作的自适应奖励方法

TP391; 目前,多智能体强化学习算法大多采用集中训练分布执行的方法,且在同构多智能体系统中取得了良好的效果.但是,由不同角色构成的异构多智能体系统往往存在信用分配问题,导致智能体很难学习到有效的合作策略.针对上述问题,提出了一种基于多智能体强化学习的端到端合作的自适应奖励方法,该方法能够促进智能体之间合作策略的生成.首先,提出了一种批正则化网络,该网络采用图神经网络对异构多智能体合作关系进行建模,利用注意力机制对关键信息进行权重计算,使用批正则化方法对生成的特征向量进行有效融合,使算法向正确的学习方向进行优化和反向传播,进而有效提升异构多智能体合作策略生成的性能;其次,基于演员-评论家方法...

Full description

Saved in:
Bibliographic Details
Published in计算机科学 Vol. 49; no. 8; pp. 247 - 256
Main Authors 史殿习, 赵琛然, 张耀文, 杨绍武, 张拥军
Format Journal Article
LanguageChinese
Published 天津(滨海)人工智能创新中心 天津300457%国防科技大学计算机学院 长沙410073%中国人民解放军32282部队 济南250000%军事科学院国防科技创新研究院 北京100166 2022
军事科学院国防科技创新研究院 北京100166
国防科技大学计算机学院 长沙410073
Subjects
自适应内在奖励
多智能体强化学习
图注意力网络
Online AccessGet full text
ISSN1002-137X

Cover

More Information
Summary:TP391; 目前,多智能体强化学习算法大多采用集中训练分布执行的方法,且在同构多智能体系统中取得了良好的效果.但是,由不同角色构成的异构多智能体系统往往存在信用分配问题,导致智能体很难学习到有效的合作策略.针对上述问题,提出了一种基于多智能体强化学习的端到端合作的自适应奖励方法,该方法能够促进智能体之间合作策略的生成.首先,提出了一种批正则化网络,该网络采用图神经网络对异构多智能体合作关系进行建模,利用注意力机制对关键信息进行权重计算,使用批正则化方法对生成的特征向量进行有效融合,使算法向正确的学习方向进行优化和反向传播,进而有效提升异构多智能体合作策略生成的性能;其次,基于演员-评论家方法,提出了一种双层优化的自适应奖励网络,将稀疏奖励转化为连续奖励,引导智能体根据场上形势生成合作策略.通过实验对比了当前主流的多智能体强化学习算法,结果表明,所提算法在"合作-博弈"场景中取得了显著效果,通过对策略-奖励-行为相关性的可视化分析,进一步验证了所提算法的有效性.
ISSN:1002-137X