基于深度强化学习的转发效能感知流量调度算法

• Published in: 通信学报 Vol. 43; no. 8; pp. 30 - 40
• Main Authors: 沙宗轩, 霍如, 孙闯, 汪硕, 黄韬
• Format: Journal Article
• Language: Chinese
• Published: 北京工业大学信息学部,北京 100124%北京工业大学信息学部,北京 100124 2022; 北京邮电大学网络与交换国家重点实验室,北京 100876; 网络通信与安全紫金山实验室, 江苏南京 211111%清华大学自动化系,北京 100084%网络通信与安全紫金山实验室, 江苏南京 211111
• Subjects: 负载均衡; 深度强化学习; 转发效能感知; 软件定义网络; 流量调度
• ISSN: 1000-436X
• DOI: 10.11959/j.issn.1000?436x.2022148

TN911.5; 软件定义网络(SDN)通过将控制平面与数据平面分离,可实现灵活的流量调度,更有效地利用网络资源.但是,流表项数量、设备负载率及连接主机数量增加等因素的共同作用会导致SDN交换机的转发效能降低,进而影响端到端的数据传输时延.为了解决上述问题,提出了基于深度强化学习的转发效能感知流量调度算法.首先,将交换机状态信息统一到感知模型中,通过神经网络建立交换机状态信息和转发效能的映射关系.然后,结合网络状态和流量信息,通过深度强化学习产生流量调度策略.最后,通过由最短路径和负载均衡算法产生的专家样本引导模型训练,不仅使模型学习到专家样本的知识以提升性能,同时提升模型训练效率.实验结果表明,与其他算法相比,所提算法不仅使端到端的平均传输时延降低了15.31％,而且保证了网络整体的负载均衡.