Flink环境下基于负载预测的弹性资源调度策略

TP311; 为了解决大数据流式计算平台中存在计算负载剧烈波动,但集群因资源不足而遇到性能瓶颈的问题,提出了Flink环境下基于负载预测的弹性资源调度(LPERS-Flink)策略.首先,建立负载预测模型并在此基础上提出负载预测算法,预测集群负载的变化趋势;其次,建立资源判定模型,以判定集群出现资源瓶颈与资源过剩的问题,由此提出弹性资源调度算法,制定弹性资源调度计划;最后,通过在线负载迁移算法执行调度计划,实现高效的节点间负载迁移.实验结果表明,该策略在负载剧烈波动的应用场景中有较好的优化效果,实现了集群规模和资源配置对负载变化的及时响应,降低了负载迁移的通信开销....

Full description

Saved in:
Bibliographic Details
Published in通信学报 Vol. 41; no. 10; pp. 92 - 108
Main Authors 李梓杨, 于炯, 王跃飞, 卞琛, 蒲勇霖, 张译天, 刘宇
Format Journal Article
LanguageChinese
Published 新疆大学软件学院,新疆 乌鲁木齐 830008 25.10.2020
新疆大学信息科学与工程学院,新疆 乌鲁木齐 830046%成都大学计算机学院,四川 成都 610106%广东金融学院互联网金融与信息工程学院,广东 广州 510521%新疆大学信息科学与工程学院,新疆 乌鲁木齐 830046%新疆大学软件学院,新疆 乌鲁木齐 830008
Subjects
性能瓶颈
资源调度
流式计算
Flink
负载预测
Online AccessGet full text

Cover

More Information
Summary:TP311; 为了解决大数据流式计算平台中存在计算负载剧烈波动,但集群因资源不足而遇到性能瓶颈的问题,提出了Flink环境下基于负载预测的弹性资源调度(LPERS-Flink)策略.首先,建立负载预测模型并在此基础上提出负载预测算法,预测集群负载的变化趋势;其次,建立资源判定模型,以判定集群出现资源瓶颈与资源过剩的问题,由此提出弹性资源调度算法,制定弹性资源调度计划;最后,通过在线负载迁移算法执行调度计划,实现高效的节点间负载迁移.实验结果表明,该策略在负载剧烈波动的应用场景中有较好的优化效果,实现了集群规模和资源配置对负载变化的及时响应,降低了负载迁移的通信开销.
ISSN:1000-436X
DOI:10.11959/j.issn.1000-436x.2020195