Spark异构集群负载均衡调度策略

TP302; 针对Spark可扩展分布式平台在作业任务调度时,没有考虑异构集群节点计算能力的差异和负载均衡问题,导致系统性能受到影响,文章构建了一种Spark环境下异构集群节点负载均衡调度策略.计算节点根据抽样算法,预测数据分布特征,将数据均衡划分为多个分区,根据异构集群节点静态负载和动态负载权重分配,获得异构集群节点实时负载,动态调度作业任务.最后,在异构集群上,通过Wordcount,TeraSort,K-means三种基准测试比较分析.实验结果表明,该算法运行时间明显减少,异构集群的性能得到提升....

Full description

Saved in:
Bibliographic Details
Published in常州大学学报（自然科学版） Vol. 36; no. 5; pp. 61 - 70
Main Authors 陶宇炜, 谢爱娟
Format Journal Article
LanguageChinese
Published 常州大学信息化建设与大数据处,江苏常州 213164%常州大学石油化工学院,江苏常州 213164 2024
Subjects
load balancing
异构性
负载均衡
作业调度
Spark
heterogeneous
job scheduling
Online AccessGet full text

Cover

More Information
Summary:TP302; 针对Spark可扩展分布式平台在作业任务调度时,没有考虑异构集群节点计算能力的差异和负载均衡问题,导致系统性能受到影响,文章构建了一种Spark环境下异构集群节点负载均衡调度策略.计算节点根据抽样算法,预测数据分布特征,将数据均衡划分为多个分区,根据异构集群节点静态负载和动态负载权重分配,获得异构集群节点实时负载,动态调度作业任务.最后,在异构集群上,通过Wordcount,TeraSort,K-means三种基准测试比较分析.实验结果表明,该算法运行时间明显减少,异构集群的性能得到提升.
ISSN:2095-0411
DOI:10.3969/j.issn.2095-0411.2024.05.007