Spark异构集群负载均衡调度策略 - 陶宇炜; 谢爱娟 (常州大学学报（自然科学版）, 2024)
TP302; 针对Spark可扩展分布式平台在作业任务调度时,没有考虑异构集群节点计算能力的差异和负载均衡问题,导致系统性能受到影响,文章构建了一种Spark环境下异构集群节点负载均衡调度策略.计算节点根据抽样算法,预测数据分布特征,将数据均衡划分为多个分区,根据异构集群节点静态负载和动态负载权重分配,获得异构集群节点实时负载,动态调度作业任务.最后,在异构集群上,通过Wordcount,TeraSort,K-means三种基准测试比较分析.实验结果表明,该算法运行时间明显减少,异构集群的性能得到提升.