基于Spark的改进K-means快速聚类算法

TP391.1; 针对大数据环境下聚类算法所处理数据规模越来越大、对算法时效性要求越来越高的问题,提出一种基于分布式计算框架Spark的改进K-means快速聚类算法Spark-KM.首先针对K-means算法因初始聚类点选择不当导致局部最优、迭代次数增加而无法适应大规模数据聚类的问题,通过预抽样和最大最小距离相结合对K-means算法进行改进;然后对原始数据进行矩阵分割,并存储在不同的Spark计算框架的结点当中;最后根据改进的K-means算法,结合分布式矩阵计算和Spark平台进行大数据快速聚类.结果表明,文中算法可以有效减少结点间的数据移动次数,并具有良好的可扩展性.通过该算法在单机环...

Full description

Saved in:
Bibliographic Details
Published in江苏大学学报（自然科学版） Vol. 39; no. 3; pp. 316 - 323
Main Authors 徐健锐, 詹永照
Format Journal Article
LanguageChinese
Published 江苏大学 计算机科学与通信工程学院,江苏 镇江212013 01.05.2018
江苏联合职业技术学院 镇江分院,江苏 镇江212016%江苏大学 计算机科学与通信工程学院,江苏 镇江,212013
Subjects
pre-sampling
improved K-means
最大最小距离
matrix calculation
maximum minimum distance
矩阵计算
matrix partition
预抽样
矩阵分割
改进K-means
Online AccessGet full text

Cover

More Information
Summary:TP391.1; 针对大数据环境下聚类算法所处理数据规模越来越大、对算法时效性要求越来越高的问题,提出一种基于分布式计算框架Spark的改进K-means快速聚类算法Spark-KM.首先针对K-means算法因初始聚类点选择不当导致局部最优、迭代次数增加而无法适应大规模数据聚类的问题,通过预抽样和最大最小距离相结合对K-means算法进行改进;然后对原始数据进行矩阵分割,并存储在不同的Spark计算框架的结点当中;最后根据改进的K-means算法,结合分布式矩阵计算和Spark平台进行大数据快速聚类.结果表明,文中算法可以有效减少结点间的数据移动次数,并具有良好的可扩展性.通过该算法在单机环境和集群环境的对比测试,说明该算法适用于大规模数据环境,且算法性能与数据规模成正比,集群环境较单机环境也具有很大的性能提高.
ISSN:1671-7775
DOI:10.3969/j.issn.1671-7775.2018.03.012