基于Spark平台的NetFlow流量分析系统

目前典型的NetFlow分析系统多为基于私有架构或平台的第三方系统,面临扩展性较低、开放性不足、扩容代价大、分析时延长等问题。大数据技术的快速发展尤其是内存式计算平台如Spark的出现为集中处理大规模NetFlow数据提供了可能,本文提出了基于Spark的NetFlow分析系统,验证了核心算法（如流量应用构成统计）在Spark平台的性能。实验表明,基于Spark的NetFlow分析系统具有很高的性能和很强的扩展能力,较之Hadoop MapReduce有显著的性能提升。...

Full description

Saved in:
Bibliographic Details
Published in电信科学 Vol. 30; no. 10; pp. 48 - 51
Main Author 丁圣勇 闵世武 樊勇兵
Format Journal Article
LanguageChinese
Published 中国通信学会 01.10.2014
人民邮电出版社有限公司
中国电信股份有限公司广东研究院 广州510630
Subjects
NetFlow
Spark
流量分析
NetFlow
Spark
流量分析
traffic analysis
Online AccessGet full text
ISSN1000-0801
DOI10.3969/j.issn.1000-0801.2014.10.009

Cover

More Information
Summary:目前典型的NetFlow分析系统多为基于私有架构或平台的第三方系统,面临扩展性较低、开放性不足、扩容代价大、分析时延长等问题。大数据技术的快速发展尤其是内存式计算平台如Spark的出现为集中处理大规模NetFlow数据提供了可能,本文提出了基于Spark的NetFlow分析系统,验证了核心算法（如流量应用构成统计）在Spark平台的性能。实验表明,基于Spark的NetFlow分析系统具有很高的性能和很强的扩展能力,较之Hadoop MapReduce有显著的性能提升。
Bibliography:The existing systems usually adopt private distributed architectures, which face scalability, openness, costand latency problems. The development of big data technology such as Spark offers new opportunity for large scaleNetFlow processing systems. A new analysis system based on Spark platform was proposed and the effectiveness ofthe method was verified. The experimental results show its superior performance.
NetFlow, Spark, traffic analysis
11-2103/TN
Ding Shengyong, Min Shiwu, Fan Yongbing （Guangdong Research Institute of China Telecom Co., Ltd., Guangzhou 510630, China）
ISSN:1000-0801
DOI:10.3969/j.issn.1000-0801.2014.10.009