接收与处理分离的实时大数据处理模型

• Published in: 计算机科学与探索 no. 8; pp. 906 - 913
• Main Authors: 彭建华, 李臣明, 邱军林, 李晓芳, 徐立中
• Format: Journal Article
• Language: Chinese
• Published: 河海大学 计算机与信息学院,南京,210098%常州工学院,江苏 常州,213002 2015
• Subjects: 实时分析处理; load balancing; 负载均衡; big data; 大数据; real-time analysis and processing
• ISSN: 1673-9418
• DOI: 10.3778/j.issn.1673-9418.1411041

TP311; 在大数据处理过程中，系统必须有非常高的数据处理效率。为了满足对大数据实时、高效、稳定处理的需求，提出了一种接收与处理分离的数据处理模型。该数据处理模型由数据接收单元、内存数据库、原始数据分发单元、数据处理单元、处理数据分发单元、数据归并单元组成。接收单元负责接收、整合结构化数据与非结构化数据，把每条完整的数据放入内存数据库中；分发单元从内存数据库中检测获取数据，按照海量数据负载均衡算法把数据分发到数据处理单元；数据处理单元处理数据，处理结果放入内存数据库；处理数据分发单元继续从内存数据库中获取处理后的数据，并按照海量数据负载均衡算法把数据分发给数据归并单元。实验证明，使用该模型方法，系统保持了非常高效的处理效率。