对于大规模系统日志的日志模式提炼算法的优化

LARGE框架是部署在中国科学院超级计算环境中的日志分析系统，通过日志收集、集中分析、结果反馈等步骤对环境中的各种日志文件进行监控和分析。在对环境中系统日志的监控过程中，系统维护人员需要通过日志模式提炼算法将大量的过往系统日志记录缩减为少量的日志模式集合。然而随着日志规模的增长以及messages日志文件的特殊性，原有的日志模式提炼算法已经难以满足对大规模日志快速处理的需要。介绍了一种对于日志模式提炼算法的优化方法，通过引入MapReduce机制实现在存在多个日志输入文件的情况下对日志处理和模式提炼的流程进行加速。实验表明，当输入文件较多时，该优化方法能够显著提高词汇一致率算法的运行速度，大幅...

Full description

Saved in:
Bibliographic Details
Published in计算机工程与科学 Vol. 39; no. 5; pp. 821 - 828
Main Author 赵一宁 肖海力
Format Journal Article
LanguageChinese
Published 中国科学院计算机网络信息中心,北京,100190 2017
Subjects
MapReduce机制
大数据分析
日志处理
网格环境
日志处理
大数据分析
log processing
big-data analysis
grid environment
MapReduce机制
网格环境
MapReduce
Online AccessGet full text
ISSN1007-130X
DOI10.3969/j.issn.1007-130X.2017.05.001

Cover

More Information
Summary:LARGE框架是部署在中国科学院超级计算环境中的日志分析系统，通过日志收集、集中分析、结果反馈等步骤对环境中的各种日志文件进行监控和分析。在对环境中系统日志的监控过程中，系统维护人员需要通过日志模式提炼算法将大量的过往系统日志记录缩减为少量的日志模式集合。然而随着日志规模的增长以及messages日志文件的特殊性，原有的日志模式提炼算法已经难以满足对大规模日志快速处理的需要。介绍了一种对于日志模式提炼算法的优化方法，通过引入MapReduce机制实现在存在多个日志输入文件的情况下对日志处理和模式提炼的流程进行加速。实验表明，当输入文件较多时，该优化方法能够显著提高词汇一致率算法的运行速度，大幅减少运行时间。此外，还对使用词汇转换函数时的算法运行时间和提炼效果进行了验证。
Bibliography:ZHAO Yi-ning,XIAO Hai-li （Computer Network Information Center, Chinese Academy of Sciences, Beijing 100190,China）
The LARGE system is a log analysis framework deployed in the supercomputing environment in Chinese Academy of Sciences. It monitors and analyzes various log files in the environment through log collection, centrally analysis and result feedback. In the process of monitoring system logs, it is necessary for system maintenance personnel to reduce the large number of original logs into a small set of log patterns using the log pattern extraction algorithm. However, because of the fast increase of log size and the peculiarity of messages log files, the traditional log pattern extraction algorithm fails to satisfy the requirement of rapid processing of logs. We propose an optimization method for the log pattern extraction algorithm by introducing the idea of the MapReduce mechanism to accelerate the process of log pattern extraction in case of multiple input log files. Evaluation results show that when
ISSN:1007-130X
DOI:10.3969/j.issn.1007-130X.2017.05.001