基于机器学习的日志函数自动识别方法
随着软件规模的不断增长，日志在故障检测中发挥着愈加重要的作用。然而，目前软件日志缺乏统一标准，常受开发人员个人习惯影响，为大规模系统中日志的自动化分析带来了挑战。其中，日志函数的识别作为日志分析的前提条件，对分析结果有着直接影响。提出了一种基于机器学习的方法以支持日志自动识别。通过系统分析广泛使用的大规模开源软件，总结出日志函数编写的主要形式，并提取不同形式间的共性特征，进而基于机器学习实现了自动日志识别工具iLog。实验显示，使用iLog识别的日志函数能力平均为使用特定关键字的76倍，十折交叉验证得到iLog的分析结果的F-Score为0．93。...
Saved in:
| Published in | 计算机工程与科学 Vol. 39; no. 1; pp. 111 - 117 |
|---|---|
| Main Author | |
| Format | Journal Article |
| Language | Chinese |
| Published |
国防科学技术大学计算机学院,湖南长沙,410073
2017
|
| Subjects | |
| Online Access | Get full text |
| ISSN | 1007-130X |
| DOI | 10.3969/j.issn.1007-130X.2017.01.015 |
Cover
Loading…
| Abstract | 随着软件规模的不断增长，日志在故障检测中发挥着愈加重要的作用。然而，目前软件日志缺乏统一标准，常受开发人员个人习惯影响，为大规模系统中日志的自动化分析带来了挑战。其中，日志函数的识别作为日志分析的前提条件，对分析结果有着直接影响。提出了一种基于机器学习的方法以支持日志自动识别。通过系统分析广泛使用的大规模开源软件，总结出日志函数编写的主要形式，并提取不同形式间的共性特征，进而基于机器学习实现了自动日志识别工具iLog。实验显示，使用iLog识别的日志函数能力平均为使用特定关键字的76倍，十折交叉验证得到iLog的分析结果的F-Score为0．93。 |
|---|---|
| AbstractList | 随着软件规模的不断增长，日志在故障检测中发挥着愈加重要的作用。然而，目前软件日志缺乏统一标准，常受开发人员个人习惯影响，为大规模系统中日志的自动化分析带来了挑战。其中，日志函数的识别作为日志分析的前提条件，对分析结果有着直接影响。提出了一种基于机器学习的方法以支持日志自动识别。通过系统分析广泛使用的大规模开源软件，总结出日志函数编写的主要形式，并提取不同形式间的共性特征，进而基于机器学习实现了自动日志识别工具iLog。实验显示，使用iLog识别的日志函数能力平均为使用特定关键字的76倍，十折交叉验证得到iLog的分析结果的F-Score为0．93。 TP311.5; 随着软件规模的不断增长,日志在故障检测中发挥着愈加重要的作用.然而,目前软件日志缺乏统一标准,常受开发人员个人习惯影响,为大规模系统中日志的自动化分析带来了挑战.其中,日志函数的识别作为日志分析的前提条件,对分析结果有着直接影响.提出了一种基于机器学习的方法以支持日志自动识别.通过系统分析广泛使用的大规模开源软件,总结出日志函数编写的主要形式,并提取不同形式间的共性特征,进而基于机器学习实现了自动日志识别工具iLog.实验显示,使用iLog识别的日志函数能力平均为使用特定关键字的76倍,十折交叉验证得到iLog的分析结果的F-Score为0.93. |
| Author | 贾周阳 廖湘科 刘晓东 李姗姗 周书林 谢欣伟 |
| AuthorAffiliation | 国防科学技术大学计算机学院,湖南长沙410073 |
| AuthorAffiliation_xml | – name: 国防科学技术大学计算机学院,湖南长沙,410073 |
| Author_FL | JIA Zhou-yang ZHOU Shu-lin LIAO Xiang-ke XIE Xin-wei LIU Xiao-dong LI Shan-shan |
| Author_FL_xml | – sequence: 1 fullname: JIA Zhou-yang – sequence: 2 fullname: LIAO Xiang-ke – sequence: 3 fullname: LIU Xiao-dong – sequence: 4 fullname: LI Shan-shan – sequence: 5 fullname: ZHOU Shu-lin – sequence: 6 fullname: XIE Xin-wei |
| Author_xml | – sequence: 1 fullname: 贾周阳 廖湘科 刘晓东 李姗姗 周书林 谢欣伟 |
| BookMark | eNo9j71KA0EURqeIYIx5CbGx2HXuTHY2U0rwDwI2KeyWmd3ZuKtONItoejHBwi4GRdBGCYooWCUgvkxmzWM4EhEufJePw72cBVTQLa0QWgbsUs74auomWaZdwNh3gOJdl2DwXQx2vAIq_vfzqJxlicSYeazq-VBE1NyPJ-Or_G5sbobm9Wkyevi-Pc8Hj-ZrYLqfef992n02l8Pp24XpveTXo_yjv4jmYnGQqfJfllBjY71R23LqO5vbtbW6EzLwHBGKiMchphxYhSi7cUmrTHARVRQhylNECkJBUl9FIXAWx0CrQKSMIhlJRktoZXb2VOhY6GaQtk7a2j4M0ixthp39s19LDNbRskszNtxr6eZxYumjdnIo2p2A-YC5hTD9AQyCaqE |
| ClassificationCodes | TP311.5 |
| ContentType | Journal Article |
| Copyright | Copyright © Wanfang Data Co. Ltd. All Rights Reserved. |
| Copyright_xml | – notice: Copyright © Wanfang Data Co. Ltd. All Rights Reserved. |
| DBID | 2RA 92L CQIGP W92 ~WA 2B. 4A8 92I 93N PSX TCJ |
| DOI | 10.3969/j.issn.1007-130X.2017.01.015 |
| DatabaseName | 维普_期刊 中文科技期刊数据库-CALIS站点 维普中文期刊数据库 中文科技期刊数据库-工程技术 中文科技期刊数据库- 镜像站点 Wanfang Data Journals - Hong Kong WANFANG Data Centre Wanfang Data Journals 万方数据期刊 - 香港版 China Online Journals (COJ) China Online Journals (COJ) |
| DatabaseTitleList | |
| DeliveryMethod | fulltext_linktorsrc |
| DocumentTitleAlternate | Logging function recognition based on machine learning technique |
| DocumentTitle_FL | Logging function recognition based on machine learning technique |
| EndPage | 117 |
| ExternalDocumentID | jsjgcykx201701015 671091010 |
| GrantInformation_xml | – fundername: 国家自然科学基金; 腾讯高校合作项目“面向故障检测的大规模开源软件日志增强技术研究” funderid: (61379146,61272483); 腾讯高校合作项目“面向故障检测的大规模开源软件日志增强技术研究” |
| GroupedDBID | 2RA 92L ALMA_UNASSIGNED_HOLDINGS CDYEO CQIGP W92 ~WA 2B. 4A8 92I 93N PSX TCJ |
| ID | FETCH-LOGICAL-c615-acad9fc0391642efc09b386a9ad4e22e5e2ba231b37edc196ff13812bbddbdb63 |
| ISSN | 1007-130X |
| IngestDate | Thu May 29 04:04:00 EDT 2025 Wed Feb 14 10:06:08 EST 2024 |
| IsPeerReviewed | true |
| IsScholarly | true |
| Issue | 1 |
| Keywords | logging function 机器学习 代码质量 日志函数 static analysis 故障检测 failure diagnosis machine learning 静态分析 code quality |
| Language | Chinese |
| LinkModel | OpenURL |
| MergedId | FETCHMERGED-LOGICAL-c615-acad9fc0391642efc09b386a9ad4e22e5e2ba231b37edc196ff13812bbddbdb63 |
| Notes | JIA Zhou-yang, LIAO Xiang-ke, LIU Xiao-dong, LI Shan-shan, ZHOU Shu-lin, XIE Xin-wei （College of Computer, National University of Defense Technology,Changsha 410073,China） 43-1258/TP With software scaling up continuously, logging mechanism has become an indispensable part in failure diagnosis area. A pretty similar symptom may be caused by various software bugs, and the most obvious evidence is always logging messages. Meanwhile, the development of most pieces of large-scale software is affected by developers＇ personal habits rather than being guided by certain conventional specification, so log-related analysis suffers in large-scale software. The recognition of logging function plays a precondition role in log analysis and affects the results of log analysis directly. We propose a machine learning method to fill the gap that logging function recognition has not been paid attention by most existing log-related works. Learning from widely-used software, we summary three logging functions, extract five common fe |
| PageCount | 7 |
| ParticipantIDs | wanfang_journals_jsjgcykx201701015 chongqing_primary_671091010 |
| PublicationCentury | 2000 |
| PublicationDate | 2017 |
| PublicationDateYYYYMMDD | 2017-01-01 |
| PublicationDate_xml | – year: 2017 text: 2017 |
| PublicationDecade | 2010 |
| PublicationTitle | 计算机工程与科学 |
| PublicationTitleAlternate | Computer Engineering ＆ Science |
| PublicationTitle_FL | Computer Engineering and Science |
| PublicationYear | 2017 |
| Publisher | 国防科学技术大学计算机学院,湖南长沙,410073 |
| Publisher_xml | – name: 国防科学技术大学计算机学院,湖南长沙,410073 |
| SSID | ssib006568571 ssib017479296 ssib001050383 ssib015938883 ssib001102936 ssib051375740 ssib023646326 ssib036438059 ssib000459496 |
| Score | 2.0612352 |
| Snippet | ... TP311.5;... |
| SourceID | wanfang chongqing |
| SourceType | Aggregation Database Publisher |
| StartPage | 111 |
| SubjectTerms | 代码质量 故障检测 日志函数 机器学习 静态分析 |
| Title | 基于机器学习的日志函数自动识别方法 |
| URI | http://lib.cqvip.com/qk/94293X/201701/671091010.html https://d.wanfangdata.com.cn/periodical/jsjgcykx201701015 |
| Volume | 39 |
| hasFullText | 1 |
| inHoldings | 1 |
| isFullTextHit | |
| isPrint | |
| link | http://utb.summon.serialssolutions.com/2.0.0/link/0/eLvHCXMwnV3Na9RAFB9qC-JFFCvWqhTpnJatzdd8HCe7WYpYL66wtyWTZLdU2KptQXsWKx681aIIelGKIgqeWhD_mWbtn-F7M9lslFLUS3h583jzZl4y85tJ3htC5mPup4nbc-uY7q3us0Di990UPzhmroydzDfHty3fZkt3_ZudoDNxarry19Lmhl5Ito6NK_kfrwIP_IpRsv_g2VIpMIAG_8IVPAzXv_IxjQIqWzRUNPLxKiIaMSobhgNFkiqBhGpSxYwMcBZpxKkEYd8Ic6oClAlbSAMhOA2bpgiYICyQo4xCoYxCQVWLCmY4QIdGmKFyIEKP2vMsR5DXyEdUOVgvEFhLxcjQGsBRswiNkcI0BDhgp1PaP3o0UF8IUpFpomMsklQC06sZhSEaExl7gDvSUyvMRRbDrpFeUZls1AyraaoNjDgviVqlGtuBRrmMbJnAPlIuslSDKquzAV6pbqfYuNFi7MddW5jSO9XJwWZa-u0lsCP9aI7Iijt-3HzkSSbNfIQVLJQV4B-F3GSLtaGsf2T8Zvh_rGMCB6dczh0YrKdUc_nWnSoOl34lT6JjsvpUA6QXAcaNywG0i2CM-wHCekKM5WFVygEml_J4qACr4Hq49UQFhweOxwNug41HbTpN5osG3zipuZjCZGVt0H8AwMzEyQ168aBfgXTtc-RssRabU_bFOk8mtlYuEC9_e3B48GL45iB_tZd__nC4_-7n6yfD3ff5j918-_tw5-vR9sf8-d7Rl6f5s0_Dl_vDbzvTpN2K2o2lenGySD0BBF-PkziVvQQPR4DldwaU1J5gsYxTP3PdLMhcHcPCR3s8SxOYo3o9B5Ctq3Wa6lQz7yKZHKwNsktkDuC-kDJ1k1j4Pn6E1h4L3JRLrbkWWTBDZsv2du_bBDLd0sEz5HrRA91iWFnvrq6v9pPH9x5hp2ECyODyiSpmyRmUtLuCV8jkxsPN7Crg5A19rXhqfgE3Moj2 |
| linkProvider | EBSCOhost |
| openUrl | ctx_ver=Z39.88-2004&ctx_enc=info%3Aofi%2Fenc%3AUTF-8&rfr_id=info%3Asid%2Fsummon.serialssolutions.com&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rft.genre=article&rft.atitle=%E5%9F%BA%E4%BA%8E%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%9A%84%E6%97%A5%E5%BF%97%E5%87%BD%E6%95%B0%E8%87%AA%E5%8A%A8%E8%AF%86%E5%88%AB%E6%96%B9%E6%B3%95&rft.jtitle=%E8%AE%A1%E7%AE%97%E6%9C%BA%E5%B7%A5%E7%A8%8B%E4%B8%8E%E7%A7%91%E5%AD%A6&rft.au=%E8%B4%BE%E5%91%A8%E9%98%B3+%E5%BB%96%E6%B9%98%E7%A7%91+%E5%88%98%E6%99%93%E4%B8%9C+%E6%9D%8E%E5%A7%97%E5%A7%97+%E5%91%A8%E4%B9%A6%E6%9E%97+%E8%B0%A2%E6%AC%A3%E4%BC%9F&rft.date=2017&rft.issn=1007-130X&rft.volume=39&rft.issue=1&rft.spage=111&rft.epage=117&rft_id=info:doi/10.3969%2Fj.issn.1007-130X.2017.01.015&rft.externalDocID=671091010 |
| thumbnail_s | http://utb.summon.serialssolutions.com/2.0.0/image/custom?url=http%3A%2F%2Fimage.cqvip.com%2Fvip1000%2Fqk%2F94293X%2F94293X.jpg http://utb.summon.serialssolutions.com/2.0.0/image/custom?url=http%3A%2F%2Fwww.wanfangdata.com.cn%2Fimages%2FPeriodicalImages%2Fjsjgcykx%2Fjsjgcykx.jpg |