Development a set of mathematical models for anomaly detection in high-load complex computer systems

• Published in: Eastern-European journal of enterprise technologies Vol. 6; no. 4 (132); pp. 14 - 25
• Main Authors: Meleshko, Yelyzaveta, Yakymenko, Mykola, Mikhav, Volodymyr, Shulika, Yaroslav, Davydov, Viacheslav
• Format: Journal Article
• Language: English
• Published: 27.12.2024
• ISSN: 1729-3774; 1729-4061
• DOI: 10.15587/1729-4061.2024.316779

The subject of this study is the process of anomaly detection in high-load complex computer systems (HLCCSs). The task addressed in the paper is the lack of real-time anomaly detection models in HLCCS with a specified accuracy. A set of mathematical models for real-time anomaly detection has been built and investigated. This set includes a mathematical model for detecting anomalous connections between components of computer system (DACCCSs) and a mathematical model for assessing current state of computer system (CSACS). The results of models tests showed the following efficiency metrics. For a DACCCS model: accuracy – 84 %, positive predictive value – 87 %, recall – 74 %, and weighted average accuracy (WAA) – 78 %. For a CSACS model: accuracy – 91 %, positive predictive value – 82 %, recall – 68 %, and WAA – 67 %. The positive results of the study can be attributed to the following factors. A DACCCS model uses projection matrices and orthogonal vector functions to analyze anomalies. This enables the creation of spatial decompositions that reveal complex interrelationships between system components using only eigenvalues and eigenvectors. A CSACS model applies the singular value decomposition method, which implies solving a system of scalar equations to determine the current state of the system. This approach minimizes computational costs compared to methods requiring the solution of complex matrix equations. Thus, the model could be applied for real-time data analysis and anomaly detection under conditions of limited resources and high system load. The practical application scope includes HLCCS, such as banking transaction servers and cloud platforms, in which it is essential to enable stable operation under high request amount and to minimize the risk of data loss or service failure Об’єктом дослідження є процес виявлення аномалій у високонавантажених складних комп’ютерних системах (ВНСКС). Проблема, що вирішується в дослідженні, полягає у відсутності моделей виявлення аномалій у ВНСКС у реальному часі з заданою точністю. Створено та досліджено комплекс математичних моделей для виявлення аномалій в реальному часі. До комплексу входять математична модель виявлення аномальних зв'язків між компонентами комп’ютерної системи (ВАЗККС) та математична модель оцінки стану комп’ютерної системи в поточний момент часу (ОСКСПМЧ). Результати тестування моделей показали наступні показники ефективності. Для моделі ВАЗККС точність – 84 %, точність позитивних прогнозів – 87 %, повнота – 74 %, зважена середня точність (ЗСТ) – 78 %. Для моделі ОСКСПМЧ точність – 91 %, точність позитивних прогнозів – 82 %, повнота – 68 %, ЗСТ – 67 %. Позитивні результати дослідження пояснюються наступними передумовами. Модель ВАЗККС використовує проекційні матриці та ортогональні векторні функції для аналізу аномалій. Це дозволяє створювати просторові розклади, які виявляють складні взаємозв'язки між компонентами КС, використовуючи лише власні значення і вектори. У моделі ОСКСПМЧ застосовується метод сингулярного розкладу, що зводиться до розв'язання системи скалярних рівнянь для визначення поточного стану системи. Це дозволяє скоротити обчислювальні витрати порівняно з методами, що вимагають розв'язання складних матричних рівнянь. Таким чином, модель може застосовуватися для оперативного аналізу даних та виявлення аномалій в умовах обмежених ресурсів та високого навантаження системи. Сфера практичного використання включає ВНСКС, такі як сервери банківських транзакцій, хмарні платформи, де необхідно забезпечити стабільну роботу в умовах великої кількості запитів