Design and development of a large language model-based tool for vulnerability detection

• Published in: Eastern-European journal of enterprise technologies Vol. 2; no. 2 (134); pp. 75 - 83
• Main Authors: Zhuravchak, Anastasiia, Piskozub, Andrian, Skorynovych, Bohdan, Lakh, Yuriy, Zhuravchak, Danyil, Hlushchenko, Pavlo, Venherskyi, Petro, Beliaiev, Igor, Vorokhob, Maksym, Kolbasynskyi, Ivan
• Format: Journal Article
• Language: English
• Published: 22.04.2025
• DOI: 10.15587/1729-4061.2025.325251
• ISSN: 1729-3774

The subject of this study is a tool for automating vulnerability detection using large language models, developed to reduce the time spent on conventional penetration testing. In addition, a detailed analysis has been conducted comparing the effectiveness of the automated approach with that of conventional manual security testing. The tool utilizes application programming interface access to LLMs, enabling the analysis of large volumes of data, the identification of complex relationships between system components, and the provision of interactive support to specialists during the testing process. By conducting experiments under actual conditions, the tool demonstrated the ability to integrate with popular penetration test tools and deal with real cyber threats, particularly in scenarios involving active attacks on networks and web applications. By automating routine tasks, such as configuration checks, analysis of tool outputs, and generating recommendations, the tool significantly reduces the workload on specialists. On average, the tool shortened the testing time by 54.4 % compared to a manual approach. Recall reached 94.7 % in network analysis scenarios but dropped to 66.7 % in web application testing, while the automated approach’s precision ranged from 80 % to 90 %. The study results confirmed that the application of large language models in the penetration testing process significantly reduces the time required to complete tasks and improves the accuracy of vulnerability detection. The tool could be used both independently and in combination with other automation tools, making it a versatile solution for organizations of various sizes. Thus, the proposed solution is a substantial contribution to the development of modern cybersecurity technologies and demonstrates the prospects of integrating artificial intelligence into automation processes Об'єктом дослідження є інструмент для автоматизації виявлення вразливостей за допомогою великих мовних моделей, розроблений для скорочення часу, витраченого на традиційне тестування на проникнення. Додатково було здійснено детальний аналіз, що порівнює ефективність автоматизованого підходу з класичним ручним тестуванням безпеки. Інструмент використовує програмний інтерфейс додатків до великих мовних моделей, що дозволяє аналізувати великі обсяги даних, виявляти складні взаємозв’язки між компонентами систем та забезпечувати інтерактивну підтримку фахівців під час тестування. Шляхом проведення експериментів інструмент показав здатність інтегруватися з популярними засобами тестування на проникнення та працювати з реальними загрозами, зокрема у сценаріях з активними атаками на мережі та веб-додатки. Автоматизація рутинних завдань (перевірка конфігурацій, аналіз вихідних даних інструментів, формування рекомендацій) дала змогу суттєво знизити навантаження на фахівців. У середньому інструмент скоротив час виконання тестування на 54.4 % порівняно з ручним підходом. Показники повноти сягали 94.7 % у сценаріях мережевого аналізу й знижувалися до 66.7 % під час тестування веб-додатків, а точність автоматизованого підходу коливалася в межах 80–90 %. Результати підтвердили, що застосування великих мовних моделей значно скорочує час на виконання завдань та покращує точність виявлення вразливостей. Інструмент може використовуватися як самостійно, так і у поєднанні з іншими засобами автоматизації, що робить його універсальним рішенням для організацій різного масштабу. Таким чином, запропоноване рішення є вагомим внеском у розвиток сучасних технологій кібербезпеки та демонструє перспективність інтеграції штучного інтелекту у процеси автоматизації