A novel approach to the development of neural network architecture based on metaheuristic protis approach

• Published in: Eastern-European journal of enterprise technologies Vol. 4; no. 4 (124); pp. 46 - 59
• Main Authors: Harumy, T. Henny Febriana, Zarlis, Muhammad, Lydia, Maya Silvi, Efendi, Syahril
• Format: Journal Article
• Language: English
• Published: 31.08.2023
• ISSN: 1729-3774; 1729-4061
• DOI: 10.15587/1729-4061.2023.281986

Determining the best model for the neural network architecture and how to optimize the architecture with the metaheuristic Protis Approach is a subject of the study. A comprehensive investigation and utilization of metaheuristic methods are necessary. These methods aim to solve problems and adapt from the lifestyle of the amoeba protis. In this study, the proposed method modifies the life cycle of the amoeba, which consists of four phases: prophase, metaphase, anaphase, and telophase. These four phases are modified in the neural network architecture to optimize the appropriate number of hidden layers and produce an efficient architecture model. The results show that the protis approach optimized the neural network architecture, especially in generating hidden layers to improve the neural network model. Distinctive features of the results obtained are that the average range of degenerate neurons in the hidden layer is 0 to 35 neurons in each layer. The standard number of neurons makes it possible to solve the problem of determining the best model on the neural network architecture. The protis algorithm embedded in the protis recurrent neural network for categorical data measurements produces an average RMSE value, representing the difference between actual measurements and predictions, equal to 0.066. Consequently, the developed model surpasses the current classical neural network model in terms of performance. Regarding accuracy, the protis algorithm embedded in the neural network for categorical and time series data achieves an average precision of 0.952 and a recall of 0.950. The protis convolutional neural network achieves an accuracy of 95.9 %. Therefore, from the three tested datasets, the protis convolutional neural network exhibits the highest accuracy value Предметом дослідження є визначення найкращої моделі архітектури нейронної мережі та способів оптимізації архітектури за допомогою метаевристичного підходу протиста. Існує необхідність у всебічному дослідженні і використанні метаевристичних методів. Ці методи спрямовані на вирішення завдань та адаптацію до способу життя протиста амеби. У дослідженні запропонований метод модифікує життєвий цикл амеби, що складається з чотирьох фаз: профази, метафази, анафази та телофази. Ці чотири фази модифіковані в архітектурі нейронної мережі для оптимізації відповідної кількості прихованих шарів та створення ефективної моделі архітектури. Результати показують, що підхід протиста оптимізує архітектуру нейронної мережі, особливо при створенні прихованих шарів для вдосконалення моделі нейронної мережі. Відмінною особливістю отриманих результатів є те, що середній діапазон вироджених нейронів у прихованому шарі становить від 0 до 35 нейронів у кожному шарі. Стандартна кількість нейронів дозволяє вирішити задачу визначення найкращої моделі архітектури нейронної мережі. Алгоритм протиста, вбудований у рекурентну нейронну мережу протиста для вимірювання категоріальних даних, дає середнє значення RMSE, що представляє різницю між фактичними вимірами та прогнозами 0,066. Отже, розроблена модель перевершує за продуктивністю існуючу класичну модель нейронної мережі. Що стосується точності, алгоритм протиста, вбудований у нейронну мережу для категоріальних даних та даних часових рядів, забезпечує середню точність 0,952 та повноту 0,950. Згорткова нейронна мережа протиста забезпечує точність 95,9 %. Таким чином, із трьох протестованих наборів даних згорткова нейронна мережа протиста демонструє найвище значення точності