Development of object detection from point clouds of a 3D dataset by Point-Pillars neural network

• Published in: Eastern-European journal of enterprise technologies Vol. 2; no. 9 (122); pp. 26 - 33
• Main Authors: Bashi, Omar I. Dallal, Hameed, Husamuldeen K., Al Kubaiaisi, Yasir Mahmood, Sabry, Ahmad H.
• Format: Journal Article
• Language: English
• Published: 29.04.2023
• ISSN: 1729-3774; 1729-4061
• DOI: 10.15587/1729-4061.2023.275155

Deep learning algorithms are able to automatically handle point clouds over a broad range of 3D imaging implementations. They have applications in advanced driver assistance systems, perception and robot navigation, scene classification, surveillance, stereo vision, and depth estimation. According to prior studies, the detection of objects from point clouds of a 3D dataset with acceptable accuracy is still a challenging task. The Point-Pillars technique is used in this work to detect a 3D object employing 2D convolutional neural network (CNN) layers. Point-Pillars architecture includes a learnable encoder to use Point-Nets for learning a demonstration of point clouds structured with vertical columns (pillars). The Point-Pillars architecture operates a 2D CNN to decode the predictions, create network estimations, and create 3D envelop boxes for various object labels like pedestrians, trucks, and cars. This study aims to detect objects from point clouds of a 3D dataset by Point-Pillars neural network architecture that makes it possible to detect a 3D object by means of 2D convolutional neural network (CNN) layers. The method includes producing a sparse pseudo-image from a point cloud using a feature encoder, using a 2D convolution backbone to process the pseudo-image into high-level, and using detection heads to regress and detect 3D bounding boxes. This work utilizes an augmentation for ground truth data as well as additional augmentations of global data methods to include further diversity in the data training and associating packs. The obtained results demonstrated that the average orientation similarity (AOS) and average precision (AP) were 0.60989, 0.61157 for trucks, and 0.74377, 0.75569 for cars. Алгоритми глибокого навчання дозволяють автоматично обробляти хмари точок у широкому діапазоні реалізацій тривимірної візуалізації. Вони застосовуються в сучасних системах допомоги водієві, в області сприйняття та навігації роботів, класифікації сцен, спостереження, стереобачення та оцінки глибини. Згідно з попередніми дослідженнями, виявлення об'єктів з хмар точок тривимірного набору даних з прийнятною точністю все ще є складним завданням. У роботі використовується метод Point-Pillars для виявлення тривимірного об'єкта з використанням шарів двовимірної згорткової нейронної мережі (CNN). Архітектура Point-Pillars включає навчальний кодувальник для використання Point-Nets для навчання демонстрації хмар точок, структурованих вертикальними стовпцями (pillars). Архітектура Point-Pillars використовує двовимірну CNN для декодування прогнозів, створення оцінок мережі та тривимірних оболонок для позначення різних об'єктів, таких як пішоходи, вантажівки та легкові автомобілі. Метою даного дослідження є виявлення об'єктів із хмар точок тривимірного набору даних за допомогою архітектури нейронної мережі Point-Pillars, що дозволяє виявляти тривимірний об'єкт за допомогою шарів двовимірної згорткової нейронної мережі (CNN). Даний метод включає в себе отримання розрідженого псевдозображення з хмари точок за допомогою кодувальника ознак, використання магістралі двовимірної згортки для обробки псевдозображення у високорівневе та використання детекторних головок для регресії і виявлення тривимірних обмежуючих рамок. У роботі використовується доповнення до даних підсупутникових спостережень, а також додаткові доповнення до глобальних методів збору даних для включення подальшої різноманітності в пакети даних навчання та ідентифікації. Отримані результати показали, що середня подібність орієнтації (AOS) та середня точність (AP) склали 0,60989, 0,61157 для вантажних автомобілів та 0,74377, 0,75569 для легкових автомобілів.