온디바이스 탑승자 모니터링 시스템을 위한 딥러닝 알고리즘 제안

• Published in: 한국항행학회논문지 Vol. 28; no. 6; pp. 953 - 958
• Main Authors: 정우진, Woo-jin Jung, 김예찬, Ye-chan Kim, 최원혁, Won-hyuck Choi
• Format: Journal Article
• Language: Korean
• Published: 한국항행학회 31.12.2024
• Subjects: CNN; Deep learning; LSTM; Passenger monitoring; Self-driving; 항공우주공학; Deep learning; Self-driving; CNN; LSTM; Passenger monitoring
• ISSN: 1226-9026; 2288-842X

자율주행 차량은 운전자나 동승자의 조작 없이 스스로 운전할 수 있는 차량으로, 자율주행 기술 수준에 대해서는 국제적으로SAE의 표준이 사용되고 있다. 현재 구글, 엔비디아, 테슬라 등 해외 IT 기업을 중심으로 레벨 4 자율주행 차량의 시스템 및 개발이 진행 중이다. 레벨 3 이상의 자율주행 차량의 경우 자율주행 시스템이 운전자의 역할을 수행해야 하므로, 높은 수준의 자율주행을 구현하기 위해서는 판단 시스템에 대한 성능개선이 필요하다. 성능 개선은 딥러닝을 활용하여 이루어질 수 있으며 딥러닝 기반의 자율주행 시스템을 구축하기 위해서는 충분한 시나리오와 데이터 세트가 필요하다. 본 연구에서는 CNN-LSTM 모델을 통해 차량탑승자의 상황을 판단하여 시나리오를 생성하는 이미지 캡션 알고리즘을 제안하고, 알고리즘 훈련 후 Perplexity, Loss 결과를 분석한다. 훈련된 알고리즘을 기반으로 시뮬레이션을 진행하여 적절한 상황인지 캡셔닝 데이터가 생성되는지 분석한다. An autonomous vehicle is a vehicle that can operate on its own without the manipulation of a driver or passenger, and the standard of SAE (Society of Automatic Engineers) is used internationally for the level of autonomous driving technology. Currently, the system and development of level 4 autonomous vehicles are underway, centering on foreign it companies such as Google, Nvidia, and Tesla. For self-driving cars at level-3 or higher, the autonomous driving system must play the role of the driver, so it is necessary to advance the judgment system to implement high-level autonomous driving. In order to construct a deep learning-based autonomous driving system, sufficient scenarios and datasets are required. This study proposes an image captioning algorithm that creates a scenario by judging the situation of the passenger in the vehicle through the CNN-LSTM model, and analyzes whether appropriate data are generated for learning the monitoring system through simulation.