MOTION PREDICTION IN AN AUTONOMOUS VEHICLE USING FUSED SYNTHETIC AND CAMERA IMAGES

• Main Authors: VORA SOURABH, GRIGORE ELENA CORINA, HELOU BASSAM, LANG ALEX, BEIJBOM OSCAR, WOLFF ERIC MCKENZIE, JIANG CHENG
• Format: Patent
• Language: English; Korean
• Published: 08.12.2023
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE ORDIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; COUNTING; PERFORMING OPERATIONS; PHYSICS; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TOTHE CONTROL OF A PARTICULAR SUB-UNIT; TRANSPORTING; VEHICLES IN GENERAL

융합된 합성 및 카메라 이미지들을 사용하여 자율 주행 차량에서 움직임 예측을 위한 방법들이 제공된다. 이 방법은 차량 주위의 구역의 조감도를 나타내고 대상체를 식별해 주는 합성 이미지에 대응하는 데이터 및 대상체를 묘사하는 카메라 이미지에 대응하는 데이터를 각각 반영하는 데이터 쌍들을 획득하는 단계를 포함할 수 있다. 머신 러닝 모델은 데이터 쌍에서의 합성 이미지 및 카메라 이미지에 기초하여 데이터 쌍 내에서 대상체의 움직임을 예측하는 트레이닝된 모델을 생성하도록 데이터 쌍들에 기초하여 트레이닝될 수 있다. 시스템들 및 컴퓨터 프로그램 제품들이 또한 제공된다. Provided are methods for motion prediction in an autonomous vehicle using fused synthetic and camera images. The method can include obtaining data pairs, each of which reflects data corresponding to a synthetic image representing a birds-eye-view of an area around a vehicle and identifying an object, and data corresponding to a camera image depicting the object. A machine learning model can be trained based on the data pairs to result in a trained model that predicts motion of the object within the data pair based on the synthetic image and camera image in the data pair. Systems and computer program products are also provided.