METHOD AND SYSTEM FOR FUSING DATA FROM LIDAR AND CAMERA

• Main Authors: JO KI CHUN, CHO JI EUN, SONG HA MIN, JANG SUNG MOON, HA JIN SU, KIM CHAN SOO
• Format: Patent
• Language: English; Korean
• Published: 23.05.2024
• Subjects: ANALOGOUS ARRANGEMENTS USING OTHER WAVES; CALCULATING; COMPUTING; COUNTING; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION ORRERADIATION OF RADIO WAVES; MEASURING; PHYSICS; RADIO DIRECTION-FINDING; RADIO NAVIGATION; TESTING

본 개시의 일 실시예에 따른 라이다 및 카메라의 데이터 융합 방법은, 라이다의 포인트 클라우드 데이터를 기초로, 복셀 별 특징 맵을 생성하며; 카메라의 이미지 데이터를 기초로, 픽셀 별 특징 맵을 생성하며; 미리 지정된 캘리브레이션 파라미터를 기초로, 상기 복셀 별 특징 맵에 포함된 포인트 데이터의 좌표를 3차원에서 2차원으로 변환하며; 상기 픽셀 별 특징 맵에 포함된 픽셀 데이터와 상기 좌표가 상기 2차원으로 변환된 포인트 데이터를 융합하여 융합 데이터를 생성하는 것을 포함할 수 있다. A LiDAR and camera data fusion method includes generating a voxel-wise feature map based on point cloud data of a LiDAR sensor, generating a pixel-wise feature map based on image data of a camera, converting three-dimensional (3D) coordinates of point data of the voxel-wise feature map to two-dimensional (2D) coordinates, based on at least one predefined calibration parameter, and generating fused data by combining pixel data of the pixel-wise feature map and point data of the 2D coordinates.