CALIBRATION METHOD TO ESTIMATE RELATIVE POSITION BETWEEN A MULTI-BEAM SONAR AND A CAMERA

• Main Authors: HAN, JUNG WOOK, KIM, JIN WHAN
• Format: Patent
• Language: English; Korean
• Published: 28.08.2017
• Subjects: ANALOGOUS ARRANGEMENTS USING OTHER WAVES; CALCULATING; COMPUTING; COUNTING; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION ORRERADIATION OF RADIO WAVES; MEASURING; PHYSICS; RADIO DIRECTION-FINDING; RADIO NAVIGATION; TESTING

The present invention relates to a method for calibrating positions of a multi-beam sonar and a camera for combining information obtained by two sensors by estimating the relative positions of the camera and the multi-beam sonar installed in a body fixated to integrate two sensors. The method for calibrating the positions of the multi-beam sonar and the camera includes: a step of continuously acquiring sound wave data by allowing sound wave signals continuously emitted from the multi-beam sonar which moves to be reflected by a subject; a step of extracting corner points of the subject by analyzing the sound wave data; a step of estimating a change in the relative motion of the multi-beam sonar based on the extracted corner points; a step of acquiring images continuously taken by a camera moving with the multi-beam sonar; a step of extracting feature points of the subject from the images; a step of estimating a change in a relative motion of the camera based on the extracted feature points; and a step of determining the relative positions of the multi-beam sonar and the camera using the change in the relative motion of the multi-beam sonar and the change in the relative motion of the camera. The calibration method is capable of preventing error resulting from inputting the wrong distance between the two sensors when measuring shapes and positions with respect to ambient environments measured by the two sensors by figuring out the accurate relative positions of the two sensors installed in the fixed body, thereby obtaining an effect of acquiring the accurate positions and images with respect to the shapes. 본 발명은 이종센서 융합을 위해 고정된 바디에 설치된 카메라와 멀티빔소나의 상대적인 위치를 추정하여 두 센서로부터 얻어지는 정보 융합을 위한 멀티빔소나와 카메라의 위치 캘리브레이션 방법에 관한 것으로서, 이동하는 멀티빔소나로부터 연속으로 방사된 음파 신호가 대상물에 반사되어 연속적으로 음파 데이터를 획득하는 단계; 상기 음파 데이터를 분석하여 상기 대상물에 대한 코너점을 추출하는 단계; 추출된 코너점으로부터 멀티빔소나의 상대운동 변화를 추정하는 단계; 상기 멀티빔소나와 함께 이동하는 카메라로 연속적으로 촬영한 이미지를 획득하는 단계; 상기 이미지로부터 상기 대상물에 대한 특징점을 추출하는 단계; 추출된 특징점들로부터 카메라의 상대운동 변화를 추정하는 단계; 및 상기 멀티빔소나의 상대운동 변화와 상기 카메라의 상대운동 변화를 이용하여 상기 멀티빔소나와 상기 카메라의 상대적인 위치를 결정하는 단계;를 포함하여 구성되어 고정된 바디에 설치된 두 센서의 정확한 상대적인 위치를 알아내도록 하여 2개의 센서에 의해 측정되는 주변 환경에 대한 형상과 위치를 측정함에 있어서 두 센서의 거리를 잘 못 입력하여 발생하는 오차를 없앰으로써 형상에 대한 정확한 위치와 이미지를 얻을 수 있는 효과가 있다.