Method for fruit segmentation and pose estimation

• Main Authors: JANG MIN HO, LEE JAE HEUM, SHIN CHANG SEOP, KIM YONG JUN, HWANG YOUNG BAE
• Format: Patent
• Language: English; Korean
• Published: 19.05.2023
• Subjects: CALCULATING; COMPUTING; COUNTING; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS

Provided is a fruits and vegetables segmentation and posture estimation method. The fruits and vegetables segmentation and posture estimation method, according to an embodiment of the present invention, is as follows: obtaining a color video and a depth video capturing fruits and vegetables; segmenting fruits and vegetables in the obtained color video to generate a fruits and vegetables color video; masking the fruits and vegetables color video on the depth video to generate a fruits and vegetables depth video; using the fruits and vegetables color video and the fruits and vegetables depth video to generate 3D data of fruits and vegetables; using the 3D data of fruits and vegetables to calculate locations of fruits and vegetables; and using the 3D data of fruits and vegetables to estimate a posture of fruits and vegetables. In embodiments of the present invention, the method can sufficiently and conveniently secure learning data of a deep learning model performing fruits and vegetables segmentation through the synthetic video generation and without labelling and improve the accuracy of posture estimation. 과채류 세그먼테이션 및 자세추정 방법이 제공된다. 본 발명의 실시예에 따른 과채류 세그먼테이션 및 자세추정 방법은, 과채류를 촬영한 컬러 영상과 뎁스 영상을 획득하고, 획득한 컬러 영상에서 과채류를 세그먼테이션 하여 과채류 컬러 영상을 생성하며, 과채류 컬러 영상을 뎁스 영상에 마스킹 하여 과채류 뎁스 영상을 생성하고, 과채류 컬러 영상과 과채류 뎁스 영상을 이용하여 과채류의 3D 데이터를 생성하며, 과채류의 3D 데이터를 이용하여 과채류의 위치를 계산하고, 과채류의 3D 데이터를 이용하여 과채류의 자세를 추정한다. 본 발명의 실시예들에서는 과채류 세그먼테이션을 수행하는 딥러닝 모델의 학습 데이터를 합성 영상 생성을 통해 충분하게 그리고 라벨링 작업 없이 간편하게 확보하고, 자세추정의 정확도를 향상시킬 수 있게 된다.