RGB-D A method and apparatus for tracking hand component and fingertip from RGB-D image using deep convolutional neural network

• Main Authors: NA IN SEOP, NGUYEN HAI DUONG, KIM SOO HYUNG, LEE GUEE SANG, YANG HYUNG JEONG
• Format: Patent
• Language: English; Korean
• Published: 15.06.2020
• Subjects: CALCULATING; COMPUTING; COUNTING; HANDLING RECORD CARRIERS; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS; PRESENTATION OF DATA; RECOGNITION OF DATA; RECORD CARRIERS

The present invention relates to an apparatus for tracking hand components and a fingertip from a red/green/blue-depth (RGB-D) image using a deep convolutional neural network to reduce complexity in operation. According to one embodiment of the present invention, an electronic apparatus comprises: an image acquisition unit receiving an RGB image including the hand and a depth image corresponding to the RGB image; a hand recognition unit extracting a hand depth image from the RGB image and the depth image; an encoder generating a hand component feature map and a fingertip feature map from the hand depth image; a first decoder generating a hand component image having each hand component segmented therein from the hand component feature map; and a second decoder generating a fingertip image having each fingertip segmented therein from the fingertip feature map. 본 발명은 심층 합성곱 신경망(deep convolutional neural network)을 이용하여 RGB-D 이미지로부터 손 구성요소 및 손가락 끝을 추적하기 위한 장치에 관한 것이다. 본 발명의 일 실시예에 따른 전자 장치는 손을 포함하는 RGB 이미지 및 상기 RGB 이미지에 대응하는 깊이(depth) 이미지를 수신하는 이미지 획득부; 상기 RGB 이미지 및 깊이 이미지로부터 손 깊이 이미지를 추출하는 손 인식부; 상기 손 깊이 이미지로부터 손 구성요소 특징 맵 및 손가락 끝부분 특징 맵을 생성하는 인코더; 상기 손 구성요소 특징 맵으로부터 각 손 구성요소가 분할(segmentation)된 손 구성요소 이미지를 생성하는 제1 디코더; 및 상기 손가락 끝부분 특징 맵으로부터 각 손가락 끝부분이 분할된 손가락 끝부분 이미지를 생성하는 제2 디코더;를 포함할 수 있다.