VEHICLE CAMERA OCCLUSION CLASSIFICATION DEVICE USING DEEP LEARNING-BASED OBJECT DETECTOR AND METHOD THEREOF

• Main Authors: HAN, Dong Seog, SEONG, Jaeho, YOO, Minwoo
• Format: Patent
• Language: English; French; Korean
• Published: 29.06.2023
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS

The present invention relates to a vehicle camera occlusion classification device using a deep learning-based object detector and a method thereof. The vehicle camera occlusion classification device using the deep learning-based object detector according to the present invention comprises: an input unit which receives a captured original image as input from a camera frame by frame; a first feature extraction unit which extracts features of the input frames by reducing the size of the frames and then inputting same to a convolution neural network (CNN); a second feature extraction unit which uses an object detection algorithm to extract features of objects included in the frames input from the input unit; a calculation unit which performs a calculation by mixing the features of the frames and the features of the objects and then inputting same to an artificial neural network (ANN); and a determination unit which determines whether the camera is occluded according to the result of the calculation. La présente invention concerne un dispositif de classification d'occlusion de caméra de véhicule utilisant un détecteur d'objet basé sur un apprentissage profond et un procédé associé. Le dispositif de classification d'occlusion de caméra de véhicule utilisant le détecteur d'objet basé sur un apprentissage profond selon la présente invention comprend : une unité d'entrée qui reçoit une image d'origine capturée en tant qu'entrée à partir d'une trame de caméra par trame; une première unité d'extraction de caractéristiques qui extrait des caractéristiques des trames d'entrée en réduisant la taille des trames et en les entrant ensuite dans un réseau neuronal à convolution (CNN); une seconde unité d'extraction de caractéristiques qui utilise un algorithme de détection d'objet pour extraire des caractéristiques d'objets inclus dans les trames entrées à partir de l'unité d'entrée; une unité de calcul qui effectue un calcul en mélangeant les caractéristiques des trames et les caractéristiques des objets puis en les entrant dans un réseau neuronal artificiel (ANN); et une unité de détermination qui détermine si la caméra est occluse selon le résultat du calcul. 본 발명은 딥러닝 기반 객체 검출기를 이용한 차량 카메라 폐색 분류 장치 및 그 방법에 대한 것이다. 본 발명에 따른 딥러닝 기반 객체 검출기를 이용한 차량 카메라 폐색 분류 장치는 카메라로부터 촬영된 원본 이미지를 프레임 단위로 입력받는 입력부; 입력받은 프레임의 사이즈를 줄인 후 합성곱 신경망(CNN)에 입력하여 상기 프레임의 특징을 추출하는 제1 특징 추출부; 객체 검출 알고리즘을 이용하여 상기 입력부로부터 입력받은 프레임에 포함된 객체의 특징을 추출하는 제2 특징 추출부; 상기 프레임의 특징과 상기 객체의 특징을 혼합한 후 인공신경망(ANN)에 입력하여 연산하는 연산부; 및 상기 연산 결과에 따라 상기 카메라의 폐색 여부를 판단하는 판단부를 포함한다.