MRPN-CNN method of providing object classification for compressed video by use of syntax-based MRPN-CNN

• Main Authors: KIM PYEONG KANG, LEE SUNG JIN
• Format: Patent
• Language: English; Korean
• Published: 15.06.2020
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; ELECTRIC COMMUNICATION TECHNIQUE; ELECTRICITY; HANDLING RECORD CARRIERS; PHYSICS; PICTORIAL COMMUNICATION, e.g. TELEVISION; PRESENTATION OF DATA; RECOGNITION OF DATA; RECORD CARRIERS

The present invention relates to technology capable of effectively classifying objects from compressed images such as H.264 AVC, H.265 HEVC and the like in general. More specifically, for example, unlike existing technology in which objects are recognized and classified through complex image processing in regard to a compressed image generated by a CCTV camera, syntax information (e.g., a motion vector, a coding type) obtained by parsing compressed image data is used to extract an area in the image, in which a certain meaningful motion exists, namely a moving object area, and then, an image of the moving object area is regarded as an object candidate area to be inputted into a convolution neural network (CNN) to obtain an object classification result. In particular, since motion vector patterns of the moving object area are regarded as a training data group to perform machine learning for a deep neural network, a motion vector RPN (MRPN) with enhanced localization performance is formed, and then, the MRPN is applied to a forward pass of the CNN to preprocess the image of the moving object area. Thus, if one single moving object area includes a plurality of objects, the objects are separated to obtain an object classification result for each of the objects. 본 발명은 일반적으로 H.264 AVC 및 H.265 HEVC 등의 압축영상으로부터 객체 분류를 효과적으로 수행하는 기술에 관한 것이다. 더욱 상세하게는, 본 발명은 예컨대 CCTV 카메라가 생성하는 압축영상에 대해 종래기술처럼 복잡한 이미지 프로세싱을 통해 객체를 인식 및 분류하는 것이 아니라 압축영상 데이터를 파싱하여 얻어지는 신택스 정보(예: 모션벡터, 코딩유형)를 활용하여 영상 내에서 무언가 유의미한 움직임이 존재하는 영역, 즉 이동객체 영역을 추출하고 그 이동객체 영역의 이미지를 객체후보 영역으로 삼아 CNN(합성곱 신경망)에 입력하여 객체 분류 결과를 획득하는 기술에 관한 것이다. 특히, 이동객체 영역의 모션벡터 패턴을 훈련 데이터집합으로 삼아 심층신경망에 대한 머신러닝을 수행함으로써 로컬화(localization) 성능이 강화된 MRPN(모션벡터 RPN)을 구성하고, 그 MRPN을 CNN의 포워드패스(forward pass)에 적용하여 이동객체 영역의 이미지를 전처리함으로써 하나의 이동객체 영역에 복수의 객체가 포함되어 있다면 이들 객체를 분리해내어 각 객체 별로 객체 분류 결과를 획득하는 기술에 관한 것이다.