SCENE GRAPH GENERATION SYSTEM USING DEEP NEURAL NETWORK

• Main Authors: JUNG, Ga Yeong, KIM, In Cheol
• Format: Patent
• Language: English; French; Korean
• Published: 03.03.2022
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; PHYSICS

A scene graph generation system using a deep neural network is disclosed. The system comprises: an object area detection unit for detecting a plurality of object areas from an input image; an object and relationship detection unit which detects objects and relationships within the image on the basis of the inferred object areas, and which detects the objects and relationships by using multi-modal contextual information including linguistic contextual features, in addition to visual contextual features; and a graph generation unit generating a scene graph for the input image according to the detection results of the object and relationship detection unit. La présente invention concerne un système de génération de graphique de scène utilisant un réseau neuronal profond. Le système comprend : une unité de détection de zone d'objet pour détecter une pluralité de zones d'objet à partir d'une image d'entrée ; une unité de détection d'objet et de relation qui détecte des objets et des relations dans l'image sur la base des zones d'objet déduites, et qui détecte les objets et les relations en utilisant des éléments contextuels multimodaux comprenant des éléments contextuels linguistiques, en plus des éléments contextuels visuels ; et une unité de génération de graphique générant un graphique de scène pour l'image d'entrée en fonction des résultats de détection de l'unité de détection d'objet et de relation. 심층 신경망을 이용한 장면 그래프 생성 시스템이 개시된다. 이 시스템은 입력 영상에서 복수의 물체 영역을 탐지하는 물체 영역 탐지부, 추론된 물체 영역들을 기초로 영상 내 물체 및 관계를 탐지하되, 합성 곱 신경망(Convolutional Neural Network) 기반의 시각 맥락 특징 외에 언어 맥락 특징을 포함하는 멀티 모달 맥락 정보를 이용하여 물체 및 관계를 탐지하는 물체 및 관계 탐지부, 및 물체 및 관계 탐지부의 탐지 결과에 따라 입력 영상에 대한 장면 그래프를 생성하는 그래프 생성부를 포함한다.