ELECTRONIC DEVICE AND METHOD FOR CONTROLLING THE ELECTRONIC DEVICE THEREOF

• Main Authors: KIM KYUNG SU, KWEON IN SO, KIM SUNG JIN, WOO SANG HYUN, KIM DA HUN, JUNG YUN JAE
• Format: Patent
• Language: English; Korean
• Published: 29.12.2020
• Subjects: CALCULATING; COMPUTING; COUNTING; HANDLING RECORD CARRIERS; PHYSICS; PRESENTATION OF DATA; RECOGNITION OF DATA; RECORD CARRIERS

The present invention relates to an electronic device and a method for controlling the same. The electronic device includes a memory storing at least one instruction and a processor connected to the memory and controlling the electronic device. By executing the one or more instructions, the processor acquires feature data on images included in a video by inputting the video to a first artificial intelligence model, acquires key frames of the video based on the feature data on the images, acquires first feature data on the rest of the key frames excluding at least one of key frames by inputting the rest to a first artificial neural network of a second artificial intelligence model, acquires second feature data including information on the relationship between the rest of the key frames by inputting the first feature data on the rest to a second artificial neural network of the second artificial intelligence model, and acquires a text on the key frames based on the second feature data. 전자 장치 및 이의 제어 방법이 제공된다. 본 전자 장치는 적어도 하나의 인스트럭션(instruction)을 저장하는 메모리 및 상기 메모리와 연결되어 상기 전자 장치를 제어하는 프로세서를 포함하고, 상기 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함으로써, 영상을 제1 인공 지능 모델에 입력하여 상기 영상에 포함된 복수의 이미지의 특징 데이터를 획득하고, 상기 복수의 이미지의 특징 데이터를 바탕으로 상기 영상의 복수의 키 프레임(key frame)을 획득하고, 상기 복수의 키 프레임 중 적어도 하나를 제외한 나머지 키 프레임을 제2 인공 지능 모델의 제1 인공 신경망에 입력하여 상기 나머지 키 프레임의 제1 특징 데이터를 획득하고, 상기 나머지 키 프레임의 제1 특징 데이터를 상기 제2 인공 지능 모델의 제2 인공 신경망에 입력하여 상기 나머지 키 프레임간의 관계에 대한 정보를 포함하는 제2 특징 데이터를 획득하고, 상기 제2 특징 데이터를 바탕으로 상기 복수의 키 프레임 대한 텍스트를 획득할 수 있다.