System and method for image searching using image captioning based on deep learning

• Main Authors: HA YOUNG KWANG, SHIM CHOONG SUP
• Format: Patent
• Language: English; Korean
• Published: 03.01.2023
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; ELECTRIC COMMUNICATION TECHNIQUE; ELECTRIC DIGITAL DATA PROCESSING; ELECTRICITY; PHYSICS; PICTORIAL COMMUNICATION, e.g. TELEVISION

A deep learning-based image captioning video stream processing method and system are disclosed. According to one aspect of the present invention, the deep learning-based image captioning video stream processing method comprises the steps of: dividing, by a system, a video into a plurality of shots; determining, by the system, at least one selection frame among a plurality of frames included in each of the divided shots; generating, by the system, at least one shot text for each of the divided shots through image captioning corresponding to the selection frame determined by the system; and editing the video based on the at least one shot text of each of the divided shots generated by the system. The present invention allows a user to search for or edit only a desired video part based on text corresponding to the visual information of each of at least one frame included in a video. 딥러닝 기반의 영상 캡셔닝을 통한 비디오 스트림 처리 방법 및 그 시스템이 개시된다. 본 발명의 일 측면에 따르면, 딥러닝 기반의 영상 캡셔닝을 통한 비디오 스트림 처리 방법은 시스템이 비디오를 복수의 샷으로 분할하는 단계, 상기 시스템이 상기 분할된 샷들 각각에 포함된 복수의 프레임들 중에서 적어도 하나의 선택 프레임을 결정하는 단계, 상기 시스템이 결정한 선택 프레임에 상응하는 영상 캡셔닝을 통해 상기 분할된 샷들 각각에 대해 적어도 하나의 샷 텍스트를 생성하는 단계, 및 상기 시스템이 생성한 상기 분할된 샷들 각각의 상기 적어도 하나의 샷 텍스트에 기초하여 상기 비디오를 편집하는 단계를 포함한다.