METHOD FOR PROVIDING VIDEO AND ELECTRONIC DEVICE SUPPORTING THE SAME

• Main Authors: SEO DONGHWAN, LEE DASOM, LEE SANGHUN, KIM SUNGOH, CHOI SUNGSOO
• Format: Patent
• Language: English; Korean
• Published: 10.04.2023
• Subjects: CALCULATING; COMPUTING; COUNTING; ELECTRIC COMMUNICATION TECHNIQUE; ELECTRIC DIGITAL DATA PROCESSING; ELECTRICITY; PHYSICS; PICTORIAL COMMUNICATION, e.g. TELEVISION

According to various embodiments, an electronic device includes a memory, and at least one processor electrically connected to the memory. At least one processor is configured to obtain a video including an image and audio, obtain information on at least one object included in the image from the image, obtain a visual feature of at least one object, based on the image and the information on the at least one object, obtain a spectrogram of the audio, obtain an audio feature of the at least one object from the spectrogram of the audio, combine the visual feature and the audio feature, obtain, based on the combined visual feature and audio feature, information on a position of the at least one object the, wherein the information indicates the position of the at least one object in the image, obtain an audio part corresponding to the at least one object in the audio, based on the combined visual feature and audio feature, and store, in the memory, the information on the position of the at least one object and the audio part corresponding to the at least one object. Various other embodiments are possible. 다양한 실시예들에 따른 전자 장치는, 메모리, 및 상기 메모리와 전기적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 이미지 및 오디오를 포함하는 영상을 획득하고, 상기 이미지로부터 상기 이미지에 포함된 적어도 하나의 객체에 대한 정보를 획득하고, 상기 이미지 및 상기 적어도 하나의 객체에 대한 정보에 기반하여, 상기 적어도 하나의 객체에 대한 시각적 특징을 획득하고, 상기 오디오의 스펙트로그램(spectrogram)을 획득하고, 상기 오디오의 스펙트로그램로부터 상기 적어도 하나의 객체에 대한 오디오 특징을 획득하고, 상기 시각적 특징 및 상기 오디오 특징을 결합하고, 상기 결합된 시각적 특징 및 상기 오디오 특징에 기반하여, 상기 이미지 내에서 상기 적어도 하나의 객체의 위치를 나타내는, 상기 적어도 하나의 객체의 위치에 대한 정보를 획득하고, 상기 결합된 시각적 특징 및 상기 오디오 특징에 기반하여, 상기 오디오 내에서 상기 적어도 하나의 객체에 대응하는 오디오 부분을 획득하고, 및 상기 적어도 하나의 객체의 위치에 대한 정보 및 상기 적어도 하나의 객체에 대응하는 오디오 부분을 상기 메모리에 저장하도록 구성될 수 있다. 그 외에도 다양한 실시 예들이 가능하다.