Method for Audio Synthesis corresponding to Video Characteristics

• Main Authors: YANG JONG YEOL, LEE YOUNG HAN, CHO CHOONG SANG, JUNG HYE DONG
• Format: Patent
• Language: English; Korean
• Published: 10.02.2020
• Subjects: ACOUSTICS; ELECTRIC COMMUNICATION TECHNIQUE; ELECTRICITY; MUSICAL INSTRUMENTS; PHYSICS; PICTORIAL COMMUNICATION, e.g. TELEVISION; SPEECH ANALYSIS OR SYNTHESIS; SPEECH OR AUDIO CODING OR DECODING; SPEECH OR VOICE PROCESSING; SPEECH RECOGNITION

비디오 특성에 부합하는 오디오 합성 방법이 제공된다. 본 발명의 실시예에 따른 오디오 합성 방법은, 비디오에서 시계열적으로 특징(x)들을 추출하고, 텍스트로부터 음소 별로 특징(p)들을 추출하며, (t-1) 시점에 비디오에 합성할 오디오를 생성하는데 이용되는 오디오 스펙트럼 특징(S)과 특징(x)들 간의 연관성들을 기초로 t 시점에 비디오에 합성할 오디오를 생성하는데 이용되는 오디오 스펙트럼 특징(S)을 생성한다. 이에 의해, 비디오 특성에 맞게 오디오를 합성하여, 비디오에 부합하는 음성 부가를 간편하게 수행할 수 있게 된다. An audio synthesis method adapted to video characteristics is provided. The audio synthesis method according to an embodiment includes: extracting characteristics x from a video in a time-series way; extracting characteristics p of phonemes from a text; and generating an audio spectrum characteristic St used to generate an audio to be synthesized with a video at a time t, based on correlations between an audio spectrum characteristic St-1, which is used to generate an audio to be synthesized with a video at a time t−1, and the characteristics x. Accordingly, an audio can be synthesized according to video characteristics, and speech according to a video can be easily added.