오디오 신호 생성 및 오디오 생성기 훈련을 위한 방법 및 오디오 생성기

• Main Authors: PIA NICOLA, FUCHS GUILLAUME, MULTRUS MARKUS, AHMED AHMED MUSTAFA MAHMOUD, GUPTA KISHAN, BUETHE JAN, KORSE SRIKANTH
• Format: Patent
• Language: Korean
• Published: 20.07.2023
• Subjects: ACOUSTICS; CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; MUSICAL INSTRUMENTS; PHYSICS; SPEECH ANALYSIS OR SYNTHESIS; SPEECH OR AUDIO CODING OR DECODING; SPEECH OR VOICE PROCESSING; SPEECH RECOGNITION

오디오 신호를 생성하고 오디오 생성기를 훈련하는 기술이 개시되어 있다. 오디오 생성기(10)는 입력 신호(14)로부터 오디오 신호(16)를 생성하고, 상기 오디오 신호(16)를 나타내는 타겟 데이터(12)를 생성할 수 있다. 상기 오디오 생성기는 다음으로 구성된다: 상기 입력 신호(14)로부터 유도된 제1 데이터(15, 59a)를 수신하고, 제1 출력 데이터(69)를 출력하는 제1 처리 블록(40, 50, 50a-50h); 상기 제1 출력 데이터(69) 또는 상기 제1 출력 데이터(69)로부터 유도된 데이터를 제2 데이터로서 수신하는 제2 처리 블록(45). 상기 제1 처리 블록(50)은 다음을 포함한다: 컨디셔닝 피쳐 파라미터(74, 75)를 얻기 위해 상기 타겟 데이터(12)를 처리하도록 구성된 학습 가능한 계층(71, 72, 73)의 컨디셔닝 세트; 및 상기 컨디셔닝 피쳐 파라미터(74, 75)를 상기 제1 데이터(15, 59a) 또는 정규화된 제1 데이터(59, 76')에 적용하도록 구성된 스타일링 요소(77). There are disclosed techniques for generating an audio signal and training an audio generator. An audio generator may generate an audio signal from an input signal and target data representing the audio signal. It includes: a first processing block, receiving first data derived from the input signal and outputting first output data; a second processing block, receiving, as second data, the first output data or data derived from the first output data. The first processing block includes: a conditioning set of learnable layers configured to process the target data to obtain conditioning features parameters; and a styling element, configured to apply the conditioning feature parameters to the first data or normalized first data.