Method for processing audio sound based on multi-channel and an electronic device

• Main Authors: LEE MYOUNGHO, MOON HANGIL, CHO KIHO, YANG JAEMO, SON BEAKKWON, LEE YONGHOON, KEUM JONGMO, LEE GUNWOO, BAEK SOONHO
• Format: Patent
• Language: English; Korean
• Published: 17.02.2021
• Subjects: ACOUSTICS; CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; MUSICAL INSTRUMENTS; PHYSICS; SPEECH ANALYSIS OR SYNTHESIS; SPEECH OR AUDIO CODING OR DECODING; SPEECH OR VOICE PROCESSING; SPEECH RECOGNITION

An electronic device according to various embodiments may include: a communication circuit; at least two microphones; a processor operatively connected with the communication circuit and the at least two microphones; and a memory operatively connected with the processor and storing a noise removing neural network model that uses a first channel output signal corresponding to a first beamformer and a second channel output signal corresponding to a second beamformer as input values. The memory may store instructions that, when executed, cause the processor to: acquire a first channel signal based on the first beamformer and a second channel signal based on the second beamformer with respect to an audio input signal which is input through the at least two microphones; generate a third channel signal that compensates for a difference in noise magnitude between the first channel signal and the second channel signal; and output a neural network output signal by using the first channel signal and the third channel signal as input values of the noise removing neural network model. Other various embodiments may be possible. According to the present invention, noise removing performance can be improved. 다양한 실시예에 따른 전자 장치는, 통신 회로, 적어도 두 개의 마이크, 상기 통신 회로, 상기 적어도 두 개의 마이크와 작동적으로 연결된 프로세서, 및 상기 프로세서와 동작적으로 연결되고, 제1 빔포머에 대응하는 제1 채널출력 신호와 제2 빔포머에 대응하는 제2 채널출력 신호를 입력값 으로 이용하는 잡음 제거 신경망 모델을 저장하는 메모리를 포함하고, 상기 메모리는 실행 시에, 상기 프로세서가, 상기 적어도 두 개의 마이크를 통해 입력된 오디오 입력 신호에 대해 상기 제1 빔포머를 기반으로 상기 제1 채널 신호 및 상기 제2 빔포머를 기반으로 제2 채널 신호를 획득하고, 상기 제1 채널 신호의 잡음 크기와 상기 제2 채널 신호의 잡음 크기 차이를 보상한 제3 채널 신호를 생성하고, 상기 제1 채널 신호와 상기 제3 채널 신호를 상기 잡음 제거 신경망 모델의 입력값으로 이용하여 신경망 출력 신호를 출력하도록 하는 인스트럭션들을 저장할 수 있다. 이외에 다양한 실시 예들이 가능할 수 있다.