자동화된 어시스턴트 상호작용에서 레이턴시를 줄이기위한 방법 및 시스템

• Main Authors: GOLDFARB RAFAEL, AUSTER DEKEL, TASCA NINO, GOODMAN MICHAEL ANDREW, RASIN DAN, KONZELMANN JACLYN, STROHMAN TREVOR, ALON LIOR, NYGAARD VALERIE
• Format: Patent
• Language: Korean
• Published: 07.08.2023
• Subjects: ACOUSTICS; CALCULATING; COMPUTING; COUNTING; ELECTRIC DIGITAL DATA PROCESSING; MUSICAL INSTRUMENTS; PHYSICS; SPEECH ANALYSIS OR SYNTHESIS; SPEECH OR AUDIO CODING OR DECODING; SPEECH OR VOICE PROCESSING; SPEECH RECOGNITION

여기에 설명된 구현은 자동화된 어시스턴트 상호 작용에서 레이턴시를 줄이는 것과 연관된다. 일부 구현에서 클라이언트 장치는 사용자의 음성 발화를 캡처하는 오디오 데이터를 수신할 수 있다. 오디오 데이터는 자동화된 어시스턴트에 의해 수행될 어시스턴트 명령을 결정하기 위해 프로세싱될 수 있다. 어시스턴트 명령을 이행하기 위한 예측된 레이턴시를 생성하기 위해 레이턴시 예측 모델을 사용하여 어시스턴트 명령을 프로세싱할 수 있다. 또한, 클라이언트 장치(또는 자동화된 어시스턴트)는 예측된 레이턴시에 기초하여 음성 발화에 응답하는 콘텐츠를 가청적으로 렌더링하기 전에 사용자에게 프레젠테이션하기 위해 미리 캐싱된 콘텐츠를 가청적으로 렌더링할지 여부를 결정할 수 있다. 미리 캐싱된 콘텐츠는 어시스턴트 명령에 테일러드될 수 있고 콘텐츠가 획득되는 동안 사용자에게 프레젠테이션하기 위해 가청적으로 렌더링될 수 있고, 콘텐츠는 미리 캐싱된 콘텐츠 이후에 사용자에게 프레젠테이션하기 위해 가청적으로 렌더링될 수 있다. Implementations described herein relate to reducing latency in automated assistant interactions. In some implementations, a client device can receive audio data that captures a spoken utterance of a user. The audio data can be processed to determine an assistant command to be performed by an automated assistant. The assistant command can be processed, using a latency prediction model, to generate a predicted latency to fulfill the assistant command. Further, the client device (or the automated assistant) can determine, based on the predicted latency, whether to audibly render pre-cached content for presentation to the user prior to audibly rendering content that is responsive to the spoken utterance. The pre-cached content can be tailored to the assistant command and audibly rendered for presentation to the user while the content is being obtained, and the content can be audibly rendered for presentation to the user subsequent to the pre-cached content.