METHODS SYSTEMS AND APPARATUS FOR PROVIDING COMPOSITE GRAPHICAL ASSISTANT INTERFACES FOR CONTROLLING CONNECTED DEVICES

• Main Authors: SPATES IV MARK, LIN DI, TRAN CINDY, BUTLER TRIONA, SCHAIRER DAVID ROY, NI YUZHAO, WILLIAMS LISA
• Format: Patent
• Language: English; Korean
• Published: 24.10.2024
• Subjects: ACOUSTICS; CALCULATING; COMPUTING; COUNTING; ELECTRIC COMMUNICATION TECHNIQUE; ELECTRIC DIGITAL DATA PROCESSING; ELECTRICITY; MUSICAL INSTRUMENTS; PHYSICS; SPEECH ANALYSIS OR SYNTHESIS; SPEECH OR AUDIO CODING OR DECODING; SPEECH OR VOICE PROCESSING; SPEECH RECOGNITION; TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHICCOMMUNICATION

다수의 상이한 연결 디바이스들 간의 인터랙션을 위한 복합 그래픽 어시스턴트 인터페이스들을 조정하는 방법들, 장치들, 시스템들, 및 컴퓨터-판독가능 매체가 제공된다. 복합 그래픽 어시스턴트 인터페이스들은, 연결 디바이스가 특정 기능을 수행하게 하기 위해 사용자가 자동화 어시스턴트에 요청을 제공하는 것에 응답하여 생성될 수 있다. 자동화 어시스턴트가 요청을 수신하는 것에 응답하여, 자동화 어시스턴트는 연결 디바이스가 수행할 수 있는 다른 기능들을 식별할 수 있다. 그런 후, 사용자가 연결 디바이스와 인터랙션할 수 있도록 복합 그래픽 어시스턴트 인터페이스를 제공하기 위하여, 다른 기능들이 다양한 그래픽 제어 엘리먼트들과 매핑될 수 있다. 각 그래픽 제어 엘리먼트는, 연결 디바이스가 어떻게 복합 그래픽 어시스턴트 인터페이스의 프리젠테이션과 동시에 동작하는지를 반영하기 위해, 연결 디바이스의 상태에 따라서 배열될 수 있다. Methods, apparatus, systems, and computer-readable media are provided for tailoring composite graphical assistant interfaces for interacting with multiple different connected devices. The composite graphical assistant interfaces can be generated in response to a user providing a request for an automated assistant to cause a connected device to perform a particular function. In response to the automated assistant receiving the request, the automated assistant can identify other functions that the connected device is capable of performing. The other functions can then be mapped to various graphical control elements in order to provide a composite graphical assistant interface from which the user can interact with the connected device. Each graphical control element can be arranged according to a status of the connected device, in order to reflect how the connected device is operating simultaneous to the presentation of the composite graphical assistant interface.