ENCODING/DECODING USER INTERFACE INTERACTIONS

• Main Authors: FIRMAN, Ilya, YIM, Keon Soo
• Format: Patent
• Language: English; French
• Published: 17.08.2023
• Subjects: CALCULATING; COMPUTING; COUNTING; ELECTRIC DIGITAL DATA PROCESSING; PHYSICS

A method (600) of encoding and decoding user interface interactions includes receiving a query (132) from a user captured by an assistant-enabled device (102) associated with the user. The query includes a user intent for interacting with an application (140). The method includes obtaining, for the application, a set of categorized actions (142). Each categorized action of the set of categorized actions is associated with one or more parameters (144) and represents a high-level description of the user intent of the user interacting with the application. For each respective categorized action of the set of categorized actions, the method includes selecting a respective script (402) associated with the respective categorized action that performs one or more low-level interactions with the application and executing the respective script to represent the user intent for interacting with the application. Un procédé (600) de codage et de décodage d'interactions d'interface utilisateur consiste à recevoir une requête (132) d'un utilisateur, capturée par un dispositif activé par assistant (102) associé à l'utilisateur. La requête comprend une intention utilisateur pour interagir avec une application (140). Le procédé consiste à obtenir, pour l'application, un ensemble d'actions catégorisées (142). Chaque action catégorisée de l'ensemble d'actions catégorisées est associée à un ou plusieurs paramètres (144) et représente une description de haut niveau de l'intention utilisateur de l'utilisateur interagissant avec l'application. Pour chaque action catégorisée respective de l'ensemble d'actions catégorisées, le procédé consiste à sélectionner un script respectif (402), associé à l'action catégorisée respective, qui effectue une ou plusieurs interactions de bas niveau avec l'application et à exécuter le script respectif pour représenter l'intention utilisateur pour interagir avec l'application.