QUERY RECOGNITION RESILIENCY DETERMINATION IN VIRTUAL AGENT SYSTEMS

• Main Authors: BASU, Abhishek, ROZSA, Eniko, GHAZI, Diman, HADDOCK, Brenda, BOYLE, Peter, VERGES FARRERO, Xavier, TRIM, Craig, WITTNEBERT, Maria
• Format: Patent
• Language: English; French
• Published: 26.09.2019
• Subjects: CALCULATING; COMPUTING; COUNTING; ELECTRIC DIGITAL DATA PROCESSING; PHYSICS

A computer-implemented method includes: generating, by a computing device, a sample of a query, wherein the query maps to a predetermined categorization; processing the sample with a first natural language process, wherein the processing produces an output comprising a categorization of the sample; storing data regarding whether the categorization of the output matches the predetermined categorization; generating a report based on the stored data indicating a percentage of a plurality of samples of the query whose categorizations match the predetermined characterization; outputting the report; and receiving a second natural language process comprising updates to the first natural language process based on the report, wherein the updates increase the percentage of the plurality of samples that match the predetermined categorization when processed with the second natural language process relative to when the plurality of samples was processed with the first natural language process. L'invention porte sur un procédé mis en œuvre par ordinateur comprenant : la génération, par un dispositif informatique, d'un échantillon d'une requête, la requête correspondant à une catégorisation prédéterminée ; le traitement de l'échantillon avec un premier processus de langage naturel, le traitement produisant une sortie comprenant une catégorisation de l'échantillon ; le stockage de données indiquant si la catégorisation de la sortie correspond à la catégorisation prédéterminée ; la génération d'un rapport sur la base des données stockées indiquant un pourcentage d'une pluralité d'échantillons de la requête dont les catégorisations correspondent à la catégorisation prédéterminée ; la délivrance du rapport ; et la réception d'un second processus de langage naturel comprenant des mises à jour apportées au premier processus de langage naturel sur la base du rapport, les mises à jour augmentant le pourcentage de la pluralité d'échantillons qui correspondent à la catégorisation prédéterminée lorsqu'ils sont traités avec le second processus de langage naturel par rapport au cas où la pluralité d'échantillons étaient traités avec le premier processus de langage naturel.