ERMITTELN DER ABFRAGEERKENNUNGSRESILIENZ IN VIRTUELLEN AGENTENSYSTEMEN

• Main Authors: Trim, Craig, Verges Farrero, Xavier, Boyle, Peter Currie, Haddock, Brenda, Wittnebert, Maria, Rozsa, Eniko, Ghazi, Diman, Basu, Abhishek
• Format: Patent
• Language: German
• Published: 07.01.2021
• Subjects: CALCULATING; COMPUTING; COUNTING; DATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FORADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORYOR FORECASTING PURPOSES; ELECTRIC DIGITAL DATA PROCESSING; PHYSICS; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE,COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTINGPURPOSES, NOT OTHERWISE PROVIDED FOR

Ein durch einen Computer implementiertes Verfahren umfasst: Erzeugen einer Stichprobe einer Abfrage durch eine Datenverarbeitungseinheit, wobei die Abfrage einer vorgegebenen Kategorisierung zugeordnet wird; Verarbeiten der Stichprobe mit einem ersten Prozess zum Verarbeiten natürlicher Sprache, wobei das Verarbeiten eine Ausgabe erzeugt, die eine Kategorisierung der Stichprobe aufweist; Speichern von Daten, die angeben, ob die Kategorisierung der Ausgabe mit der vorgegebenen Kategorisierung übereinstimmt; Erstellen eines Berichtes auf Grundlage der gespeicherten Daten, der einen Prozentsatz einer Mehrzahl von Stichproben der Abfrage angibt, deren Kategorisierungen mit der vorgegebenen Charakterisierung übereinstimmen; Ausgeben des Berichtes; und Empfangen eines zweiten Prozesses zum Verarbeiten natürlicher Sprache, der Aktualisierungen des ersten Prozesses zum Verarbeiten natürlicher Sprache auf Grundlage des Berichtes aufweist, wobei die Aktualisierungen den Prozentsatz der Mehrzahl von Stichproben, die mit der vorgegebenen Kategorisierung übereinstimmen, wenn sie mit dem zweiten Prozess zum Verarbeiten natürlicher Sprache verarbeitet werden, im Vergleich dazu erhöhen, wenn die Mehrzahl von Stichproben mit dem ersten Prozess zum Verarbeiten natürlicher Sprache verarbeitet wurde. A computer-implemented method includes: generating, by a computing device, a sample of a query, wherein the query maps to a predetermined categorization; processing the sample with a first natural language process, wherein the processing produces an output comprising a categorization of the sample; storing data regarding whether the categorization of the output matches the predetermined categorization; generating a report based on the stored data indicating a percentage of a plurality of samples of the query whose categorizations match the predetermined characterization; outputting the report; and receiving a second natural language process comprising updates to the first natural language process based on the report, wherein the updates increase the percentage of the plurality of samples that match the predetermined categorization when processed with the second natural language process relative to when the plurality of samples was processed with the first natural language process.