EVALUATING BLACK BOX MODELING OF TIME-SERIES DATA

• Main Authors: LEUNG, Kin Kwan, SMITH, Jonathan Anders James, ROOKE, Clayton James, VOLKOVS, Maksims, ZUBERI, Saba
• Format: Patent
• Language: English; French
• Published: 10.08.2023
• Subjects: CALCULATING; COMPUTING; COUNTING; ELECTRIC DIGITAL DATA PROCESSING; HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATIONTECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING ORPROCESSING OF MEDICAL OR HEALTHCARE DATA; INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTEDFOR SPECIFIC APPLICATION FIELDS; PHYSICS

A model evaluation system evaluates the effect of a feature value at a particular time in a time-series data record on predictions made by a time-series model. The time-series model may make predictions with black-box parameters that can impede explainability of the relationship between predictions for a data record and the values of the data record. To determine the relative importance of a feature occurring at a time and evaluated at an evaluation time, the model predictions are determined on the unmasked data record at the evaluation time and on the data record with feature values masked within a window between the time and the evaluation time, permitting comparison of the evaluation with the features and without the features. In addition, the contribution at the initial time in the window may be determined by comparing the score with another score determined by masking the values except for the initial time. Un système d'évaluation de modèle évalue l'effet d'une valeur de caractéristique à un moment donné dans un enregistrement de données chronologiques sur des prédictions effectuées par un modèle en série chronologique. Le modèle en série chronologique peut effectuer des prédictions au moyen de paramètres de boîte noire qui peuvent empêcher l'explicabilité de la relation entre des prédictions d'un enregistrement de données et les valeurs de l'enregistrement de données. Pour déterminer l'importance relative d'une caractéristique se produisant à un moment et évaluée à un moment d'évaluation, les prédictions de modèle sont déterminées sur l'enregistrement de données non masqué au moment d'évaluation et sur l'enregistrement de données ayant des valeurs de caractéristiques masquées dans une fenêtre entre le temps et le temps d'évaluation, permettant la comparaison de l'évaluation avec les caractéristiques et sans les caractéristiques. De plus, la contribution au moment initial dans la fenêtre peut être déterminée par la comparaison du score avec un autre score déterminé par le masquage des valeurs à l'exception du temps initial.