BATCH PROCESSING

• Main Authors: VISWANATHAM, Satish, WEE, Brendan Michael, CHOI, Jinlyung, URIBE, Cesar Emilio Cardona, LORIAUX, Paul Michael, DREUX, Joanna Catherine Ceolane
• Format: Patent
• Language: English; French
• Published: 05.05.2022
• Subjects: CALCULATING; COMPUTING; COUNTING; ELECTRIC DIGITAL DATA PROCESSING; PHYSICS

Computer memory stores instructions that, when executed by one or more processors, cause the processors to perform operations comprising: receiving a request to run one or more services in a pipeline; generating an initial configuration file to be used as a current configuration file; and for each service of the one or more services of the request, after generation of the initial configuration file: executing at least one instance of the service using the initial configuration file to access at least one data-chunk in order to generate a new configuration file to be used as the current configuration file; wherein executing the at least one instance comprises generating, from the at least one data-chunk, corresponding output data stored in the new configuration file; aggregating the current configuration file with any other current configuration files available in the system; and providing, after each service of the pipeline is executed, the results. Une mémoire d'ordinateur stocke des instructions qui, lorsqu'elles sont exécutées par un ou plusieurs processeurs, amènent les processeurs à effectuer des opérations comprenant : la réception d'une demande d'exécution d'un ou de plusieurs services dans un pipeline ; la génération d'un fichier de configuration initial à utiliser comme fichier de configuration actuel ; et pour chaque service du ou des services de la demande, après la génération du fichier de configuration initial : l'exécution d'au moins une instance du service en utilisant le fichier de configuration initial pour accéder à au moins un fragment de données afin de générer un nouveau fichier de configuration à utiliser comme fichier de configuration actuel ; l'exécution de la ou des instances comprenant la génération, à partir du ou des fragments de données, de données de sortie correspondantes stockées dans le nouveau fichier de configuration ; l'agrégation du fichier de configuration actuel avec tout autre fichier de configuration actuel disponible dans le système ; et la fourniture des résultats après l'exécution de chaque service du pipeline.