PARALLEL LOG STRUCTURED FILE SYSTEM COLLECTIVE BUFFERING TO ACHIEVE A COMPACT REPRESENTATION OF SCIENTIFIC AND/OR DIMENSIONAL DATA

• Main Authors: GRIDER, GARY, A, POOLE, STEPHEN, W
• Format: Patent
• Language: English; French
• Published: 27.06.2013
• Subjects: CALCULATING; COMPUTING; COUNTING; ELECTRIC DIGITAL DATA PROCESSING; PHYSICS

Collective buffering and data pattern solutions are provided for storage, retrieval, and/or analysis of data in a collective parallel processing environment. For example, a method can be provided for data storage in a collective parallel processing environment. The method comprises receiving data to be written for a plurality of collective processes within a collective parallel processing environment, extracting a data pattern for the data to be written for the plurality of collective processes, generating a representation describing the data pattern, and saving the data and the representation. L'invention concerne des solutions de schémas de données et de mise en mémoire tampon collectives permettant un stockage, une récupération, et/ou une analyse de données dans un environnement de traitement parallèle collectif. Par exemple, un procédé peut être décrit pour un stockage de données dans un environnement de traitement parallèle collectif. Le procédé consiste à recevoir des données à écrire pour une pluralité de processus collectifs à l'intérieur d'un environnement de traitement parallèle collectif, extraire un schéma de données pour les données à écrire pour la pluralité de processus collectifs, générer une représentation décrivant le schéma de données, et sauvegarder les données et la représentation.