DEDUPLICATION FOR NOSQL DATABASES

• Main Author: NATANZON, Assaf
• Format: Patent
• Language: English; French
• Published: 28.12.2023
• Subjects: CALCULATING; COMPUTING; COUNTING; ELECTRIC DIGITAL DATA PROCESSING; PHYSICS

A device, method, and computer readable storage medium are described, the device including a processor, a database comprising data stored in at least three nodes, each node including at least one data storage device, a plurality of rows of data stored in a first node, and mirrored in at least a second node, wherein each row of the plurality of rows of data is associated with a key being a function of at least a mapping to the first and second node, a chunking process chunking each node into chunks, and a sorting process which orders the rows of data in each chunk according to its associated key, such that each row of the rows of data associated with the same key are consecutively stored in each chunk, and making a mapping indicating a location of each row of data in the chunk prior to execution of the sorting process. Sont décrits un dispositif, un procédé et un support de stockage lisible par ordinateur, le dispositif comprenant un processeur, une base de données comprenant des données stockées dans au moins trois nœuds, chaque nœud comprenant au moins un dispositif de stockage de données, une pluralité de rangées de données stockées dans un premier nœud, et en miroir dans au moins un second nœud, chaque rangée de la pluralité de rangées de données étant associée à une touche étant une fonction d'au moins un mappage sur les premier et second nœuds, un processus de regroupement regroupant chaque nœud en groupes, et un processus de tri ordonnant les rangées de données dans chaque bloc selon leur touche associée, de telle sorte que chaque rangée des rangées de données associées à la même touche sont stockées consécutivement dans chaque groupe, et effectuant un mappage indiquant un emplacement de chaque rangée de données dans le groupe avant l'exécution du processus de tri.