PlexDB: LSM-tree 기반 Key-Value 저장소의 데이터 중복제거를 위한 효율적인 컴팩션 알고리즘

• Published in: 디지털콘텐츠학회논문지 Vol. 21; no. 8; pp. 1501 - 1506
• Main Authors: 서용철(Yong-Cheol Seo), 박성훈(Sung-Hoon Park)
• Format: Journal Article
• Language: Korean
• Published: 한국디지털콘텐츠학회 01.08.2020
• Subjects: 컴퓨터학; Deduplication Compaction; LSM-tree; 데이터 중복제거 압축; 공간 증폭; Write Amplification; 키-값 저장소; Space Amplification; 쓰기 증폭; Key-Value Store
• ISSN: 1598-2009; 2287-738X
• DOI: 10.9728/dcs.2020.21.8.1501

NoSQL 데이터베이스의 유형인 Key-Value 저장소는 전통적인 SQL 데이터베이스에 비해 높은 읽기 및 높은 쓰기 처리량을 제공한다. LSM-tree는 KV 저장소에서 소규모 쓰기 성능을 향상시키기 위해 널리 사용되는 데이터 구조이다. 그러나 Compaction 작업으로 인해 많은 쓰기 증폭을 유발하고 있다. 따라서 tiered LSM-tree는 각 레벨의 LSM-tree 구조를 여러 하위 레벨으로 나누어 쓰기 증폭을 줄인다. 최근 KV 항목은 많은 응용프로그램에 의해 자주 업데이트되며, KV 저장소에 있는 동일한 KV 항목들이 여러 버전으로 존재하기 때문에 쓰기 증폭과 공간 증폭을 많이 발생한다. 낮은 쓰기 증폭과 공간 증폭을 동시에 달성하기 위해 tiered LSM-tree를 이용한 새로운 Compaction 알고리즘을 제안하고 KV 저장소인 PlexDB로 구현하였다. 본 실험을 통해 PlexDB는 LevelDB와 LSM-trie를 이용해 낮은 쓰기 증폭과 공간 증폭에 대한 성능을 비교 분석한다. Key-Value store, a type of NoSQL database, provides higher read and higher write throughput than traditional SQL databases. LSM-tree is a widely used data structure for improving small write performance in KV store. However, the compaction operation is causing a lot of write amplification. Therefore, tiered LSM-tree divides the LSM-tree structure of each level into several sub-levels to reduce write amplification. Recently, KV items are frequently updated by many applications, and write amplification and space amplification occur because the same KV items in the KV store exist in multiple versions. To achieve low write amplification and space amplification at the same time, a new compaction algorithm using tiered LSM-tree is proposed and implemented with KV store, PlexDB. Through this experiment, PlexDB uses LevelDB and LSM-trie to compare and analyze low write amplification and space amplification performance. KCI Citation Count: 1