오픈 소스 기반 데이터 분산 중복제거 파일 시스템의 성능 분석

• Published in: 정보과학회 컴퓨팅의 실제 논문지 Vol. 20; no. 12; pp. 623 - 631
• Main Authors: 정성욱(Sung-ouk Jung), 최훈(Hoon Choi)
• Format: Journal Article
• Language: Korean
• Published: Korean Institute of Information Scientists and Engineers 2014; 한국정보과학회
• Subjects: 컴퓨터학; DFE(Dedup File Engine); DSE(Dedup Store Engine); 2개 중복제거파일엔진; single DFE; 1개 중복제거파일엔진; n개 중복제거파일엔진; dual DFE; deduplication; 중복제거; 중복제거파일엔진; 중복제거저장엔진; mutil DFE; 1; 2; n
• ISSN: 2383-6318; 2383-6326

Comparison of two representative deduplication file systems, LessFS and SDFS, shows that Lessfs is better in execution time and CPU utilization while SDFS is better in storage usage (around 1/8 less than general file systems). In this paper, a new system is proposed where the advantages of SDFS and Lessfs are combined. The new system uses multiple DFEs and one DSE to maintain the integrity and consistency of the data. An evaluation study to compare between Single DFE and Dual DFE indicates that the Dual DFE was better than the Single DFE. The Dual DFE reduced the CPU usage and provided fast deduplication time. This reveals that proposed system can be used to solve the problem of an increase in large data storage and power consumption. 데이터 중복제거 파일시스템인 LessFS와 SDFS의 성능을 비교하면, LessFS는 CPU 점유율과 수행 시간에서 성능이 우수하고, SDFS는 중복제거 이후 저장소 사용량이 다른 파일시스템보다 1/8 정도의 이점을 가지고 있다. 본 논문은 SDFS의 장점인 중복제거 이후 저장소 사용량 감소와 LessFS의 장점인 낮은 CPU 점유율과 수행 시간 감소의 장점을 지니는 새로운 방식을 제안한다. SDFS의 Dedup File Engines (DFE) n개를 이용하되, Dedup Storage Engines (이하 DSE) 1개를 두어 중복제거 데이터의 정합성과 일관성을 유지하는 방식이다. 제안하는 방식을 2개의 DFE와 1개의 DSE를 가진 시험환경에 구현하고 성능 비교를 수행한다.