파일 유형과 크기에 따른 적응형 중복 제거 알고리즘 설계

• Published in: 한국정보통신학회논문지 Vol. 24; no. 2; pp. 149 - 157
• Main Authors: 황인철(In-Cheol Hwang), 권오영(Oh-Young Kwon)
• Format: Journal Article
• Language: Korean
• Published: 한국정보통신학회 2020
• Subjects: 전자/정보통신공학; 적응형 중복 제거; Storage; LessFS; 가변 사이즈 청킹; 파일 시스템; 스토리지; Whole File Chunking; Deduplication; Fixed Size Chunking; 고정 사이즈 청킹
• ISSN: 2234-4772; 2288-4165
• DOI: 10.6109/jkiice.2020.24.2.149

Today, due to the large amount of data duplication caused by the increase in user data, various deduplication studies have been conducted. However, research on personal storage is relatively poor. Personal storage, unlike high-performance computers, needs to perform deduplication while reducing CPU and memory resource usage. In this paper, we propose an adaptive algorithm that selectively applies fixed size chunking (FSC) and whole file chunking (WFH) according to the file type and size in order to maintain the deduplication rate and reduce the load in personal storage. We propose an algorithm for minimization. The experimental results show that the proposed file system has more than 1.3 times slower at first write operation but less than 3 times reducing in memory usage compare to LessFS and it is 2.5 times faster at rewrite operation. 오늘날 사용자의 데이터 증가에 따른 데이터 중복으로 인해 다양한 중복 제거 연구가 이루어졌다. 그러나 상대적으로 개인 스토리지에 대한 연구는 미진하다. 개인 스토리지는 고성능 컴퓨터와는 다르게 CPU와 메모리의 자원 사용을 줄이면서 중복 제거를 수행할 필요가 있다. 본 논문에서는 개인 스토리지에서 중복 제거율을 적절히 유지하며 부하를 낮추기 위해 파일의 타입과 크기에 따라 FSC(Fixed Size Chunking)와 WFH(Whole File Chunking)를 선택적으로 적용하는 적응형 알고리즘을 제안한다. 제안한 파일 시스템은 LessFS에 비해 최초 파일 Write 시에는 Write 소요 시간은 1.3배 이상 높았으나 메모리의 사용은 3배 이상 감소하였고, Rewrite 시는 LessFS에 비하여 Write 소요시간이 2.5배 이상 빨라지는 것을 실험을 통하여 확인하였다.