마이크로 서비스 아키텍처를 지원하는 데이터 프로파일링 소프트웨어의 개발

• Published in: The journal of the institute of internet, broadcasting and communication : JIIBC Vol. 21; no. 5; pp. 127 - 134
• Main Authors: 장재영, 김지훈, 지서우
• Format: Journal Article
• Language: Korean
• Published: 한국인터넷방송통신학회 31.10.2021
• Subjects: 컴퓨터학; MicroService Architecture; Data Quality; Restful API; Data Profiling; Big Data; Metadata; Data Lake
• ISSN: 2289-0238; 2289-0246
• DOI: 10.7236/JIIBC.2021.21.5.127

최근 빅데이터 산업의 확대로 고품질의 데이터를 확보하는 것이 중요한 이슈로 떠오르고 있다. 고품질의 데이터 를 확보하기 위해서는 데이터에 품질에 대한 정확한 평가가 선행되어야 한다. 데이터의 품질은 데이터에 대한 통계와 같은 메타정보를 통해 평가할 수 있는데 이러한 메타정보를 자동으로 추출하는 기능을 데이터 프로파일링이라고 하다. 지금까지 데이터 프로파일링 소프트웨어는 기존의 데이터 품질 또는 시각화 관련 소프트웨어의 부품이나 추가적인 서비 스로 제공되는 것이 일반적이었다. 따라서 프로파일링이 요구되는 다양한 환경에서 직접적으로 사용하기에는 적합하지 않았다. 본 논문에서는 이를 해결하기 위해 마이크로 서비스 아키텍처를 적용하여 다양한 환경에서 서비스가 가능한 데 이터 프로파일링 소프트웨어의 개발 결과를 제시한다. 개발된 데이터 프로파일러는 restful API를 통해 데이터의 메타 정보에 대한 요청과 응답을 제공하여 사용하기 쉬운 서비스를 제공한다. 또한, 특정 환경에 종속되지 않고 다양한 빅데이 터 플랫폼이나 데이터 분석 도구들과 원활한 연계가 가능하다는 장점이 있다.