Big data management method and apparatus for causality inference

• Main Authors: YI OUN HEE, YANG SEUNG NAM, KIM CHANG MO, LEE KEUM TARK, SHIN MYEONG JI
• Format: Patent
• Language: English; Korean
• Published: 29.08.2023
• Subjects: CALCULATING; COMPUTING; COUNTING; ELECTRIC DIGITAL DATA PROCESSING; PHYSICS

The present invention discloses a big data management method and device for causal inference. According to the present invention, provided is a big data management device for causal inference, comprising: a processor; and a memory connected to the processor, wherein the memory collects a dataset including structured data, semi-structured data, and unstructured data from a data source, preprocesses the collected dataset through a pipeline corresponding to the type of the dataset, stores the preprocessed dataset, metadata, corpus, and glossary of the dataset in one or more databases, and stores program instructions executed by the processor to perform complex system-based causal inference using information stored in the one or more databases. 본 발명은 인과관계 추론을 위한 빅데이터 관리 방법 및 장치를 개시한다. 본 발명에 따르면, 인과관계 추론을 위한 빅데이터 관리 장치로서, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 데이터 소스로부터 정형 데이터, 반정형 데이터 및 비정형 데이터를 포함하는 데이터셋을 수집하고, 상기 데이터셋의 종류에 대응되는 파이프라인을 통해 상기 수집된 데이터셋을 전처리하고, 상기 전처리된 데이터셋과, 상기 데이터셋의 메타데이터, 말뭉치 및 용어사전을 하나 이상의 데이터베이스에 저장하고, 상기 하나 이상의 데이터베이스 저장된 정보를 이용하여 복잡계 기반 인과관계 추론을 수행하도록, 상기 프로세서에 의해 실행되는 프로그램 명령어들을 저장하는 빅데이터 관리 장치가 제공된다.