ELECTRONIC SYSTEM WITH DATA EXCHANGE MECHANISM AND METHOD OF OPERATION THEREOF

• Main Authors: KI, YANG SEOK, CHOI INSEOK STEPHEN
• Format: Patent
• Language: English; Korean
• Published: 01.08.2017
• Subjects: CALCULATING; COMPUTING; COUNTING; ELECTRIC DIGITAL DATA PROCESSING; PHYSICS

According to the present invention, an electronic system includes: a cluster manager which divides user programs into groups of parallel execution tasks and generates shuffling metadata for mapping processed data with intermediate data from the parallel execution tasks; a shuffling cluster node which is connected to the cluster manager, stores the shuffling metadata by an in-storage computer, and gradually shuffles the individual sub-packets of the processed data and the intermediate data by the in-storage computer based on the shuffling metadata when the parallel execution tasks are executed; and a local storage unit which is connected to the shuffling cluster node, and is mapped through the shuffling metadata, and receives the sub-packets of the processed data from the shuffling cluster node. 본 발명의 전자 시스템은 병렬 실행 태스크들의 그룹으로 사용자 프로그램을 분할하고, 그리고 상기 병렬 실행 태스크들로부터 중간 데이터와 처리된 데이터를 맵핑하기 위해 셔플링 메타데이터를 생성하는 클러스터 매니저, 상기 클러스터 매니저와 연결되고, 인-스토리지 컴퓨터에 의해 상기 셔플링 메타데이터를 저장하고, 그리고 상기 병렬 실행 태스크들이 진행되는 경우 상기 셔플링 메타데이터에 기초하여 상기 인-스토리지 컴퓨터에 의해 상기 중간 데이터 및 상기 처리된 데이터의 서브-패킷들 각각을 점진적으로 셔플하는 셔플링 클러스터 노드, 그리고 상기 셔플링 클러스터 노드와 연결되고 상기 셔플링 메타데이터를 통하여 맵핑되어, 상기 셔플링 클러스터 노드로부터 상기 처리된 데이터의 상기 서브-패킷들을 수신하기 위한 로컬 스토리지를 포함한다.