PARALLEL PROCESSING OF DATA

• Main Authors: PERRY FRANCES J, TIGANI JORDAN, BRADSHAW ROBERT, CHAMBERS CRAIG D, WEIZENBAUM NATHAN, HENRY ROBERT R, ADAMS STEPHEN R, RANIWALA ASHISH
• Format: Patent
• Language: English; Korean
• Published: 04.08.2017
• Subjects: CALCULATING; COMPUTING; COUNTING; ELECTRIC DIGITAL DATA PROCESSING; PHYSICS

비신뢰 어플리케이션이 하나 이상의 프로세싱 모듈을 포함하고 네이티브 프로세싱 환경을 제공하는 데이터 센터에 수신된다. 비신뢰 어플리케이션은 데이터 병렬 파이프라인을 포함한다. 보안 프로세싱 환경이 비신뢰 어플리케이션을 실행하도록 사용된다. 데이터 병렬 파이프라인은 다수의 병렬 데이터 객체들 및 병렬 연산들을 특정할 수 있다. 데이터 병렬 파이프라인을 기초로, 지연 병렬 데이터 객체들 및 지연 병렬 연산들의 데이터플로우 그래프가 일반화될 수 있고 하나 이상의 그래프 변환이 하나 이상의 지연 병렬 데이터 객체 및 지연 컴바이닝 병렬 데이터 연산을 포함하는 수정 데이터플로우 그래프를 생성하도록 데이터플로우 그래프에 적용될 수 있다. 지연 컴바이닝 병렬 연산들이 지연 병렬 데이터 객체들에 대응하는 실체화된 병렬 데이터 객체들을 생성하도록 실행될 수 있다. A data parallel pipeline may specify multiple parallel data objects that contain multiple elements and multiple parallel operations that operate on the parallel data objects. Based on the data parallel pipeline, a dataflow graph of deferred parallel data objects and deferred parallel operations corresponding to the data parallel pipeline may be generated and one or more graph transformations may be applied to the dataflow graph to generate a revised dataflow graph that includes one or more of the deferred parallel data objects and deferred, combined parallel data operations. The deferred, combined parallel operations may be executed to produce materialized parallel data objects corresponding to the deferred parallel data objects.