MULTI-DEVICE BASED INFERENCE METHOD AND APPRATUS

• Main Author: SHIN, SANG GYU
• Format: Patent
• Language: English; Korean
• Published: 17.08.2021
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; PHYSICS

Disclosed are a method and device for inferring based on a multi-device. The method for inferring based on the multi-device according to one embodiment of the present invention comprises: a step of receiving information related to a plurality of computing devices that perform a computation included in a neural network and a graph corresponding to the neural network; a step of obtaining a magnitude of an output of the computation in a forward direction of the graph based on the information and the graph; a step of dividing an input of the computation in a reverse direction of the graph based on the magnitude of the information, the graph, and the output; and a step of performing inference based on the divided input. 멀티 디바이스 기반 추론 방법 및 장치가 개시된다. 일 실시예에 따른 멀티 디바이스 기반 추론 방법은, 뉴럴 네트워크에 포함된 연산을 수행하는 복수의 연산 장치에 관한 정보 및 상기 뉴럴 네트워크에 대응되는 그래프를 수신하는 단계와, 상기 정보 및 그래프에 기초하여 상기 그래프의 순방향한 상기 연산의 출력의 크기를 획득하는 단계와, 상기 정보, 상기 그래프 및 상기 출력의 크기에 기초하여 상기 그래프의 역방향으로 상기 연산의 입력을 분할하는 단계와, 분할된 입력에 기초하여 추론을 수행하는 단계를 포함한다.