ACCELERATOR RESOURCE MANAGEMENT METHOD AND APPRATUS

• Main Authors: SHIN, SANG GYU, CHUN BYUNG GON, KIM SOO JEONG, LEE KYUNG GEUN
• Format: Patent
• Language: English; Korean
• Published: 02.08.2022
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; ELECTRIC DIGITAL DATA PROCESSING; PHYSICS

Disclosed are a method and device for managing an accelerator resource. The method for managing the accelerator resource according to one embodiment comprises: a step of receiving a task request related to a neural network and a resource scheduling policy for a task related to the neural network; a step of acquiring the information for usage status of a resource of an accelerator cluster comprising a plurality of accelerators in response to the task request; and a step of allocating an accelerator resource for performing the task based on the resource scheduling policy and a utility of resource allocation according to the information. 가속기 자원 관리 방법 및 장치가 개시된다. 일 실시예에 따른 가속기 자원 관리 방법은, 뉴럴 네트워크에 관련된 작업 요청 및 상기 뉴럴 네트워크에 관련된 작업에 대한 자원 스케줄링 정책(resource scheduling policy)을 수신하는 단계와, 상기 작업 요청에 응답하여 복수의 가속기를 포함하는 가속기 클러스터의 자원(resource)의 이용 현황에 대한 정보를 획득하는 단계와, 상기 자원 스케줄링 정책 및 상기 정보에 따른 자원 할당의 효용에 기초하여 상기 작업을 수행하기 위한 가속기 자원을 할당하는 단계를 포함한다.