부착된 가속기 기반 추론 서비스

• Main Authors: SENGUPTA SUDIPTA, BSHARA NAFEA, SAHA BRATIN, WOOD MATTHEW JAMES, DIVAKARUNI DOMINIC RAJEEV, DIRAC LEO PARKER, PERUMALLA POORNA CHAND SRINIVAS, OLGIATI ANDREA, SIVASUBRAMANIAN SWAMINATHAN
• Format: Patent
• Language: Korean
• Published: 05.02.2021
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; ELECTRIC DIGITAL DATA PROCESSING; PHYSICS

본 명세서에 설명된 구현은 컴퓨터로 구현되는 방법에 대한 설명을 포함한다. 일 구현에서, 방법은 적어도 애플리케이션 인스턴스 구성을 수신하는 단계를 포함하고, 상기 애플리케이션 인스턴스의 애플리케이션은 기계 학습 모델을 실행하는 동안 부착된 가속기의 부분을 이용하고, 상기 애플리케이션 인스턴스 구성은 사용될 중앙 처리 유닛(CPU)의 능력의 표시, 사용될 상기 기계 학습 모델의 산술 정밀도, 사용될 상기 가속기 능력의 표시, 상기 애플리케이션의 저장 위치, 및 사용할 랜덤 액세스 메모리의 양의 표시를 포함한다. Implementations detailed herein include description of a computer-implemented method. In an implementation, the method at least includes receiving an application instance configuration, an application of the application instance to utilize a portion of an attached accelerator during execution of a machine learning model and the application instance configuration including: an indication of the central processing unit (CPU) capability to be used, an arithmetic precision of the machine learning model to be used, an indication of the accelerator capability to be used, a storage location of the application, and an indication of an amount of random access memory to use.