COMPUTING SYSTEM FOR DEEP LEARNING INFERENCE, AND HARDWARE ACCELERATOR DEVICE AND METHOD

• Main Authors: KIM, Jisung, PARK, Jongjun, SHIN, Dongjoo
• Format: Patent
• Language: English; French; Korean
• Published: 04.07.2024
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; ELECTRIC DIGITAL DATA PROCESSING; PHYSICS

A deep learning inference hardware accelerator device is provided. The accelerator device comprises; an input storage that stores input query data; an accelerator that outputs inference data that is a result of a deep learning operation on the input query data; and an output storage that stores the inference data, wherein the input storage pre-stores a next query data inputted from a host processor while the accelerator is performing a deep learning operation on the input query data. Un dispositif accélérateur matériel d'inférence en apprentissage profond est proposé. Le dispositif accélérateur comprend : un stockage d'entrée qui stocke des données de requête d'entrée ; un accélérateur qui délivre en sortie des données d'inférence qui sont un résultat d'une opération d'apprentissage profond sur les données de requête d'entrée ; et un stockage de sortie qui stocke les données d'inférence, dans lequel le stockage d'entrée stocke au préalable des données de requête suivante entrées à partir d'un processeur hôte tandis que l'accélérateur exécute une opération d'apprentissage profond sur les données de requête d'entrée. 딥러닝 추론 하드웨어 가속기 장치가 제공된다. 상기 가속기 장치는 입력된 질의 데이터를 저장하는 입력 저장소, 상기 입력된 질의 데이터에 대한 딥러닝 연산의 결과인 추론 데이터를 출력하는 가속기, 및 상기 추론 데이터를 저장하는 출력 저장소를 포함하되, 상기 입력 저장소는 상기 가속기에서의 상기 입력된 질의 데이터에 대한 딥러닝 연산 수행 중 호스트 프로세서로부터 입력된 다음 질의 데이터를 미리 저장한다.