SYSTEMS AND METHODS FOR ASSIGNING TASKS IN A NEURAL NETWORK PROCESSOR

• Main Authors: FISHEL LIRAN, NORDEN ERIK
• Format: Patent
• Language: English; Korean
• Published: 30.11.2023
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; ELECTRIC DIGITAL DATA PROCESSING; PHYSICS

실시예들은, 뉴럴 프로세서 회로에 의해 실행될 때, 뉴럴 네트워크를 인스턴스화하는 태스크들을 관리하는 것에 관한 것이다. 뉴럴 프로세서 회로는 뉴럴 엔진 회로들 및 뉴럴 태스크 관리자 회로를 포함한다. 뉴럴 태스크 관리자 회로는 다수의 태스크 큐들 및 태스크 아비터 회로를 포함한다. 각각의 태스크 큐는 기계 학습 동작을 위해 태스크들의 태스크 리스트에 대한 레퍼런스를 저장한다. 각각의 태스크 큐는 우선순위 파라미터와 연관될 수 있다. 태스크 큐들의 우선순위에 기초하여, 태스크 아비터 회로는 뉴럴 프로세서 회로 외부의 메모리로부터 태스크에 대한 구성 데이터를 검색하고, 뉴럴 엔진 회로들을 포함하는 뉴럴 프로세서 회로의 컴포넌트들에 구성 데이터를 제공한다. 구성 데이터는 태스크를 실행하도록 뉴럴 프로세서 회로를 프로그래밍한다. 예컨대, 구성 데이터는 태스크를 실행하기 위해 뉴럴 엔진 회로들에 의해 프로세싱되는 입력 데이터 및 커널 데이터를 포함할 수 있다. Embodiments relate to managing tasks that when executed by a neural processor circuit instantiates a neural network. The neural processor circuit includes neural engine circuits and a neural task manager circuit. The neural task manager circuit includes multiple task queues and a task arbiter circuit. Each task queue stores a reference to a task list of tasks for a machine learning operation. Each task queue may be associated with a priority parameter. Based on the priority of the task queues, the task arbiter circuit retrieves configuration data for a task from a memory external to the neural processor circuit, and provides the configuration data to components of the neural processor circuit including the neural engine circuits. The configuration data programs the neural processor circuit to execute the task. For example, the configuration data may include input data and kernel data processed by the neural engine circuits to execute the task.