PERFORMING TENSOR OPERATIONS USING A PROGRAMMABLE CONTROL ENGINE

• Main Authors: SANTHANARAMAN, Sujatha, GLADDING, Derek, VELAGANDULA, Jayadev, GAREGRAT, Nitin, NARAYAN, Shankar
• Format: Patent
• Language: English; French
• Published: 14.07.2022
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; ELECTRIC DIGITAL DATA PROCESSING; PHYSICS

Embodiments of the present disclosure include systems and methods for performing tensor operations using a programmable control engine. A command queue is configured to receive a command from a software application. A configuration storage is configured to store a plurality of configurations. A matrix multiplication unit is configured to perform matrix multiplication operations. Memory is configured to store matrices. A control engine is configured to retrieve the command from the command queue; retrieve a configuration from the configuration storage based on the command; generate, based on the command and the configuration, instructions for the matrix multiplication unit to perform a set of matrix multiplication operations on first and second matrices stored in the memory; send the instructions to the matrix multiplication unit to configure the matrix multiplication unit to output results of the set of matrix multiplication operations; and store the results in a third matrix in the memory. Des modes de réalisation de la présente divulgation comprennent des systèmes et procédés permettant de réaliser des opérations de tenseur à l'aide d'un moteur de commande programmable. Une file d'attente d'instructions est configurée pour recevoir une instruction provenant d'une application logicielle. Un dispositif de stockage de configurations est configuré pour stocker une pluralité de configurations. Une unité de multiplication de matrices est configurée pour réaliser des opérations de multiplication de matrices. La mémoire est configurée pour stocker des matrices. Un moteur de commande est configuré pour extraire l'instruction de la file d'attente d'instructions ; pour extraire une configuration du dispositif de stockage de configurations sur la base de l'instruction ; pour générer, sur la base de l'instruction et de la configuration, des instructions amenant l'unité de multiplication de matrices à réaliser un ensemble d'opérations de multiplication de matrices sur des première et deuxième matrices stockées dans la mémoire ; pour envoyer les instructions à l'unité de multiplication de matrices pour configurer l'unité de multiplication de matrices de manière à l'amener à produire des résultats de l'ensemble d'opérations de multiplication de matrices ; et pour stocker les résultats dans une troisième matrice dans la mémoire.