NEURAL NETWORK ACCELERATOR

• Main Authors: MALONE STUART, Dylan, SIU, Kevin Chong Man, POULOS, Zisis, SHARIFY, Sayeh, NIKOLIC, Milos, MOSHOVOS, Andreas, JUDD, Patrick, DELMAS LASCORZ, Alberto, MAHMOUD, Mostafa
• Format: Patent
• Language: English; French
• Published: 22.08.2019
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; PHYSICS

Described is a neural network accelerator tile for exploiting input sparsity. The tile includes a weight memory to supply each weight lane with a weight and a weight selection metadata, an activation selection unit to receive a set of input activation values and rearrange the set of input activation values to supply each activation lane with a set of rearranged activation values, a set of multiplexers including at least one multiplexer per pair of activation and weight lanes, where each multiplexer is configured to select a combination activation value for the activation lane from the activation lane set of rearranged activation values based on the weight lane weight selection metadata, and a set of combination units including at least one combination unit per multiplexer, where each combination unit is configured to combine the activation lane combination value with the weight lane weight to output a weight lane product. L'invention concerne un pavé d'accélérateur de réseau neuronal destiné à exploiter une faible concentration d'entrées. Le pavé comprend : une mémoire de poids pour fournir, à chaque couloir de poids, un poids et des métadonnées de sélection de poids ; une unité de sélection d'activation pour recevoir un ensemble de valeurs d'activation d'entrée et pour réordonner l'ensemble de valeurs d'activation d'entrée pour fournir à chaque couloir d'activation un ensemble de valeurs d'activation réordonnées ; un ensemble de multiplexeurs comprenant au moins un multiplexeur par paire de couloirs d'activation et de poids, chaque multiplexeur étant configuré pour sélectionner une valeur d'activation de combinaison pour le couloir d'activation parmi l'ensemble de couloirs d'activation de valeurs d'activation réordonnées, sur la base des métadonnées de sélection de poids et de couloir de poids ; et un ensemble d'unités de combinaison comprenant au moins une unité de combinaison par multiplexeur, chaque unité de combinaison étant configuré pour combiner la valeur de combinaison de couloir d'activation avec le poids de couloir de poids afin de délivrer en sortie un produit de couloir de poids.