MEMORY MANAGEMENT FOR OVERLAP DATA BETWEEN TILES OF NEURAL NETWORKS

• Main Authors: FAN, Qifei, ZHANG, Yilin, ZHOU, Yan
• Format: Patent
• Language: English; French
• Published: 29.12.2022
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; PHYSICS

Techniques for providing an overlap data buffer to store portions of tiles between passes of chained layers of a neural network are described. One accelerator circuit includes one or more processing units to execute instructions corresponding to the chained layers in multiple passes. In a first pass, the processing unit (s) receives a first input tile of an input feature map from a primary buffer and performs a first operation on the first input tile to obtain a first output tile. The processing unit stores the first output tile in the primary buffer and identifies a portion of the first output tile as corresponding to overlap data between tiles of the input feature map. The processing unit stores the portion in a secondary buffer. In a second pass, the processing unit retrieves the portion to avoid fetching the portion that overlaps and computing the overlap data again. La présente spécification décrit des techniques pour fournir une mémoire tampon de données de chevauchement pour stocker des parties de tuiles entre des passes de couches chaînées d'un réseau neuronal. Un circuit accélérateur inclut une ou plusieurs unités de traitement pour exécuter des instructions correspondant aux couches chaînées dans de multiples passes. Dans une première passe, la ou les unités de traitement reçoivent, d'une mémoire tampon primaire, une première tuile d'entrée d'une carte de caractéristiques d'entrée et réalisent une première opération sur la première tuile d'entrée pour obtenir une première tuile de sortie. L'unité de traitement stocke la première tuile de sortie dans la mémoire tampon primaire et identifie qu'une partie de la première tuile de sortie correspond à des données de chevauchement entre des tuiles de la carte de caractéristiques d'entrée. L'unité de traitement stocke la partie dans une mémoire tampon secondaire. Dans une seconde passe, l'unité de traitement récupère la partie pour éviter d'extraire la partie qui chevauche et de calculer de nouveau les données de chevauchement.