EXECUTION METHOD, EXECUTION DEVICE, LEARNING METHOD, LEARNING DEVICE, AND PROGRAM FOR DEEP NEURAL NETWORK

• Main Authors: RIGAZIO, Luca, GUDOVSKIY, Denis A
• Format: Patent
• Language: English; French
• Published: 14.03.2019
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; PHYSICS

Executing a deep neural network by obtaining, during deep neural network inference, a binary intermediate feature map in binary representation by converting a floating-point or fixed-point intermediate feature map into a binary vector using a first transformation module (S210, S215); generating a compressed feature map by compressing the binary intermediate feature map using a nonlinear dimensionality reduction layer (S220); storing the compressed feature map into memory; reconstructing the binary intermediate feature map by decompressing the compressed feature map read from the memory using a reconstruction layer corresponding to the nonlinear dimensionality reduction layer (S240); and converting the reconstructed binary intermediate feature map into a floating-point or fixed-point intermediate feature map using a second transformation module (S245, S250). L'invention concerne l'exécution d'un réseau neuronal profond par l'obtention, pendant l'inférence de réseau neuronal profond, d'une carte de caractéristiques intermédiaires binaires dans une représentation binaire par conversion d'une carte de caractéristiques intermédiaires à virgule flottante ou à virgule fixe en un vecteur binaire à l'aide d'un premier module de transformation (S210, S215); la génération d'une carte de caractéristiques compressées par compression de la carte de caractéristiques intermédiaires binaires à l'aide d'une couche de réduction de dimensionnalité non linéaire (S220); le stockage de la carte de caractéristiques compressées en mémoire ; la reconstruction de la carte de caractéristiques intermédiaires binaires par décompression de la carte de caractéristiques compressées lue à partir de la mémoire à l'aide d'une couche de reconstruction correspondant à la couche de réduction de dimensionnalité non linéaire (S240); et la conversion de la carte de caractéristiques intermédiaires binaires reconstruites en une carte de caractéristiques intermédiaires à virgule flottante ou à virgule fixe à l'aide d'un second module de transformation (S245, S250).