KOMPRESSION IN NEURONALEN NETZEN

• Main Authors: Park, Mi Sun, Brick, Cormac M, Xu, Xiaofan
• Format: Patent
• Language: German
• Published: 12.08.2021
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; PHYSICS

Ein Neuronennetzmodell wird trainiert, wobei das Trainieren mehrere Trainingsiterationen enthält. Gewichte einer speziellen Schicht des neuronalen Netzes werden während eines Vorwärtsdurchlaufs einer speziellen der Trainingsiterationen beschnitten. Während desselben Vorwärtsdurchlaufs der speziellen Trainingsiteration werden Werte von Gewichten der speziellen Schicht quantisiert, um eine quantisiert-sparsifizierte Teilmenge von Gewichten für die spezielle Schicht zu bestimmen. Eine komprimierte Version des Neuronennetzmodells wird anhand des Trainings mindestens teilweise auf der Grundlage der quantisiert-sparsifizierten Teilmenge von Gewichten generiert. A neural network model is trained, where the training includes multiple training iterations. Weights of a particular layer of the neural network are pruned during a forward pass of a particular one of the training iterations. During the same forward pass of the particular training iteration, values of weights of the particular layer are quantized to determine a quantized-sparsified subset of weights for the particular layer. A compressed version of the neural network model is generated from the training based at least in part on the quantized-sparsified subset of weights.