HIGHLY PERFORMANT PIPELINE PARALLEL DEEP NEURAL NETWORK TRAINING

• Main Authors: HARLAP, Aaron, RANGARAJAN, Nikhil Devanur, SESHADRI, Vivek, PHANISHAYEE, Amar, NARAYANAN, Deepak
• Format: Patent
• Language: English; French
• Published: 28.11.2019
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; PHYSICS

Layers of a deep neural network (DNN) are partitioned into stages using a profile of the DNN. Each of the stages includes one or more of the layers of the DNN. The partitioning of the layers of the DNN into stages is optimized in various ways including optimizing the partitioning to minimize training time, to minimize data communication between worker computing devices used to train the DNN, or to ensure that the worker computing devices perform an approximately equal amount of the processing for training the DNN. The stages are assigned to the worker computing devices. The worker computing devices process batches of training data using a scheduling policy that causes the workers to alternate between forward processing of the batches of the DNN training data and backward processing of the batches of the DNN training data. The stages can be configured for model parallel processing or data parallel processing. Selon l'invention, des couches d'un réseau neuronal profond (DNN) sont divisées en étages à l'aide d'un profil du réseau DNN. Chacun des étages comprend une ou plusieurs des couches du réseau DNN. La division des couches du réseau DNN en étages est optimisée de diverses manières y compris l'optimisation de la division pour réduire à un minimum le temps d'apprentissage, pour réduire à un minimum la communication de données entre des dispositifs informatiques de travailleur utilisés pour servir à l'apprentissage du réseau DNN ou pour s'assurer que les dispositifs informatiques de travailleur exécutent une quantité approximativement égale du traitement pour servir à l'apprentissage du réseau DNN. Les étapes sont attribuées aux dispositifs informatiques de travailleur. Les dispositifs informatiques de travailleur regroupent en lots des données d'apprentissage à l'aide d'une politique de planification qui contraint les travailleurs à alterner entre un traitement vers l'avant des lots des données d'apprentissage de réseau DNN et un traitement vers l'arrière des lots des données d'apprentissage de réseau DNN. Les étages peuvent être configurés pour un traitement parallèle de modèle ou un traitement parallèle de données.