ASSOCIATIVE LONG SHORT-TERM MEMORY NEURAL NETWORK LAYERS

• Main Authors: DANIHELKA, Ivo, KALCHBRENNER, Nal Emmerich, WAYNE, Gregory Duncan, URIA-MARTINEZ, Benigno, GRAVES, Alexander Benjamin
• Format: Patent
• Language: English; French
• Published: 10.08.2017
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; PHYSICS

Systems, methods, and apparatus, including computer programs encoded on a computer storage medium, related to associative long short-term memory (LSTM) neural network layers configured to maintain N copies of an internal state for the associative LSTM layer, N being an integer greater than one. In one aspect, a system includes a recurrent neural network including an associative LSTM layer, wherein the associative LSTM layer is configured to, for each time step, receive a layer input, update each of the N copies of the internal state using the layer input for the time step and a layer output generated by the associative LSTM layer for a preceding time step, and generate a layer output for the time step using the N updated copies of the internal state. L'invention concerne des systèmes, des procédés et un appareil, comprenant des programmes informatiques codés sur un support d'enregistrement informatique, associés à des couches associatives de réseau neuronal de mémoire à long et court terme (LSTM) configurées pour conserver N copies d'un état interne de la couche associative de LSTM, N étant un nombre entier supérieur à un. Selon un aspect, un système comprend un réseau neuronal récursif comprenant une couche associative de LSTM, la couche associative de LSTM étant configurée pour, à chaque étape temporelle, recevoir une entrée de couche, mettre à jour chacune des N copies de l'état interne au moyen de l'entrée de couche de l'étape temporelle et d'une sortie de couche générée par la couche associative de LSTM lors d'une étape temporelle précédente, et générer une sortie de couche de l'étape temporelle au moyen des N copies mises à jour de l'état interne.