어텐션-기반의 시퀀스 변환 신경망

• Main Authors: PARMAR NIKI J, POLOSUKHIN ILLIA, SHAZEER NOAM M, VASWANI ASHISH TEKU, JONES LLION OWEN, USZKOREIT JAKOB D, KAISER LUKASZ MIECZYSLAW, GOMEZ AIDAN NICHOLAS
• Format: Patent
• Language: Korean
• Published: 31.07.2019
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; PHYSICS

방법들, 시스템들 및 디바이스들은 입력 시퀀스로부터 출력 시퀀스를 생성하기 위한 컴퓨터 저장 매체 상에 인코딩된 컴퓨터 프로그램을 포함한다. 일 양태에서, 시스템들 중 하나는 입력 시퀀스를 수신하고 네트워크 입력의 인코딩된 표현을 생성하도록 구성된 인코더 신경망과, 상기 인코더 신경망은 하나 이상의 인코더 서브네트워크의 시퀀스를 포함하고, 각 인코더 서브네트워크는 입력 위치들 각각에 대한 개별 인코더 서브네트워크 입력을 수신하여 입력 위치들 각각에 대한 개별 서브네트워크 출력을 생성하도록 구성되고, 그리고 각 인코더 서브네트워크는 입력 위치들 각각에 대한 서브네트워크 입력을 수신하여, 상기 입력 순서의 각각의 특정 입력 위치에 대해, 상기 특정 입력 위치에서 상기 인코더 서브네트워크 입력으로부터 도출된 하나 이상의 쿼리를 사용하여 상기 인코더 서브네트워크 입력들에 어텐션 메커니즘을 적용하는 인코더 셀프-어텐션 서브-계층을 포함한다. Methods, systems, and apparatus, including computer programs encoded on a computer storage medium, for generating an output sequence from an input sequence. In one aspect, one of the systems includes an encoder neural network configured to receive the input sequence and generate encoded representations of the network inputs, the encoder neural network comprising a sequence of one or more encoder subnetworks, each encoder subnetwork configured to receive a respective encoder subnetwork input for each of the input positions and to generate a respective subnetwork output for each of the input positions, and each encoder subnetwork comprising: an encoder self-attention sub-layer that is configured to receive the subnetwork input for each of the input positions and, for each particular input position in the input order: apply an attention mechanism over the encoder subnetwork inputs using one or more queries derived from the encoder subnetwork input at the particular input position.