LANGUAGE PROCESSING METHOD AND APPARATUS

To provide a language processing method and apparatus.SOLUTION: A language processing apparatus using a neural network is configured to: obtain context information from a source text using a neural network-based encoder; generate a prefix token from the context information using a neural network-bas...

Full description

Saved in:
Bibliographic Details
Main Authors LEE MIN-JOONG, LEE HODONG
Format Patent
LanguageEnglish
Japanese
Published 24.06.2019
Subjects
CALCULATING
COMPUTING
COUNTING
ELECTRIC DIGITAL DATA PROCESSING
PHYSICS
Online AccessGet full text

Cover

More Information
Summary:To provide a language processing method and apparatus.SOLUTION: A language processing apparatus using a neural network is configured to: obtain context information from a source text using a neural network-based encoder; generate a prefix token from the context information using a neural network-based main decoder; generate a token sequence including at least two successive tokens following the prefix token using a skip model in response to the prefix token satisfying a preset condition; and output a target text in which the prefix token and the token sequence are combined.SELECTED DRAWING: Figure 1 【課題】 言語処理方法及び装置を提供する。【解決手段】 ニューラルネットワークを用いた言語処理装置は、ニューラルネットワーク基盤のエンコーダを用いてソース文章から文脈情報を取得し、ニューラルネットワーク基盤のメインデコーダを用いて文脈情報からプレフィックストークンを生成する。プレフィックストークンが予め設定された条件を満足する場合、言語処理装置は、スキップモデルを用いてプレフィックストークンに続く２以上の連続するトークンを含むトークンシーケンスを生成し、プレフィックストークン及びトークンシーケンスが結合されたターゲット文章を出力する。【選択図】 図１
Bibliography:Application Number: JP20180201883