UNSUPERVISED TEXT SUMMARIZATION WITH REINFORCEMENT LEARNING

• Main Authors: KOHITA, RYOSUKE, WACHI, AKIFUMI
• Format: Patent
• Language: English; French
• Published: 25.11.2021
• Subjects: CALCULATING; COMPUTING; COUNTING; ELECTRIC DIGITAL DATA PROCESSING; PHYSICS

A computer-implemented method is presented for performing Q-learning with language model for unsupervised text summarization. The method includes mapping each word of a sentence into a vector by using word embedding via a deep learning natural language processing model, assigning each of the words to an action and operation status, determining, for each of the words whose operation status represents "unoperated," a status by calculating a local encoding and a global encoding, and concatenating the local encoding and the global encoding, the local encoding calculated based on a vector, an action, and an operation status of the word, and the global encoding calculated based on each of the local encodings of the words in a self-attention fashion, and determining, via an editorial agent, a Q-value for each of the words in terms of each of three actions based on the status. Un procédé mis en ?uvre par ordinateur est présenté pour effectuer un apprentissage Q avec un modèle de langage pour un résumé de texte non supervisé. Le procédé consiste à mapper chaque mot d'une phrase sur un vecteur à l'aide de l'incorporation de mots par l'intermédiaire d'un modèle de traitement de langage naturel à apprentissage profond, à attribuer chacun des mots à une action et à un état de fonctionnement, à déterminer, pour chacun des mots dont l'état de fonctionnement représente "non actionné", un état par calcul d'un codage local et d'un codage global, et à concaténer le codage local et le codage global, le codage local étant calculé sur la base d'un vecteur, d'une action, et d'un état de fonctionnement du mot, et le codage global étant calculé sur la base de chacun des codages locaux des mots dans un mode d'attention automatique, et à déterminer, par l'intermédiaire d'un agent éditorial, une valeur Q pour chacun des mots par rapport à chaque action de trois actions sur la base de l'état.