ENCODING DEVICE, TRAINING METHOD, AND PROGRAM

• Main Authors: SAITO, Kuniko, NISHIDA, Kyosuke, HASEGAWA, Taku
• Format: Patent
• Language: English; French; Japanese
• Published: 12.09.2024
• Subjects: CALCULATING; COMPUTING; COUNTING; ELECTRIC DIGITAL DATA PROCESSING; PHYSICS

Provided is an encoding device for extracting a feature from information using a neural network model, the encoding device comprising a context encoding unit and an image encoding unit, the context encoding unit comprising a context attention mechanism and a context feature transformation unit, which are pre-trained models, and a context information selection unit with a GAU module, the image encoding unit comprising an image attention mechanism and an image feature transformation unit, which are pre-trained models, and an image information selection unit with a GAU module. L'invention concerne un dispositif de codage pour extraire une caractéristique à partir d'informations à l'aide d'un modèle de réseau neuronal, le dispositif de codage comprenant une unité de codage de contexte et une unité de codage d'image, l'unité de codage de contexte comprenant un mécanisme d'attention de contexte et une unité de transformation de caractéristique de contexte, qui sont des modèles pré-entraînés, et une unité de sélection d'informations de contexte avec un module GAU, l'unité de codage d'image comprenant un mécanisme d'attention d'image et une unité de transformation de caractéristique d'image, qui sont des modèles pré-entraînés, et une unité de sélection d'informations d'image avec un module GAU. ニューラルネットワークのモデルを用いて情報から特徴量を抽出する符号化装置において、文脈符号化部と画像符号化部とを備え、前記文脈符号化部は、事前学習されたモデルである文脈注意機構及び文脈特徴量変換部と、ＧＡＵモジュールを有する文脈情報選択部と、を備え、前記画像符号化部は、事前学習されたモデルである画像注意機構及び画像特徴量変換部と、ＧＡＵモジュールを有する画像情報選択部と、を備える。