COMMUNICATION ASSISTANCE SYSTEM AND COMMUNICATION ASSISTANCE PROGRAM

• Main Authors: HOSOYA Toshifumi, KAKII Toshiaki, OKINA Yuna, DAI Guiming
• Format: Patent
• Language: English; French; Japanese
• Published: 15.07.2021
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; DATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FORADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORYOR FORECASTING PURPOSES; ELECTRIC COMMUNICATION TECHNIQUE; ELECTRIC DIGITAL DATA PROCESSING; ELECTRICITY; PHYSICS; PICTORIAL COMMUNICATION, e.g. TELEVISION; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE,COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTINGPURPOSES, NOT OTHERWISE PROVIDED FOR

A communication assistance system according to one embodiment of the present invention assists communication performed by a user using a terminal, the communication assistance system comprising a control data generation unit that generates, on the basis of video data including voice data of the user and image data of the user, control data for controlling the actions of an avatar of the user who is participating in the communication displayed on the terminal, the control data generation unit using the voice data of the user and a learned model to supplement inadequate image information when there is insufficient image information in the image data of the user, and the learned model being generated using training data so as to output control data for the avatar when the voice data of the user is input. La présente invention concerne un système d'aide à la communication qui, selon un mode de réalisation, aide à la communication établie par un utilisateur à l'aide d'un terminal, le système d'aide à la communication comprenant une unité de génération de données de commande qui génère, sur la base de données vidéo comprenant des données vocales de l'utilisateur et des données d'image de l'utilisateur, des données de commande pour commander les actions d'un avatar de l'utilisateur qui participe à la communication affichée sur le terminal, l'unité de génération de données de commande utilisant les données vocales de l'utilisateur et un modèle appris pour compléter des informations d'image inadéquates lorsqu'il n'y a pas d'informations d'image suffisantes dans les données d'image de l'utilisateur et le modèle appris étant généré à l'aide de données d'apprentissage de façon à délivrer des données de commande pour l'avatar lorsque les données vocales de l'utilisateur sont entrées. 一実施形態に係るコミュニケーション支援システムは、ユーザが端末を用いて行うコミュニケーションを支援するコミュニケーション支援システムであって、端末に表示されコミュニケーションに参加するユーザのアバターの動作を制御するための制御データを、ユーザの音声データおよびユーザの画像データを含む映像データに基づいて生成する制御データ生成部を備え、制御データ生成部は、ユーザの画像データに画像情報の不足が発生した場合に、ユーザの音声データと、学習済みモデルとを用いて、不足分の画像情報を補完し、学習済みモデルは、ユーザの音声データが入力されると、アバターの制御データを出力するように、訓練データを用いて生成された学習済みモデルである。