METHOD, SYSTEM, AND COMPUTER PROGRAM (AUTOMATIC GENERATION OF SELF-GUIDED AUGMENTED REALITY SESSION PLAN FROM REMOTE GUIDANCE AUGMENTED REALITY SESSION)

• Main Authors: GOLDFARB ADI RAZ, EREZ LEV MEIR BILGORY
• Format: Patent
• Language: English; Japanese
• Published: 28.04.2022
• Subjects: CALCULATING; COMPUTING; COUNTING; ELECTRIC DIGITAL DATA PROCESSING; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS

To provide a method, a system, and a program for executing a self-guided augmented reality (AR) session only by a local user guided by a prerecorded instruction.SOLUTION: A method is used to receive data recorded during a remotely guided ART session, and to generate a self-guided AR session plan. The data are segmented to time segments corresponding to a step executed by a local user during the remotely guided ART session. Steps are detected by using at least one of detection of utterance for showing a shift from a step to another step by applying natural language understanding (NLU) algorithm to a conversation included in data, detection of a difference in a position for showing a shift by analyzing a position of an annotation included in data, and detection of a posture shift by analyzing posture data of a camera included in data, and a self-guided AR session plan is generated based on segmented data and three-dimensional expression of a scene.SELECTED DRAWING: Figure 3 【課題】自己誘導式拡張現実（ＡＲ）セッションが予め記録された命令により誘導されるローカルユーザのみで実行する方法、システム及びプログラムを提供する。【解決手段】方法は、遠隔誘導式ＡＲセッション中に記録されたデータを受信することで、自己誘導式ＡＲセッションプランを生成する。データを、遠隔誘導式ＡＲセッション中にローカルユーザにより実行されたステップに対応する時間的セグメントにセグメント化する。ステップは、データに含まれる会話に自然言語認識（ＮＬＵ）アルゴリズムを適用し、ステップからステップへの移行を示す発話を検出すること、データに含まれる注釈の位置を解析し移行を示す位置の差を検出すること、データに含まれるカメラの姿勢データを解析して、姿勢の移行を検出すること、の少なくとも１つを使用して検出され、セグメント化されたデータとシーンの３Ｄ表現とに基づいて自己誘導式ＡＲセッションプランを生成する。【選択図】図３