METHOD FOR PERFORMING REINFORCEMENT LEARNING USING MULTI-MODAL ARTIFICIAL INTELLIGENCE AGENT AND COMPUTING APPARATUS FOR PERFORMING THE SAME

• Main Authors: PARK JUNSEOK, LEE MINSU, LEE MIN WHOO, PARK KWANYOUNG, OH HYUN SEOK, LEE GANGHUN, LEE YOUNGKI, ZHANG BYOUNG TAK
• Format: Patent
• Language: English; Korean
• Published: 12.06.2023
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; ELECTRIC COMMUNICATION TECHNIQUE; ELECTRICITY; PHYSICS; PICTORIAL COMMUNICATION, e.g. TELEVISION

A method for performing reinforcement learning using a multimodal artificial intelligence agent comprises: a step of dividing the frames included in the video of the virtual environment into a plurality of sections; and a step of performing reinforcement learning by applying one of a plurality of guidance types to each of the plurality of divided sections and allowing a multimodal artificial intelligence agent to interact with the virtual environment through the image. The plurality of guidance types are divided into three or more stages depending on the level of guidance, and the step of performing the reinforcement learning applies an intermediate level guidance type to sections of preset critical periods among the plurality of divided sections and performs reinforcement learning by applying one of the plurality of guidance types to the remaining sections. 멀티모달 인공지능 에이전트를 이용하여 강화학습을 수행하는 방법은, 가상환경을 촬영한 영상에 포함된 프레임들을 복수의 구간들로 분할하는 단계 및 상기 분할된 복수의 구간별로 복수의 지도 방식(guidance type) 중 어느 하나를 적용하여, 멀티모달 인공지능 에이전트가 상기 영상을 통해 상기 가상환경과 상호작용하도록 함으로써 강화학습을 수행하는 단계를 포함하며, 상기 복수의 지도 방식은 지도 수준에 따라 3단계 이상으로 구분되며, 상기 강화학습을 수행하는 단계는, 상기 분할된 복수의 구간들 중 미리 설정된 결정적 시기(critical periods)의 구간들에 대해서는 중간 수준의 지도 방식을 적용하고, 나머지 구간들에 대해서는 상기 복수의 지도방식 중 어느 하나를 적용하여 강화학습을 수행하는 것을 특징으로 한다.