METHOD AND SYSTEM FOR 3D MOTION CAPTURE

• Main Authors: SOHN, Taeyoung, CHOI, Jaehong, LEE, Kyungmoon, KWON, Hyeokmin, LEE, Youngsu, PARK, Sungjoon, KO, Byungchan, LIM, Donghyun, LEE, Woosub, SHIN, Chanyeong, LIM, Hyuntaek
• Format: Patent
• Language: English; French; Korean
• Published: 28.03.2024
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS

The present disclosure relates to a method for 3D motion capture, performed by at least one processor. A method for 3D motion capture comprises the steps of: receiving an input image including a character object; detecting a person region, a hand region, and a face region from at least a part of the input image, by using a first machine learning model; and recognizing 3D motion information from a person sub-image including the person region, a hand sub-image including the hand region, and a face sub-image including the face region, wherein, through rendering based on the 3D motion information, a character image is generated including a character that simulates a body motion, a hand motion, and a face motion of the character object included in the input image. La présente divulgation concerne un procédé de capture de mouvement 3D, réalisé par au moins un processeur. Un procédé de capture de mouvement 3D comprend les étapes consistant à : recevoir une image d'entrée comprenant un objet de caractère ; détecter une zone de personne, une zone de main et une zone de visage à partir d'au moins une partie de l'image d'entrée, à l'aide d'un premier modèle d'apprentissage machine ; et reconnaître des informations de mouvement 3D à partir d'une sous-image de personne comprenant la zone de personne, une sous-image de main comprenant la zone de main, et une sous-image de visage comprenant la zone de visage, dans lequel, par rendu sur la base des informations de mouvement 3D, une image de personnage est générée comprenant un personnage qui simule un mouvement de corps, un mouvement de main et un mouvement de visage de l'objet de personnage inclus dans l'image d'entrée. 본 개시는 적어도 하나의 프로세서에 의해 수행되는 3D 모션 캡처 방법에 관한 것이다. 3D 모션 캡처 방법은, 인물 객체를 포함하는 입력 이미지를 수신하는 단계, 제1 기계학습 모델을 이용하여, 입력 이미지의 적어도 일부로부터 사람 영역, 손 영역 및 얼굴 영역을 탐지하는 단계 및 사람 영역을 포함하는 사람 서브 이미지, 손 영역을 포함하는 손 서브 이미지 및 얼굴 영역을 포함하는 얼굴 서브 이미지로부터 3D 모션 정보를 인식하는 단계를 포함하고, 3D 모션 정보에 기초한 렌더링을 통해, 입력 이미지에 포함된 인물 객체의 바디 모션, 손 모션 및 얼굴 모션을 모사하는 캐릭터를 포함하는 캐릭터 이미지가 생성된다.