Method for interation of kinetic employing detection of motion using to deep learning

• Main Authors: KIM TAEHEE, K C YUGESH, JEONG MANYOUNG, TAMANG LAKPA DORJE
• Format: Patent
• Language: English; Korean
• Published: 07.06.2023
• Subjects: CALCULATING; CHAMBERS PROVIDED WITH MANIPULATION DEVICES; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; DATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FORADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORYOR FORECASTING PURPOSES; HAND TOOLS; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; MANIPULATORS; PERFORMING OPERATIONS; PHYSICS; PORTABLE POWER-DRIVEN TOOLS; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE,COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTINGPURPOSES, NOT OTHERWISE PROVIDED FOR; TRANSPORTING

Embodiments relate to a method of interaction of a kinetic sculpture using deep learning-based motion recognition. Specifically, the interacting method first uses a method of receiving and outputting an input and an output through kinetic to add visible interaction between audiences and installation art work as before. In addition, in the state, according to one embodiment of the present invention, provided is a motion data service based on a deep learning-based motion data processing technology and interaction generation technology. For example, the generation of complex and difficult multi-joint kinetic motion data is automated, motion data is provided by being extracted and processed according to a manager's request, etc., and various gesture movement data are also provided. Therefore, when various services including guidance and appreciation are provided to nearby visitors through kinetic, since a controller of the kinetic recognizes visitors' movement or postures and provides interaction of a robot's behavior for different postures, various services are provided according to the visitors' situations. 실시예는 딥러닝 기반의 모션 인식에 의한 키네틱 조형물의 상호 작용 방법에 관한 것이다. 구체적으로, 이러한 상호 작용 방법은 먼저 기존대로 관람객과 설치예술 작품 간의 가시적인 인터랙션을 가미하기 위하여, 키네틱을 통해 인풋과 아웃풋을 입력받고 출력하는 방식을 사용한다. 그리고, 이러한 상태에서 일실시예에 따라 딥러닝 기반의 모션 데이터 처리 기술 및 인터랙션 생성 기술을 바탕으로 하는 모션 데이터 서비스를 제공한다. 예를 들어, 복잡하고 어려운 다관절 키네틱의 모션 데이터 생성을 자동화하고, 관리자 등의 요청에 따라 모션 데이터를 추출, 가공하여 제공하며, 다양한 제스쳐 동작 데이터도 제공한다. 따라서, 이를 통해 키네틱을 통해 주변의 관람객에게 안내와 감상을 포함한 여러 서비스를 제공할 경우, 키네틱의 제어부에서 관람객의 움직임 또는 자세를 인식하여 로봇의 동작을 상이한 자세별로 인터랙션함으로써, 관람객의 상황에 따라 다양한 서비스를 제공한다.