자세 추정 알고리즘을 이용한 웹캠 기반 격투 게임 제어 시스템 연구

• Published in: 디지털콘텐츠학회논문지 Vol. 25; no. 11; pp. 3291 - 3299
• Main Authors: 강경민(Kyoung-Min Kang), 허관(Gwan Heo), 이준석(David Junesok Lee)
• Format: Journal Article
• Language: Korean
• Published: 한국디지털콘텐츠학회 01.11.2024
• Subjects: 컴퓨터학; Neural Network Model; Unreal Engine; 언리얼엔진; 몰입형 콘텐츠; Motion Recognition; 동작인식; 신경망모델; Pose Estimation; Immersive Contents; 자세추정
• ISSN: 1598-2009; 2287-738X
• DOI: 10.9728/dcs.2024.25.11.3291

본 연구는 Google MediaPipe와 Unreal Engine을 통합한 새로운 실시간 몰입형 게임 컨트롤 시스템을 제안한다. 본 시스템은 특수 장비 대신 일반 웹캠을 사용하여 접근성을 높였다. MediaPipe와 LSTM 신경망 기반 포즈 추정 모듈이 실시간으로 플레이어의 동작을 인식하고, Unreal Engine과 연동하여 몰입감 있는 게임 플레이를 구현한다. 실험 결과, 평균 338.66ms의 지연 시간과 89.33%의 동작 인식 정확도를 달성하였으며 이는 개선이 필요하지만 전시형 콘텐츠에서 사용 가능한 수치이다. 이를 통해 본 논문은 접근성 높은 동작 인식 게임의 실현 가능성을 검증하였다. 제안된 시스템은 교육, 의료, 엔터테인먼트 분야에서 활용 잠재력을 보여준다. 향후 연구에서는 딥러닝 기술기반 정확도 향상과 실시간 성능 최적화를 통한 개인화를 목표로 한다. This study introduces a novel real-time immersive game control system that integrates Google MediaPipe with Unreal Engine. The system enhances accessibility by leveraging standard webcams instead of specialized equipment. A pose estimation module, based on MediaPipe and LSTM neural networks, recognizes player movements in real-time and interfaces with Unreal Engine to enable immersive gameplay. Experimental results show an average latency of 338.66 ms and motion recognition accuracy of 89.33%. While these figures suggest room for improvement, they are sufficient for exhibition-style content. This study demonstrates the feasibility of accessible motion recognition games. The proposed system has potential applications in education, healthcare, and entertainment. Future research will focus on improving accuracy through deep learning techniques and enabling personalization via real-time performance optimization. KCI Citation Count: 0