메타버스 환경에서 아바타의 실시간 애니메이션을 위한 딥러닝 기반의 자세 추정 시스템 개발 및 활용 = Development and Usage of Human Pose Estimation System based on Deep Learning for Real-time Animation of an Avatar in Metaverse Enviroment

국문 초록 (Abstract)

COVID-19 팬더믹 후 비대면 사회로의 전환과 관련 기술의 발전으로 메타버스의 영향력이 사회, 경제, 문화 전반으로 확대되며 관련 콘텐츠의 활용 및 파급효과는 더 커질 것으로 예상된다.
기존 가상현실 환경은 특수 장비 착용, 디바이스 활용 등의 방법으로 동작 인식을 구현하였다. 이러한 방식은 손의 움직임으로 동작을 구현하여 사용자의 모든 동작을 측정, 인식하지 못하는 낮은 사용성과 고가의 장비 사용으로 대중적인 활용이 어렵다. 딥러닝을 활용하여 자세를 추정하는 Markerless Human Pose Estimation은 활발히 연구되어왔으며 대표적인 연구인 Openpose은 인식 속도가 느려 실시간 아바타 애니메이션 구현에 적용하기에는 다소 부적합하다.
본 논문에서는 이러한 문제를 극복하기 위해 딥러닝 모델인 ResNet34를 활용하여 24개의 Joint정보로 학습된 MHP 모델을 통해 입력 데이터 속 사람의 자세를 추정하고 Unity3D 엔진을 통해 실시간 사용자의 동작을 3D 캐릭터의 애니메이션으로 생성 하였다.
본 논문의 결과는 인식된 24개의 관절 포인트들에 대한 매칭을 통하여 정확도를 검증하였다. 그 결과 약 91%의 높은 인식률을 보였으며 fps 측정 결과 원본 영상의 속도와 거의 유사한 속도로 자세 추정이 가능함을 확인하였으며 이를 통한 메타버스 콘텐츠 활용방안을 제시하였다.

목차 (Table of Contents)

• Ⅰ. 서 론 1
• 1. 연구의 필요성 및 목적 1
• 가. 연구의 필요성 1
• 나. 연구의 목적 3
• 2. 연구의 방법 및 구성 3
• 가. 연구의 방법 3
• 나. 연구의 구성 5
• Ⅱ. 이론적 배경 6
• 1. 메타버스(Metaverse) 6
• 가. 메타버스의 개념 6
• 나. 메타버스의 요소 7
• 다. 메타버스 콘텐츠 9
• 2. 딥러닝(Deep learning) 12
• 가. 딥러닝의 개념 12
• 나. CNN 13
• 다. ResNet 15
• 3. 동작 인식(Motion Recognition) 17
• 가. Marker 기반 동작 인식 17
• 나. Markerless 동작 인식 20
• 4. 인간 자세 추정(Human Pose Estimation) 21
• 가. 인간 자세 추정 정의 21
• 나. Top-down 방식 22
• 다. Bottom-up 방식 25
• Ⅲ. 동작 인식 시스템 27
• 1. MHP(Metarverse Human Pose) 설계 27
• 2. 데이터셋 29
• 가. MPII Human Pose Dataset 29
• 3. 동작 인식 시스템 30
• Ⅳ. 메타버스 콘텐츠 활용 32
• 1. 콘텐츠 설계 32
• 2. 콘텐츠 활용 결과 33
• Ⅴ. 성능 평가 35
• 1. 개발환경 35
• 2. 실행결과 35
• Ⅵ. 결론 38
• 1. 결론 요약 38
• 2. 연구의 시사점 39
• 3. 연구의 한계 및 향후 연구 방향 40
• 참고문헌 42