Skeleton-Based Human Action Recognition using Data Augmentation and Feature Enhancement of Deep Neural Networks = 심층 신경망을 위한 데이터 증강 및 특징 강화를 활용한 스켈레톤 기반 동작인식

국문 초록 (Abstract)

인간 행동 인식(Human Behavior Understanding)은 차세대 지능형 시스템의 핵심 구성요
소로 자리 잡고 있으며, 특히 비정형적 실내 환경에서 사람의 행동을 정밀하게 해석하고 자
연스러운 의사소통 신호까지 이해하는 기술은 산업·의료·서비스 전반에서 필수적으로 요구되
고 있다. 단순히 사람의 존재나 위치를 파악하는 수준을 넘어, 전신 동작의 의미와 손 기반
제스처의 의사소통적 의도를 함께 해석할 수 있어야 실사용 환경에서 신뢰도 높은 사용자
경험을 제공할 수 있다. 본 연구는 이러한 요구를 해결하기 위해 수화 기반 제스처 인식과
스켈레톤 기반 동작 인식을 통합한 비전 AI 기반 인간 행동 인식 프레임워크를 제안한다.
제안 프레임워크는 손가락 철자 중심의 제스처-텍스트 해석 모듈과 전신 골격 기반의 동작
분류·이해 모듈을 결합함으로써, 의사소통 신호와 신체 동작을 동시에 고려하는 포괄적 인간
행동 이해를 목표로 한다.
먼저 인간 의사소통 요소를 반영하기 위해 딥러닝 기반 미국 수화(ASL) 손가락 철자 인식
알고리즘을 개발하였다. 본 연구는 MediaPipe를 통해 추출되는 543개 랜드마크(얼굴·상체·
양손)를 분석하여, 표현력은 유지하면서도 중복성을 최소화할 수 있는 72개 핵심 지점을 선
정하였다. 이를 통해 계산 비용과 입력 차원을 줄이는 동시에, 손·얼굴·상체의 의미 정보(발
화 및 표현 관련 미세 움직임)를 효과적으로 보존하였다. 또한 3D 랜드마크 시계열(x, y, z)
을 3채널 RGB 템플릿으로 변환하는 CNN 기반 특징 패치 생성 모듈을 설계하여, 시계열
정보를 하나의 구조화된 입력으로 표현하고 공간·시간 패턴을 동시에 학습할 수 있도록 하
였다. 생성된 특징은 Squeezeformer 기반 인코더–디코더 구조에서 처리되며, CNN의 지역
적 특징 추출 능력과 트랜스포머 계열의 장거리 시간 의존성 모델링을 결합하여 손가락 철
자의 연속적 변화를 정밀하게 해석한다. 또한 CutMix, FingerDropout, TimeStretch 등 전
처리 기반 증강과 신뢰도 기반 후처리 기법을 적용하여, 폐색·손 검출 누락·프레임 길이 변
동 등 실환경 노이즈에 대한 강인성을 강화하였다. 실험 결과, 제안된 모델은 Kaggle ASL
Finger-spelling 데이터셋에서 0.915의 검증 점수를 기록하였으며, 다양한 조명 조건과 배
경 변화, 손 가림 상황에서도 안정적인 성능을 확인하였다.
다음으로 인간의 세밀한 신체 움직임을 인식하기 위해 skeleton 기반 동작 인식 기술을
통합하였다. 기존 GCN 기반 동작 인식 모델은 관절 간 구조 관계를 효과적으로 모델링할
수 있으나, 유사한 동작 간 미세 차이를 구분하는 데 한계를 보이는 경우가 많다. 이를 해
결하기 위해 본 연구는 동작 토폴로지 향상(Motion Topology Enhancement, MTE) 모듈을
설계하였다. MTE는 샘플 내 관절 상관관계(동작 수행 중 관절 간 결합 패턴)와 샘플 간 차
이(유사 동작을 구분하는 관절 변별 정보)를 동시에 강화하여, 관절 연결 구조를 입력 샘플
특성에 맞게 보다 풍부하고 표현력 있는 토폴로지로 확장한다. 특히 손·발과 같이 동작 변별
력이 큰 말단 부위에 높은 가중치를 부여함으로써, 작은 손동작·발동작 등 고빈도/미세 움직
임이 성능에 더 크게 기여하도록 설계하였다. 제안 모델은 NTU RGB+D 및 NTU RGB+D
120 벤치마크에서 평가되었으며, 실험 결과를 통해 기존 대비 상위 수준의 정확도를 달성
하고 유사 동작 구분 성능이 향상됨을 확인하였다. 이를 통해 제안한 토폴로지 강화가 실제
데이터셋에서 세밀한 행동 변화 인식에 효과적임을 입증하였다.
마지막으로 본 연구는 ASL 손가락 철자 인식과 skeleton 기반 동작 인식을 하나의 통합
프레임워크로 결합함으로써, 제스처 기반 의사소통 이해와 전신 동작 분석을 동시에 수행하
는 포괄적 인간 행동 인식 시스템을 구축한다. 제안 프레임워크는 의사소통 신호(손 기반
제스처)와 행동 단서(전신 움직임)를 함께 해석함으로써, 단일 모달리티 접근이 갖는 정보
부족 문제를 완화하고 상황 적응성과 해석 가능성을 높인다. 향후 스마트홈 인터페이스, 헬
스케어 모니터링, 교육·훈련 시스템, 보조기기, 공공서비스 환경 등에서 자연스럽고 정밀한
인간–시스템 상호작용을 제공하는 기반 기술로 활용될 수 있으며, 더 나아가 차세대 지능형
에이전트 및 휴먼 인터페이스 기술의 성능·신뢰성·확장성 향상에 기여할 것으로 기대된다.

목차 (Table of Contents)

• 1. Introduction 1
• 1.1 Research Purpose and Summary 1
• 1.2 Preliminary Research on Human Detection 7
• 2 American Sign Language Finger-Spelling Recognition15
• 2.1 Background of Hand Gesture Recognition 15
• 2.2 Compressed Feature-based efficient ASL21
• 2.2.1 ASL Datasets 23
• 2.2.2 Data Analysis 27
• 2.2.3 Feature Extraction Model 30
• 2.2.4 Classification and Prediction 35
• 2.2.5 Data Processing 37
• 3 Skeleton-based Human Activity Recognition 39
• 3.1 Background of Graph-Based Action Recognition 39
• 3.2 Performance Enhancement Methods for HAR 45
• 3.2.1 NTU Datasets 48
• 3.2.2 Motion Topology Enhancement (MTE) for GCN 51
• 3.2.3 Depthwise-Separable Temporal Convolution for TCN 54
• 3.2.4 Fast Ensemble Fusion (FEF) Methodology 56
• 4 Experiments and Analysis 64
• 4.1 Experimental environment and setting 64
• 4.1.1 Training 64
• 4.1.2 Evaluation matric 66
• 4.1.3 Accuracy measurement 68
• 4.2 Action Recognition Results 72
• 4.2.1 Motion Topology Enhancement (MTE) 72
• 4.2.2 Fast Ensemble Fusion (FEF) 74
• 5 Conclusion 76
• References 78
• Abstract(In Korea)95