수어인식을 위한 Bi-LSTM 기반 Self-Attention 메커니즘

국문 초록 (Abstract)

동작 인식 기술은 카메라와 센서를 통해 사람의 움직임을 분석하고 해석하는 기술로, 청각 장애인과 비장애인 간의 의사소통을 돕는 데 중요한 역할을 한다. 본 연구에서는 한국 수어(Korean Sign Language) 인식을 위한 다양한 딥러닝 모델을 설계하고 성능을 비교하였다. 이를 위해 CNN, LSTM, CNN+LSTM, Bi-LSTM+Self-Attention 모델을 구축하고, AI Hub에서 제공하는 수어 데이터셋을 활용해 학습 및 평가를 수행하였다. 또한, 키포인트 기반 데이터 증강 기법을 적용하여 모델의 일반화 성능을 향상시켰다. 실험 결과, Bi-LSTM+Self-Attention 모델이 97.5%의 인식률을 기록하며 비교 모델 중 가장 우수한 성능을 보였다. CNN, LSTM, CNN+LSTM 모델에 비해 10~20% 높은 정확도를 나타냈으며, 특히 복잡한 수어 동작에서 뛰어난 인식 성능을 보였다. 이는 Bi-LSTM의 양방향 특성과 Self-Attention 메커니즘이 결합되어 과거와 미래의 시간적 정보를 효과적으로 학습하고, Residual Connection을 통해 기울기 소실 문제를 완화한 결과로 분석된다. 향후 연구에서는 다양한 환경(조명, 배경, 의상 등)에서의 데이터 수집 및 실시간 수어 인식 시스템 개발을 목표로 한다. 이를 통해 수어 인식 기술이 청각 장애인의 원활한 의사소통을 지원하며, 동작 인식 기술 전반에 기여할 것으로 기대된다.

목차 (Table of Contents)

• 목 차 ⅰ
• 표 목 차 ⅳ
• 그림목차 ⅴ
• 식 목 차 ⅷ
• I. 서 론 1
• 1.1 연구 배경 및 목표 1
• 1.2 연구 내용 및 범위 2
• 1.3 논문의 구성 3
• Ⅱ. 관련 연구 4
• 2.1 장갑 기반 수어 인식 4
• 2.2 MediaPipe 5
• 2.3 시퀀스 데이터 처리를 위한 신경망 7
• 2.3.1 Convolutional Neural Network 7
• 2.3.2 Recurrent Neural Network 10
• 2.3.3 Long Short Term Memory 13
• 2.3.4 Transformer 15
• Ⅲ. 수어 동작 인식 모델 설계 및 구성 17
• 3.1 수어 데이터 수집 및 전처리 17
• 3.1.1 발화 구간 탐지 20
• 3.1.2 프레임 추출 23
• 3.1.3 MediaPipe를 이용한 키포인트 추출 24
• 3.1.4 데이터 증강 28
• 1) 랜덤 삭제 28
• 2) 노이즈 추가 29
• 3) 쉬프팅 30
• 4) 스케일링 30
• 3.2 수어 학습 모델 설계 32
• 3.2.1 CNN 32
• 3.2.2 LSTM 37
• 3.2.3 CNN + LSTM 41
• 3.2.4 Bi-LSTM + Self-Attention 44
• Ⅳ. 실험 및 성능분석 50
• 4.1 실험환경 50
• 4.2 수어 학습 모델 구성에 따른 학습 결과 비교 50
• 1) CNN 51
• 2) LSTM 52
• 3) CNN+LSTM 53
• 4) Bi-LSTM + Self-Attention 55
• 4.3 수어 학습 모델 구성에 따른 수어 인식 성능 비교 57
• 4.3.1 학습 모델별 수어 인식 성능 결과 비교 57
• 1) CNN 모델의 성능 59
• 2) CNN+LSTM 모델의 성능 60
• 3) LSTM 모델의 성능 61
• 4) Bi-LSTM + Self-Attention 모델의 성능 61
• 4.3.2 Confusion Matrix를 활용한 종합 성능 분석 63
• 4.4 Bi-LSTM + Self-Attention 세부 성능 비교 68
• 4.4.1 클래스 개수에 따른 수어 인식 성능 비교 68
• 4.4.2 특징점 개수에 따른 수어 인식 성능 비교 69
• 4.4.3 데이터 증강에 따른 수어 인식 성능 비교 70
• 4.5 Bi-LSTM + Self-Attention기반 실시간 웹캠 테스트 72
• Ⅴ. 고찰 및 결론 75
• 참 고 문 헌 77