가상현실 학습 환경에서 시선 추적 기술과 딥러닝을 활용한 인지 부하 정량적 평가 연구

국문 초록 (Abstract)

인지 부하 이론에 따르면 인간의 인지 처리 시스템은 제한된 정보만 처리할 수 있으며 학습 내용이 제한된 정보의 양을 초과했을 때 인지 부하에 문제가 발생할 수 있다고 주장한다. 이러한 문제를 해결하고 효과적인 학습을 통해 긍정적인 경험을 제공하는 것이 인지 부하 이론의 주요 목적이다.
가상현실(Virtual Reality, VR)은 실재감과 몰입감을 제공할 수 있으며 이를 통해 학습 성과를 향상할 수 있으므로 다양한 학습 분야에 활용되고 있다. 그러나 VR 학습 환경은 기존 2D 기반의 학습 환경보다 더 많은 시청각적 자극과 정보를 포함하고 있다. 학습자에게 한 번에 많은 정보가 제공되면 산만함이나 인지 과부하와 같은 인지 부하에 문제가 발생할 수 있으므로 VR 학습 환경에서 학습 성과를 저해하는 인지 부하 문제를 최소화하는 방법이 필요하다.
인지 부하 문제를 최소화하기 위해서는 학습자의 인지 부하를 평가하는 것이 필요한데 인지 부하를 평가하는 방법은 주관적, 객관적 평가 방법이 있다. 주관적 방법은 학습자의 인지 부하 정도를 스스로 평가하는 방식으로 일반적으로 연구에 활용되고 있으며 다양한 분야에 적용되기 쉽지만, 학습자 개인의 기억 왜곡으로 인해 부정확한 정보를 제공할 수 있고 사후 평가 방식이기 때문에 실시간 학습에서는 적절하지 않다.
이를 보완하기 위해 사용되는 객관적 방법은 생체 신호를 평가에 활용하는 것이며 심박수, 심박 변이도, 피부전기반응, 안구 움직임 등을 통해 인지 부하를 평가한다. 객관적 평가 방법은 정량적 데이터를 제공하여 실시간으로 인지 부하를 평가할 수 있지만 생체 신호 데이터에서 학습자의 개인차가 발생하며 항상 일관된 결과를 제공하지 않으므로 인지 부하 평가에 대한 타당성이 부족하다. 따라서 주관적 평가 방법과 객관적 평가 방법을 병행해야 하며 주관적 평가 방법에 따라 객관적 평가 방법의 신뢰를 높이는 것이 필요하다.
또한 생체 신호 데이터로 인지 부하를 평가할 때 통계적 접근 방법만으로 분석하면 개인에 따른 데이터의 편차가 발생하며 상황에 영향받을 수 있으므로 인지 부하에 모든 개인이 일관된 경향을 보이지 않으며 정확한 분석이 어렵다. 이때 인공지능 기술을 활용하면 더 정확하고 효과적으로 인지 부하를 정량적으로 평가할 수 있다.
본 연구에서는 인지 부하 이론에 근거하여 VR 학습 환경에서 발생할 수 있는 인지 부하를 발생 원인에 따라 인지 과부하, 몰입, 산만함으로 분류하였다. 또한 인지 부하 문제를 최소화하기 위해 주관적 및 객관적 평가 방법을 병행하였다. 검증된 평가 척도를 활용하여 인지 부하를 주관적으로 평가하였으며 생체 신호 중 시선 추적 데이터를 활용하여 객관적으로 평가하였다. 객관적 평가를 위해 VR 학습 환경에서 실시간으로 학습자의 시선 추적 데이터를 수집할 수 있는 시스템이 개발되었다. VR에서 발생하는 세 가지 인지 부하 유형에 따른 가상 학습 환경을 구현하였다. 이를 기반으로 실험을 통해 유형별 시선 추적 데이터를 수집하였으며 통계 분석을 수행하여 시선 추적 데이터를 통해 인지 부하를 정량적으로 평가할 수 있을지 가능성을 검토하였다. 통계 분석 방법을 보완하기 위해 인공지능 분석 방법을 적용하였으며 시선 추적 데이터를 통해 세 가지 인지 부하 유형을 분류하는 인공지능 모델이 개발되었으며 그 성능을 분석하여 인공지능 모델이 세 가지 인지 부하 유형을 효과적으로 분류할 수 있는지 확인하였다. 이러한 결과를 확장하여 현실 학습 환경에서 시간에 따라 변하는 인지 부하를 감지하기 위한 인공지능 모델이 개발되었다.
본 연구의 결과를 통해 시선 추적 데이터와 인공지능을 기반으로 VR에서 발생할 수 있는 세 가지 인지 부하 유형을 분류할 수 있음이 확인되었으며 시간의 흐름에 따라 변화하는 인지 부하를 감지하는 것에도 효과적임이 검증되었다. 이러한 연구 결과는 VR 학습 환경에서 시선 추적 기술과 인공지능 기반의 정량적 인지 부하 평가와 관련된 연구에 기여할 수 있음을 나타낸다.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1. 연구 배경 1
• 2. 연구 필요성 5
• 3. 연구 목적 9
• 4. 연구 문제 12
• 5. 연구 구성 14
• Ⅱ. 이론적 배경 16
• 1. 인지 부하 이론과 멀티미디어 인지 이론 16
• 2. 교육 분야에서 VR 기술 활용 19
• 3. VR 학습에서 발생하는 인지 부하 문제 24
• 4. 인지 부하 평가 방법 26
• 1) 인지 부하 평가를 위한 주관적 평가 방법 26
• 2) 인지 부하 평가를 위한 객관적 평가 방법 28
• 3) 인지 부하 평가에서 주관적·객관적 평가의 병행 34
• 5. 인공지능을 활용한 인지 부하 분석 36
• 1) 생체 신호 기반의 인지 부하 분석에서 딥러닝의 활용 36
• 2) 딥러닝 모델의 성능 평가 방법 39
• 3) 인지 부하 분석에 딥러닝을 활용한 사례 43
• Ⅲ. 연구 방법 46
• 1. 연구 설계 46
• 2. 주관적 인지 부하 평가 도구 적용 방법 52
• 3. 객관적 인지 부하 평가 도구 적용 방법 57
• 1) 인지 부하 평가를 위한 시선 추적 데이터 측정 시스템 58
• 2) 시선 추적 데이터 측정 기능 59
• 3) 시선 추적 데이터 모니터링 기능 62
• 4. 인지 부하 유형별 가상 학습 환경 구현 65
• Ⅳ. 인공지능 기반 인지 부하 유형 분류 모델 개발 74
• 1. 인지 부하 유형별 평가 실험 설계 74
• 2. 인지 부하 유형별 평가 결과 통계 분석 78
• 1) 주관적·객관적 평가 데이터의 일원배치 분산분석 결과 78
• 2) 주관적·객관적 평가 데이터 간 상관 분석 결과 88
• 3. 인지 부하 분류를 위한 인공지능 모델 설계 90
• 1) 학습 데이터 구축 및 전처리 91
• 2) 인지 부하 분류를 위한 LSTM 모델 개발 93
• Ⅴ. 학습 시간 흐름에 따른 인지 부하 변화 분석 98
• 1. 인지 부하 유형 변화 분석을 위한 딥러닝 모델 설계 102
• 2. 모델 학습 결과 및 성능 비교 107
• Ⅵ. 결론 114
• 1. 연구 결과 114
• 2. 연구 논의 117
• 1) 이론적 논의 117
• 2) 방법론적 논의 119
• 3) 실무적 논의 121
• 3. 연구 결과 활용 및 기대효과 123
• 4. 결론 및 향후 연구 129
• 참고문헌 132
• [부록] 1 149
• [부록] 2 152
• [부록] 3 154
• [부록] 4 155
• [부록] 5 156
• [부록] 6 157
• ABSTRACT 158