가상 시뮬레이션 학습자의 인지부하와 정서를 분석하기 위한 표정 분석 및 뇌전도의 활용 = Use of Facial Expression Analysis and EEG to Analyze Cognitive Load and Emotion of Learners in Virtual Simulation

국문 초록 (Abstract)

이 연구의 목적은 가상 시뮬레이션을 경험하는 학습자의 인지부하와 정서상태를 분석하기 위한 것이다. 가상 시뮬레이션 활용 교육에서 학습자는 지속적인 시청각 자극을 경험하기 때문에 이들의 사용자 경험은 매우 역동적으로 변화한다. 이를 기존의 사후보고식 방법으로는 정확하게 측정하기 어렵다. 따라서 이 연구에서는 가상 시뮬레이션을 경험하는 사용자가 시나리오의 내용 흐름에 따라 어떠한 인지·정서적 변화를 경험하는지 표정 분석과 뇌파를 통해 확인하고자 하였다. 연구 대상자는 대학생 34명(남자=10명, 여자=24명)이었다. 이 연구에서 사용된 가상 시뮬레이션은 학부모와의 상담사례로, 사용자는 가상 학부모와 면담하게 된다. 사용자 경험 중 인지부하를 분석하기 위해 분당 눈깜빡임(blink per min)과 중간 베타파(mid-beta wave, 15-20Hz)를 측정했다. 정서를 분석하기 위해서는 정서가(valence)와 전두엽 비대칭 알파파(frontal alpha asymmetry)를 측정했다. 시나리오를 내용 전개에 따라 4단계로 구분하고, 구간별 측정지표의 평균 변화를 분석하였다. 연구 결과, 1단계인 인사하기 단계에서 인지부하가 상승하고 긍정 정서가 높아졌다. 그러나 2단계 문제행동 언급 단계에서 인지부하와 긍정 정서 모두 급격히 감소하였다. 그 후, 3-4단계를 거치며 점차 재상승하는 패턴을 보였다. 이를 바탕으로 사용자 경험 중 인지부하와 정서가의 발생 패턴이 유사함을 확인할 수 있었다. 이 연구의 의의는 가상시뮬레이션 교육에서 인지·정서 측면의 사용자 경험을 측정하는데 생리 신호 기반의 멀티모달 측정법의 타당성을 확인하였다는 점에 있다.

참고문헌 (Reference)

1 최준섭, "학부모 상담주간의 운영 과정에서 초등학교 교사가 경험하는 정서 변화에 대한 질적 연구" 한국초등교육학회 33 (33): 1-30, 2020

2 류지헌 ; 김국현 ; 양은별, "학부모 상담을 위한 온라인 시뮬레이션에서 시나리오 단계에 따른 교사와 예비교사의 주의집중 및 정서변화 대한 차이 분석" 안암교육학회 28 (28): 27-47, 2022

3 우진경, "학부모 상담 실행에서 유아교사의 정서적 경험 탐색" 학습자중심교과교육학회 22 (22): 53-71, 2022

4 김은영 ; 이재용 ; 박성희, "학부모 상담 과정에 관한 초등 학부모의 체험분석" 한국초등상담교육학회 17 (17): 177-200, 2018

5 오인수 ; 김혜미 ; 이승연 ; 이미진, "학교폭력의 맥락적 이해에 기초한 효과적인 상담전략" 한국상담학회 17 (17): 257-279, 2016

6 이주영 ; 이아라, "학교폭력 가해자 대상 상담에서의 상담자 경험과 인식에 대한 질적 연구" 한국상담심리학회 27 (27): 849-880, 2015

7 오혜영, "초등학생용 부모 참여 진로집단상담 프로그램 개발" 한국청소년상담원 2011

8 김한별 ; 정여주, "초등학교 저학년 학부모의담임교사 상담경험에 대한 질적 연구" 학습자중심교과교육학회 18 (18): 489-508, 2018

9 김나라 ; 방재현 ; 정진철, "진로진학상담교사에 대한 학생과 학부모의 인식 및 요구 분석" 한국실과교육연구학회 18 (18): 249-268, 2012

10 김은희, "진로상담프로그램이 학교폭력 피해중학생의 회복탄력성과 진로결정자기효능감에 미치는 효과" 한국진로교육학회 29 (29): 111-133, 2016

11 이보미 ; 최한나, "중학생의 학교상담요청 결정 과정의 촉진요인 및 방해요인" 한국청소년상담복지개발원 23 (23): 77-96, 2015

12 방혜진, "중․고등학생의 진로의사결정 단계별주 호소문제 및 상담전략" 한국진로교육학회 29 (29): 257-277, 2016

13 이미아, "유아교육기관에서의 상담에 대한 학부모와 유아교사의 인식비교" 건국대학교 교육대학원 2016

14 이건형, "유아교육기관 학부모상담 시 전문가상담 도입에 따른 만족도 연구" 24 : 75-94, 2019

15 우진경, "유아교사의 경험을 통해 본 효과적 학부모 상담을 위한 전제조건과 상담전략" 한국영유아교원교육학회 22 (22): 259-284, 2018

16 김성경 ; 강민 ; 강건주 ; 박수지 ; 신영석 ; 장동표, "영화클립을 이용한 눈깜빡임과 시각적 주의력과의 상관성 연구" 대한의용생체공학회 35 (35): 99-104, 2014

17 이슬이, "시각자극 과제에 의한 집중도의 뇌파분석" 부경대학교 대학원 2014

18 송은지, "가상현실 사용자 경험(VR UX)에 대한 연구동향" 29 (29): 4-13, 2022

19 류지헌 ; 유승범, "가상현실 기반 수업 시뮬레이션의 시나리오 내용이 예비교사의 교사효능감과 가상실재감에 미치는 효과" 한국교육정보미디어학회 22 (22): 661-680, 2016

20 한형종 ; 임철일, "가상현실 기반 교육용 시뮬레이션 설계원리 개발" 한국교육공학회 36 (36): 221-264, 2020

21 이금실, "가상현실 기반 관광체험미디어의 어포던스 특성이 사용자 경험에 미치는 영향" 한국관광연구학회 31 (31): 105-118, 2017

22 Hsu, W. C., "Using exaggerated feedback in a virtual reality environment to enhance behavior intention of water-conservation" 21 (21): 187-203, 2018

23 Sharma, K., "Towards automatic and pervasive physiological sensing of collaborative learning" International Society of the Learning Sciences 2 : 684-687, 2019

24 Cukurova, M., "The promise and challenges of multimodal learning analytics" 51 (51): 1441-1449, 2020

25 Tyng, C. M., "The influences of emotion on learning and memory" 8 : 1454-, 2017

26 Taub, M., "The impact of contextualized emotions on self-regulated learning and scientific reasoning during learning with a game-based learning environment" 30 (30): 97-120, 2020

27 Otamendi, F. J., "The emotional effectiveness of advertisement" 11 : 2088-, 2020

28 Faure, V., "The effects of driving environment complexity and dual tasking on drivers’ mental workload and eye blink behavior" 40 : 78-90, 2016

29 Reich, J., "Teaching drills : Advancing practice-based teacher education through short, low-stakes, high-frequency practice" 30 (30): 217-228, 2022

30 Thompson, M., "Teacher Moments : A digital simulation for preservice teachers to approximate parent-teacher conversations" 35 (35): 144-164, 2019

31 Maffei, A., "Spontaneous blink rate as an index of attention and emotion during film clips viewing" 204 : 256-263, 2019

32 Medula, C. T., "Simulated apprenticeship for pre-service Filipino teachers" 9 (9): 89-97, 2017

33 Gundel, E., "Self-efficacy in mixed reality simulations : Implications for preservice teacher education" 54 (54): 244-269, 2019

34 Baceviciute, S., "Remediating learning from non-immersive to immersive media : Using EEG to investigate the effects of environmental embeddedness on reading in Virtual Reality" 164 : 104122-, 2021

35 Lee, D. H., "Reading what the mind thinks from how the eye sees" 28 (28): 494-503, 2017

36 Mills, C., "Put your thinking cap on: detecting cognitive load using EEG during learning" 80-89, 2017

37 Ledger, S., "Preservice teachers’ confidence and preferred teaching strategies using TeachLivE™ virtual learning environment: A two-step cluster analysis" 15 (15): em1674-, 2019

38 Henry, J. J., "Preparing teacher candidates for successful communication with diverse families using simulations" 15 (15): 46-76, 2022

39 Joseph, A. W., "Potential eye tracking metrics and indicators to measure cognitive load in human-computer interaction research" 64 (64): 168-175, 2020

40 Krigolson, O. E., "Objective measurement : Shedding the limitations of self-report in educational research" 53 : 1-7, 2018

41 Zaman, B., "Objective and subjective measures of cognitive load : A review" 32 (32): 227-251, 2020

42 Prieto, L. P., "Multimodal teaching analytics : Automated extraction of orchestration graphs from wearable sensor data" 34 (34): 193-203, 2018

43 Crescenzi-Lanna, L., "Multimodal learning analytics research with young children : A systematic review" 51 (51): 1485-1504, 2020

44 Blikstein, P., "Multimodal learning analytics and education data mining : Using computational technologies to measure complex learning tasks" 3 (3): 220-238, 2016

45 Sharma, K., "Multimodal data capabilities for learning : What can multimodal data tell us about learning?" 51 (51): 1450-1484, 2020

46 Giannakos, M. N., "Multimodal data as a means to understand the learning experience" 48 : 108-119, 2019

47 Kosmas, P., "Moving bodies to moving minds : A study of the use of motion-based games in special education" 62 : 594-601, 2018

48 Scarparolo, G., "Mixed-reality simulations as a tool to enhance parent-teacher conferencing in initial teacher education" 38 (38): 72-86, 2022

49 Ledger, S., "Micro-teaching 2. 0 : Technology as the classroom" 36 (36): 37-54, 2020

50 Fortune, E., "Measuring arousal and emotion in healthcare employees using novel devices" 835-838, 2020

51 Kumar, N., "Measurement of cognitive load in HCI systems using EEG power spectrum : an experimental study" 84 : 70-78, 2016

52 Di Mitri, D., "Learning pulse: A machine learning approach for predicting performance in selfregulated learning using multimodal data" 188-197, 2017

53 Liu, R., "Learning linkages : Integrating data streams of multiple modalities and timescales" 35 (35): 99-109, 2019

54 Giannakos, M., "Learner-computer interaction" 968-971, 2018

55 Drachsler, H., "JCAL special issue on multimodal learning analytics" 34 (34): 335-337, 2018

56 Pérez-Fabello, M. J., "How objective measures can improve self-report questionnaires for studying university students’ motivation" 17 (17): 5766-, 2020

57 Mehlig, L. M., "How is my child doing? : Preparing pre-service teachers to engage parents through assessment" 24 (24): 181-194, 2013

58 Teplan, M., "Fundamentals of EEG measurement" 2 (2): 1-11, 2002

59 Fischer, N. L., "Frontal alpha asymmetry and theta oscillations associated with information sharing intention" 12 : 166-, 2018

60 Plass, J. L., "Four ways of considering emotion in cognitive load theory" 31 : 339-359, 2019

61 iMotions, "Facial Expression Analysis: The complete Pocket Guide"

62 Huang, J., "FOCUS: enhancing children's engagement in reading by using contextual BCI training sessions" 1905-1908, 2014

63 iMotions, "Eye-Tracking: The complete Pocket Guide"

64 Rohrbach, M., "Eye tracking in virtual reality : A comprehensive guide" 1-13, 2020

65 Bautista, N. U., "Exploring the impact of TeachME™ lab virtual classroom teaching simulation on early childhood education majors’ self-efficacy beliefs" 26 (26): 237-262, 2015

66 Dotger, B. H., "Exploring the emotional geographies of parent–teacher candidate interactions : An emerging signature pedagogy" 46 (46): 208-230, 2011

67 Hökkä, P., "Emotions in learning at work : A literature review" 13 : 1-25, 2020

68 Zheng, W. -L., "Emotionmeter : A multimodal framework for recognizing human emotions" 99 : 1-13, 2018

69 Luke, S. E., "Embedding virtual simulation into a course to teach parent-teacher collaboration skills" 57 (57): 182-188, 2022

70 Veneri, D. A., "Electrooculography(EOG)in educational research : Advantages and challenges" 12 (12): 1-13, 2019

71 Romero, C., "Educational data mining and learning analytics: An updated survey" 10 (10): e1355-, 2020

72 D’Mello, S., "Dynamics of affective states during complex learning" 22 (22): 145-157, 2012

73 Choi, T. J., "Determination of the concentrated state using multiple EEG channels" 8 (8): 1373-1376, 2014

74 Kim, S. O., "Comparing concentration levels and emotional states of children using electroencephalography during horticultural and nonhorticultural activities" 56 (56): 324-329, 2021

75 Huang, Y., "Combining facial expressions and electroencephalography to enhance emotion recognition" 11 (11): 105-, 2019

76 Dubovi, I., "Cognitive and emotional engagement while learning with VR : The perspective of multimodal methodology" 183 : 104495-, 2022

77 Sharma, K., "Building pipelines for educational data using AI and multimodal analytics : A"grey-box"approach" 50 (50): 3004-3031, 2019

78 Hassib, M., "Brainatwork: Logging cognitive engagement and tasks in the workplace using electroencephalography" 305-310, 2017

79 Williamson, B., "Brain data : Scanning, scraping and sculpting the plastic learning brain through neurotechnology" 1 (1): 65-86, 2019

80 Huang, Y., "Bildung für eine digitale Zukunft [Education for a Digital Future]" Springer 2020

81 Ochoa, X., "Augmenting learning analytics with multimodal sensory data?" 3 (3): 213-219, 2016

82 Niforatos, E., "Amplifying human cognition : bridging the cognitive gap between human and machine" 673-680, 2017

83 Exler, A., "A wearable system for mood assessment considering smartphone features and data from mobile ECGs" 1153-1161, 2016

84 Mühl, C., "A survey on affective brain-computer interfaces : Psychological, computational, and machine learning perspectives" 17 (17): 041001-, 2020

85 Worsley, M., "A multimodal analysis of making" 28 (28): 385-419, 2018

86 De Coninck, K., "A measurement of student teachers' parent-teacher communication competences : The design of a video-based instrument" 44 (44): 333-352, 2018

87 Peng-Li, D., ""Sound"decisions : The combined role of ambient noise and cognitive regulation on the neurophysiology of food cravings" 16 : 827021-, 2022