텍스트와 그림 자료에서 학습용 에이전트의 제스처 유형과 얼굴표정이 학습자의 의인화 지각과 인지효율성에 미치는 영향 = The Effect of Pedagogical Agent's Nonverbal Communications on Affective Perception and Cognitive Efficiency

다국어 초록 (Multilingual Abstract)

The purpose of this study is to establish the effects of the gesture types and the facial expressions of the pedagogical agent according to the types of learning materials in the multimedia learning environment on the persona effect and cognitive efficiency. 3×2 factorial design was applied with pedagogical agent's gesture types (deictic gesture, conversational gesture, no gesture) and facial expression (facial, no facial). This study attempts to test two purposes. First, it is how much the learners perceived the pedagogical agent as a human. For this, the persona effect questionnaire survey was conducted. Second, it is whether the pedagogical agent's gestures and facial expressions have positive effects on the efficient cognitive process of the learners. The results of the analysis are summarized as follows. In the text-type materials, it is important to apply facial expressions, and in the picture-type materials, it can be said to be more effective to apply conversational gestures rather than no gesture. The results of this study have three implications. First, facial expressions are also important interface factors that can cause social interaction. Second, conversational gestures can be more important than deictic gestures. Third, the pedagogical agent's effects can vary depending on the types of the materials. Through this, it was confirmed that, when designing the pedagogical agent, it is important to apply facial expressions and gestures appropriately, and that the social interaction between the pedagogical agent and the learners exerts positive effects on learning.

국문 초록 (Abstract)

이 연구는 텍스트와 그림자료에서 학습용 에이전트의 비언어적 구현요인인 제스처와 얼굴표정에 따라서 학습용 에이전트에 대한 지각요인과 인지효율성에 미치는 영향을 검증하기 위한 것이다. 텍스트와 그림자료의 정보처리에 필요한 인지부하의 정도가 달라질 수 있기 때문에 학습용 에이전트의 비언어적 요인(제스처와 얼굴표정)에 의한 영향력이 달라질 수 있다. 학습용 에이전트의 제스처와 얼굴표정은 시각적인 정보처리 과정에 의존하게 되는데, 텍스트와 그림에 대한 인지처리 과정이 다르기 때문에 자료유형이 무엇인지에 따라서 학습용 에이전트의 설계전략이 달라질 필요가 있다. 연구대상자는 4년제 국립대학교 재학생 90명(남학생=32명, 여학생=58명)이었다. 학습용 에이전트의 비언어적 의사소통 요인은 얼굴표정(얼굴표정 적용 vs. 비적용)과 제스처(지시적 vs. 대화적 vs. 제스처 없음)로 구성되었다. 종속변수는 의인화 효과와 인지효율성이었다. 이 연구의 결과는 네 가지로 정리될 수 있다. 첫째, 텍스트형 자료에서는 얼굴표정이 적용될 때 더 바람직한 것으로 나타났다. 반면에 그림형 자료에서는 대화적 제스처를 적용하는 것이 더 효과적이었다. 둘째, 얼굴표정이 있으면서 대화적 제스처를 사용하면 의인화 지각에 긍정적인 효과를 보인다는 점이다. 셋째, 지시적 제스처를 적용한다고 해서 학습에 필요한 충분한 수준의 시각단서가 못된다는 점이다. 따라서 대화형 제스처를 적극적으로 활용함으로써 사회적 상호작용을 촉진하는 것이 더 중요할 수 있다. 넷째, 텍스트와 그림형 자료에 따라서 연구결과가 달라진다는 것은 그 만큼 두 유형에서의 인지처리 과정이 확연히 다르다고 볼 수 있다. 전체적인 분석결과를 정리하면, 학습자료의 유형에 따라서 연구 결과가 다르게 나타났다. 텍스트형 자료에서는 얼굴표정을 적용하는 것이 중요하며, 그림형 자료에서는 제스처가 없는 것보다는 대화적 제스처를 적용하는 것이 더 효과적이라고 볼 수 있다. 이를 통해 학습용 에이전트를 설계할 때는 자료의 유형에 따라 표정과 제스처를 적절하게 적용하는 것이 중요하며, 학습용 에이전트와 학습자의 사회적 상호작용이 학습에 긍정적 효과를 일으킨다는 점을 확인하였다.

참고문헌 (Reference)

1 류지헌, "학습용 에이전트의 제스처와 얼굴표정이 학습이해도 및 의인화 효과에 미치는 영향" 한국감성과학회 16 (16): 281-292, 2013

2 노경희, "초등영어교사 제스처의 기능과 학습자의 인식" 한국초등영어교육학회 17 (17): 119-143, 2011

3 류지헌, "인지 부하 측정을 위한 구인의 탐색 및 타당화" 한국교육정보미디어학회 15 (15): 1-27, 2009

4 류지헌, "인쇄자료를 활용한 모바일 학습에서 에이전트의 사실성 수준이 의인화 효과 및 인지부하요인에 미치는 영향" 한국컴퓨터교육학회 15 (15): 55-64, 2012

5 류지헌, "이미지의 사실성과 학습자의 전문성이 학습용 에이전트의 의인화 효과에 미치는 영향" 한국감성과학회 15 (15): 47-56, 2012

6 나일주, "웹 기반 학습환경에서 그림자료와 텍스트 내용과의 관련성이 내용이해 및 학습만족도에 미치는 효과" 교육연구소 8 (8): 1-22, 2007

7 김남훈, "아이트래킹에 의한 가상 캐릭터의 스크린 레이아웃 연구" 한국디지털디자인학회 8 (8): 69-77, 2008

8 노경보, "시선 추적을 통한 학습 에이전트의 효과성 분석" 한국교원대학교 2013

9 류지헌, "시각단서의 유형과 학습용 에이전트의 사실성 수준이 인지부하요인과 학습성취에 미치는 효과" 한국교육공학회 27 (27): 507-533, 2011

10 김은주, "멀티미디어학습에서 캐릭터 에이전트의 활용이 사회적 실재감에 미치는 영향" 한국교육정보미디어학회 14 (14): 73-98, 2008

11 박성익, "멀티미디어 활용 학습에서 시각․청각 정보의 제시원리 탐색" 67 (67): 105-120, 2003

12 류지헌, "멀티미디어 학습자료 설계를 위한 인지부하 설문의 민감도 분석 및 학습 성취에 대한 예언변수 분석" 한국교육정보미디어학회 17 (17): 309-332, 2011

13 김은주, "멀티미디어 학습에서 캐릭터와 나레이션이 사회적 존재감과 학습동기에 미치는 영향" 국민대학교 대학원 2008

14 이동엽, "가상캐릭터에 얼굴표정 적용에 관한 연구 - 감성 유발 방식에 따른 생체신호를 중심으로 -" 한국디지털디자인학회 13 (13): 455-463, 2013

15 Clark, R. C., "e-Learning and the Science of instruction: Proven Guidelines for Consumers and Designers of Multimedia Learning" Pfeiffer 2011

16 Paas, F. G. W. C., "Variability of worked examples and transfer of geometrical problem-solving skills : A cognitive load approach" 86 (86): 122-133, 1994

17 Moreno, R., "Using virtual peers to guide visual attention during learning : A test of the persona hypothesis" 22 (22): 52-60, 2010

18 Marcus, N., "Understanding instructions" 88 (88): 49-63, 1996

19 Church, R., "The role of gesture in bilingual education: Does gesture enhance learning?" 7 (7): 303-319, 2004

20 Ryu, J., "The psychometric structure of pedagogical agent persona" 2 : 291-314, 2005

21 Valenzeno, L., "Teachers’ gestures facilitate students’ learning : A lesson in symmetry" 28 : 187-204, 2002

22 Pelachaud, C., "Studies on gesture expressivity for a virtual agent" 51 (51): 630-639, 2009

23 Baylor, A. L., "Pedagogical agent design: the impact of agent realism, gender, ethnicity, and instructional role intelligent tutoring systems" 268-270, 2004

24 Kalyuga, S., "Measuring knowledge to optimize cognitive load factors during instruction" 96 (96): 558-568, 2004

25 Carlson, R., "Learning and understanding science instructional material" 95 (95): 629-640, 2003

26 van Gog, T., "Instructional efficiency : Revisiting the original construct in educational research" 43 (43): 16-26, 2008

27 Wouter, P., "How to optimize learning from animated models : A Review of guidelines based on cognitive load" 78 (78): 645-675, 2008

28 Clark, R. C., "Five design principles for experiments on the effects of animated pedagogical agents" 32 (32): 209-225, 2005

29 Dianne, C. B., "Evaluating a realistic agent in an advice-giving task" 63 (63): 304-327, 2005

30 Heller, R., "Dynamic advancements in teaching and learning based technologies: New concepts" Information Science Reference 66-78, 2011

31 Domagk, S., "Do Pedagogical Agents Facilitate Learner Motivation and Learning Outcomes?" 22 (22): 84-97, 2010

32 Schnotz, W., "Construction and interference in learning from multiple representation" 13 (13): 141-156, 2003

33 Hoffman, B., "Conceptions of Efficiency: Applications in Learning and Problem Solving" 45 (45): 1-14, 2010

34 Lozano, S. C., "Communicative gestures facilitate problem solving for both communicators and recipients" 55 (55): 47-63, 2006

35 Schnotz, W., "Commentary : Towards an integrated view of learning from text and visual displays" 14 (14): 101-120, 2002

36 Leutner, D., "Cognitive load and science text comprehension : Effects of drawing and mentally imagining text content" 25 : 284-289, 2009