모바일 커뮤니케이션의 메시지 정서 해석에서 텍스트와 이모티콘의 역할 : ERP 연구 = The role of text and emoticon for the emotional interpretation of message in mobile communication : An ERP Study

국문 초록 (Abstract)

우리의 일상에서 의식하거나 혹은 의식하지 않고도 이루어지는 수많은 커뮤니케이션의 본질은 ‘의미의 공유’와 ‘정서적 교류’이다. 면대면 커뮤니케이션에서는 몸짓과 표정 등으로 커뮤니케이션을 더욱 풍부하게 만들고, 자신이 전달하고자 하는 메시지와 정서 상태를 효과적으로 드러낸다. 컴퓨터나 모바일을 매개로 한 커뮤니케이션에서는 그러한 비언어적 정보를 이모티콘(Emoticon)을 통해 전달하며, 특히 모바일 메신저 애플리케이션(MIM)을 이용한 커뮤니케이션 상황에서 이모티콘의 사용은 매우 빈번하다. 이모티콘은 면대면 커뮤니케이션 상황의 몸짓이나 목소리, 표정과 같은 비언어적 정보를 대체할 수 있으며, 정서를 표현하고 전달하는 정보로서 기능한다.
본 연구에서는 모바일 커뮤니케이션 환경의 정서적 교류, 특히 메시지 수신자의 메시지 정서 해석에 주목하였다. 수신자가 텍스트(언어 정보)와 이모티콘으로 구성된 메시지의 정서를 해석할 때, 두 정보의 상호작용 양상 및 이모티콘의 정서적 영향력을 사건관련전위(Event-Related Potential) 실험으로 알아보고자 하였다. 이를 위해 텍스트(언어 정보)와 이모티콘이 모두 정서를 포함하는 정보라고 보고, 두 정보를 하나의 메시지로 구성하였다. 그리고 두 정보의 정서 범주 조합에 따라 수신자의 메시지 정서 해석이 달라질 것이라고 예측하였다. 텍스트의 정서 범주(긍정/중립/부정)와 이모티콘의 정서 범주(긍정/부정)의 조합에 따라 실험 조건을 구성하였고, 피험자가 제시된 실험 재료의 정서 범주를 판단하는 동안 피험자의 뇌파가 기록되었다.
실험 결과, 정서 일치 조건에서 정서 강화 효과(Enhancement effect)에 의한 빠른 판단 시간과 정서 불일치 조건에서의 이모티콘이 정서적 영향력을 가짐을 확인하였다. 또한, 부정적 요소에 의한 부정성 범주 판단(부적 편향; Negativity effect)을 발견하였다.
본 연구에서는 정서 자극의 처리에 관여하는 초기 ERP 성분인 N1, P2와 후기 ERP 성분인 N400, LPP가 검출되었다. 특히 N400은 의미적 내용의 일치성 및 기대의 위반에 따른 놀람을 반영하고, LPP는 지속적인 주의 할당 및 정서 평가를 반영한다. ERP 성분이 검출되는 일련의 순서를 통해 정서 불일치 조건에서 행동반응 결과만으로는 알 수 없었던 인지 처리 과정을 확인할 수 있었다. 뇌의 인지적 반응은 행동반응 결과와는 다를 수 있으며, 특히 뚜렷하게 드러나지 않았던 이모티콘의 정서적 영향력을 ERP 성분을 통해 확인하였다. 특히 긍정 이모티콘에 대해 검출된 N400을 통해 부정 이모티콘이 가진 중의성 또는 다의적 해석 가능성을 논하였다. 또한 메시지의 정서 해석이 일련의 단계를 따라 처리되며, 후기 ERP 성분을 통해 그러한 과정에서 발생하는 인지적 부담을 확인하였다.
본 연구를 통해 인지적 차원에서부터 이모티콘의 정서적 영향력이 작용하고, 메시지를 구성하는 텍스트(언어 정보)와 이모티콘의 상호작용이 수신자의 메시지 정서 판단에 영향을 줄 수 있음을 확인하였다. 특히 인지 신경 과학적 접근을 통해 융복합 연구를 진행하여 모바일 커뮤니케이션 수신자의 메시지 정서 해석 과정을 밝히고, 인지적 차원의 메시지 정서 처리 과정에 대한 이해를 높였다는 것에 본 연구의 의의가 있다.

다국어 초록 (Multilingual Abstract)

The nature of communication relies on the exchange and share of meaning and emotion with communicative partners in our daily life. In Face-to-Face communication, people make gestures and facial expressions to express their messages and emotion effectively. In recent communication such as computer mediated communication(CMC) or mobile communication(MIM communication), people frequently make use of a graphic representation, so-called ‘Emoticon’, to express their emotion and facial expressions in their communication with others, instead of bodily actions, voices and facial expressions.
The purpose of the study is to explore how receivers interpret those emotional messages letting out from their communicative partners, expecially in the context of the mobile communication. For this goal, an ERP experiment was conducted to examine the emotional influence elicited by text and an emoticon, and their interaction. The study assumed that both texts and emoticons would have a function to deliver emotional information, together and/or independently, when these two constituents are formed into one message. Thus, I predicted that the degree of how sensitively receivers could detect the emotion from the messages that they get would be the function of the degree to which each category of the emotional messages are contributed to combining the meaning of an unified message.
I conducted and ERP experiment, 3 emotional categories of a text (Positive/Neutral/Negative) × 2 emotional categories of emoticon (Positive/Negative), in which EEGs were recorded during emotional category judgement tasks. Participants were read the messages, and were judged about the messages' emotional category.
The behavioral result showed an enhancement effect in emotional congruent messages and the emotional effect of emoticon in emotional incongruent messages. Also, a negativity effect was founded that caused by negative elements. The ERP results revealed significant effects at the early ERP components like N1, P2 and at the late ERP components like N400, LPP in the processing of the emotional stimuli. Importantly, the effects observed at the late components occurred only in the neurological responses but not in the behavioral responses. In particular, the N400 effect emerged when participants processed positive emoticons suggested that negative emoticons might have ambiguous and polysemous interpretation. Also, I argued that the interpretation of emotion is processed serially and processors’ cognitive burden appeared in the late ERP components.
In short, the results of the present study showed that the emotional influence of emoticons worked on cognitive dimensions and that the effect of the verbal information and that of the emoticon information interacted each other on the detection of receivers’ emotion in response to messages. The significance of this study is that I investigated the process of how to interpret the emotional state in the processing of messages in mobile communication, by conducting an interdisciplinary study with the perspective of cognitive science.

목차 (Table of Contents)

• 제1장 서론 1
• 제1절 연구 배경 및 목적 1
• 제2절 본 논문의 구성 5
• 제2장 이론적 배경 6
• 제1절 정서 6
• 1. 정서 - 기본 개념과 이론 6
• 2. 보편 정서와 기본 정서 9
• 제2절 커뮤니케이션과 정서 10
• 제3절 웹 3.0 시대의 커뮤니케이션과 이모티콘 12
• 1. 컴퓨터 매개 커뮤니케이션(CMC)과 모바일 인스턴트 메신저(MIM) 12
• 2. 대화의 개념 확장 13
• 3. 이모티콘 15
• 제4절 사건관련전위(ERP) 실험과 정서 연구 17
• 제5절 선행 연구 - 이모티콘과 정서 23
• 1. 발신자 입장의 연구 23
• 2. 수신자 입장의 연구 24
• 3. 인지 신경 과학적 접근 연구 26
• 제3장 실험 연구 29
• 제1절 연구 문제 29
• 제2절 실험 연구의 구성 30
• 제3절 오프라인 사전 실험 31
• 1. 실험 재료 32
• 2. 실험 내용 및 절차 33
• 3. 실험 결과 33
• 제4절 ERP 실험 34
• 1. 참가자 34
• 2. 사전 설문지 35
• 2.1 사전 설문지 개요 35
• 2.2 사전 설문지 결과 36
• 3. 실험 재료 37
• 4. 실험 가설 39
• 5. 실험 절차 42
• 6. ERP 기록 44
• 7. 데이터 분석 방법 44
• 제5절 실험 결과 46
• 1. 행동반응 결과 - 정서 범주 판단 과제 46
• 1.1 판단 시간 (Delayed Reaction Time) 46
• 1.2 범주 판단 48
• 2. ERP 실험 결과 50
• 2.1 100∼200ms 시간 구간 51
• 2.2 250∼500ms 시간 구간 54
• 2.3 750∼950ms 시간 구간 56
• 제6절 종합 논의 60
• 제4장 결론 66
• 참고문헌 67
• 부 록 76
• ABSTRACT 93