(An) Event-Related fMRI Study of Bilingual Lexical Processing and Cross-linguistic Interaction

국문 초록 (Abstract)

본 연구는 이중 언어 사용자인 실험 참가자들이 모국어와 외국어 단어 매칭 과제를 수행하면서 관찰할 수 있는 인지 과정과, 서로 다른 감각 자극을 통한 언어 양식 변경의 과정에서 나타날 수 있는 뇌 활동 변화 양상을 조건 별 비교 및 조사하기 위해 시행되었다. 실험 참가자들은 네 가지 조건 KK(한글-한글), KE(한글-영어), EE(영어-영어), EK(영어-한글)로 구성된 단어 매칭 과제를 수행하였다. 행동 실험에서는 모든 조건에서의 실험 참가자들의 반응 시간과 정확도에 초점을 맞추어 두 변수 간의 연관성을 발견하였는데, 이는 EK 그리고 EE 조건에서 가장 두드러지게 드러났으며, 전체 반응 시간의 주요 효과 역시 분산분석 검정을 통해 확인할 수 있었다. 부적 상관 또한 확인되었으며, 이는 KE 조건에서 가장 두드러졌고 속도 정확도 교환 효과로 인한 결과로 추정할 수 있었다. 자기 공명 영상 기계를 이용한 실험에서는, 하방 후두회, 중앙 전두회, 중앙 후두골 회 등의 영역에서 강한 신호를 확인할 수 있었으며, 이는 각 조건 별 대조 모두에서 확인할 수 있었다. 이 결과는 신호 강도의 차이와 복셀 개수의 차이는 존재하나, 단어를 번역하거나 소리와 같이 들리는 단어를 매칭하는 과정 중에 비슷하거나 동일한 뇌 영역이 사용되었다는 점을 확인시켜준다. 활성화된 영역은 EE, KK, EK 그리고 KE의 네 가지 조건에서 대체적으로 중복되었으나 혈류 산소 수준 신호가 감소된 영역에 있어서는 차이를 보였으며, 해당 영역의 경우 번역 과제 중 강한 신경 활동에 의해 영향을 받았거나 상대적으로 적은 신경 활동이 필요한 것으로 추측하였다. 청각과 시각 두 감각 모달리티를 주관하는 어휘 망이 외국어를 처리할 때 더 많은 신경 활동을 필요로 한 영역은 설회, 하방 후두회 영역으로 나타났다. 또한 우리는 주어지는 자극이 단순히 제 2 외국어라는 점은 실험 결과에 큰 영향을 끼치지 못하였으며, 소리로 주어진 제 2 외국어 자극을 모국어로 번역할 때 더 많은 신경 활동을 필요로 하였다는 사실을 확인할 수 있었다. 본 연구를 통해 감각 모달리티마다 다른 심적 어휘가 존재할 수 있는 가능성을 발견할 수 있었다.

다국어 초록 (Multilingual Abstract)

The issues related to the bilingual lexical processing are primarily concerned with the rapid involvement of phonological code, orthographic calculation, and semantic processing. We investigated the bilinguals’ cognitive processing during a word-matching task, as well as language-switching during the same or different sensory type of linguistic stimuli. Participants performed a word-matching task consisted of four experimental conditions, each involving a pair of auditory and visual stimulus, KK(Korean-Korean), KE(Korean-English), EE(English-English), EK(English-Korean). In a behavioral experiment, we focused on the participants’ reaction time and percentage accuracy and found significant correlations between those two in EK and EE as well as the main effect in the reaction time by analysis of variance. The negative correlation was also found in each condition; especially the strongest one was found in KE, suggesting an occurrence of speed-accuracy tradeoffs.
In fMRI experiment, there were robust activations in inferior occipital gyrus, middle frontal gyrus, middle occipital gyrus in Trans>Cis, Cis>Trans, and E>K contrasts showing robust activations in those regions during the task. Regions of activation were mostly overlapped in four conditions. However, there was a distinct difference in the areas showing decreased BOLD signals indicating that although the usage of the particular regions was similar or the same, the difference in the regions of reduced neural activities may have affected by strong neural activities or did not require neural activity as much as other regions. The results suggest that although our brain recruited functionally related areas for L1 and L2 translation, there was a distinct difference in the areas of decreased activation. We were able to check on the bimodal lexical network during L2 processing requiring more neural activities in particular areas such as lingual gyrus, inferior occipital gyrus, and BA 17 area. It is worth noting that the bimodal stimuli had affected differences in RTs, especially in EK and KE, also when the auditory stimulus was given in the second language, cortical areas including abovementioned showed robust activations to translate it into their familiar language. Therefore, we propose that the possibility of bimodally existing mental lexicon should be considered in this regard.

목차 (Table of Contents)

• Contents
• Chapter 1. Introduction 1
• 1.1. Background and Purpose of Study 1
• 1.2. Language Processing in L1 and L2 5
• 1.3. Approaches towards Bilingual Mental Lexicon 9
• Chapter 2. Behavioral Experiment 13
• 2.1. Participants 13
• 2.2. Stimuli and Design 13
• 2.3. Results 15
• 2.4. Discussion 18
• Chapter 3. fMRI Experiment 21
• 3.1. Participants 21
• 3.2. Stimuli and Design 21
• 3.3. Image Acquisition and Data Analysis 22
• 3.4. Results 22
• Chapter 4. Discussion 32
• 4.1. Overall Functional Connectivity 32
• 4.2. Multimodal Language Processing 35
• 4.3. The Regions of Strong Activation and Decreased activation 38
• Chapter 5. Conclusion 41
• Bibliography 43
• 초록 54