기계 번역과 ChatGPT의 활용이 EFL 고등학생의 영어 쓰기 교정에 미치는 영향 : Coh-Metrix 분석과 오류 분석을 중심으로 = The Effects of Using Machine Translation and ChatGPT on EFL High School Students' English Writing Revision: Based on Coh-Metrix Analysis and Error Analysis

국문 초록 (Abstract)

본 연구는 EFL 환경에서 고등학생들의 영어 쓰기 교정에 기계 번역기와 ChatGPT의 피드백이 미치는 영향을 조사하였다. 과정 중심의 유도 작문 활동에서 학생들을 세 그룹으로 나누어 직접 혹은 구글 번역기나 ChatGPT를 활용하여 자신의 영어 초고를 교정하도록 하였다. 그 후 학생들의 최종 글을 총체적으로 채점하고, Coh-Metrix를 활용하여 언어적 복잡성을 분석하였으며, 쓰기 오류를 파악하고 분류하였다. 연구 결과는 다음과 같다.
총체적 채점 결과, ChatGPT로 교정한 글이 완성도 측면에서 가장 뛰어나며, 기계 번역기와 ChatGPT 같은 AI 도구가 유창하고 정확한 글 작성을 돕는 것으로 나타났다. 또한, 글을 직접 교정한 학생 중에는 문장이나 단락을 완성하지 못하는 경우가 많았던 반면, 기계 번역기를 사용한 학생들은 좀 더 완성된 문장으로 자신의 의견을 표현하였다. Coh-Metrix 분석 결과, ChatGPT를 활용한 글은 직접 교정한 글보다 많고 다양한 단어를 사용하였으며, 수준 높은 문장 구조를 활용하여 평균적으로 긴 문장을 작성하였다. 명사와 내용어 중복을 통해 기계 번역기보다 응집력이 높은 글을 작성하는 경향도 보였다. 그러나 ChatGPT의 결과물은 상황에 따라 지나치게 장황하거나 학생의 영어 실력에 따라 이해가 어려울 수 있다는 점이 드러났다. 마지막으로, 기계 번역기와 ChatGPT의 활용은 학습자의 쓰기 오류 발생 빈도를 낮추었다. 직접 교정한 글과 비교하여, 두 도구를 활용하였을 때 형태적 오류(관사, 동사 형태, 주어-동사 불일치, 전치사, 단어 형태) 뿐만 아니라 기계적 오류, 문장 구조 오류, 잘못된 번역 오류의 발생 빈도가 낮았다. 특히 ChatGPT는 문맥을 고려하고 언어를 생성하는 기능을 바탕으로 문장 구조 오류를 효과적으로 교정하였다.
연구 결과를 바탕으로, EFL 쓰기 교육에 기계 번역기와 ChatGPT를 활용하기 위하여 다음의 네 가지 교수 방법을 제안하였다. 우선, 교사는 학생들에게 도구의 특징과 활용 방법을 소개하고 학생들이 사용할 도구를 직접 선택하게 한다. 과정 쓰기 단계별로 적절한 도구를 혼합하여 활용하도록 지도할 수도 있다. 또한, 교사는 학생들이 결과물을 재검토하고 언어 지식을 활용할 기회를 제공해야 한다. 즉, 학생들이 ChatGPT의 결과물을 의미 있는 문장으로 재구성하고 자신만의 예문을 만들 수 있도록 도와주어야 한다. 뿐만 아니라, 학생들이 초고를 작성하기 전에 한국어 문장을 정확하게 작성하도록 지도해야 한다. 끝으로, 간결하고 구조화된 글을 작성하는 방법을 가르치고, 학생들과 함께 ChatGPT 결과물을 평가하며 비판적 사고를 촉진해주어야 한다.

다국어 초록 (Multilingual Abstract)

This study investigated the impact of machine translation and ChatGPT's corrective feedback on the English writing performance of high school students in an EFL environment. Before starting repeated process-oriented guided composition activities, students were divided into three groups to directly correcting their own English drafts, using either Google Translate or ChatGPT. Students were assigned argumentative writing topics that were related to the lessons in the textbook. After the writing activities, the students' final compositions were comprehensively assessed, their linguistic complexity was analyzed using Coh-Metrix, and writing errors were identified and categorized into 12 types.
The research findings are as follows: ChatGPT-corrected compositions demonstrated the highest quality among three types of final compositions. This indicates that AI tools such as machine translation and ChatGPT assist in fluent and accurate writing. Students who self-corrected their writings often encountered difficulties in completing sentences or paragraphs, whereas those using machine translation produced more polished sentences expressing their opinions clearly.
Coh-Metrix analysis revealed that ChatGPT-corrected compositions employed a greater variety of vocabulary, more complex sentence structures, and generally longer sentences compared to self-corrected compositions. They tend to keep cohesion through noun and content word repetition, indicating higher coherence than machine-translated texts. However, it was noted that ChatGPT-generated outputs could be excessively verbose and might pose comprehension challenges depending on students' English proficiency levels.
Lastly, the utilization of machine translation and ChatGPT in error analysis demonstrated a reduction in the frequency of writing errors among learners. When comparing compositions corrected by these tools with those self-corrected, there was a lower occurrence of structural errors (articles, verb forms, subject-verb agreement, prepositions, word forms), mechanical errors, sentence structure errors, and incorrect translation errors. Particularly, ChatGPT effectively corrected sentence structure errors based on context and language generation capabilities.
Based on the research findings, four proposals were put forth for incorporating machine translation and ChatGPT into EFL writing education. First, teachers should introduce students to the features and usage of these tools, allowing students to independently select their preferred tool. It can also be encouraged to guide students to combine machine translation and ChatGPT by employing suitable tools across different stages of the writing process. In addition, teachers should provide opportunities for students to review their outputs and apply their language knowledge. It is crucial to assist students in restructuring ChatGPT suggestions into meaningful sentences and making their own examples. Moreover, guiding students to accurately compose Korean sentences before writing their drafts is recommended. Lastly, teachers should impart techniques for concise and structured writing while fostering students’ critical thinking by evaluating ChatGPT outputs collaboratively.

목차 (Table of Contents)

• 표 목차 ⅲ
• 그림 목차 ⅳ
• 국문 초록 ⅴ
• Ⅰ. 서론 1
• 1.1. 연구의 필요성 및 목적 1
• 1.2. 연구 질문 3
• Ⅱ. 이론적 배경 4
• 2.1. 우리나라 영어 쓰기 교육 실태 4
• 2.1.1. 우리나라 영어 학습자의 쓰기 수준 4
• 2.1.2. 우리나라 영어 쓰기 교육 현황 5
• 2.2. 기계 번역기 활용 영어 쓰기 교육 6
• 2.2.1. 기계 번역기 활용 영어 쓰기 교수·학습 6
• 2.2.2. 기계 번역기 활용 영어 쓰기 피드백 8
• 2.3. ChatGPT 활용 영어 쓰기 교육 9
• 2.3.1. ChatGPT 활용 영어 쓰기 교수·학습 10
• 2.3.2. ChatGPT 활용 영어 쓰기 피드백 11
• 2.4. 피드백 도구 간의 정확성 비교 13
• Ⅲ. 연구 방법 15
• 3.1. 연구 대상 15
• 3.2. 연구 수업 설계 16
• 3.3. 자료 분석 방법 19
• 3.3.1. 총체적 채점 19
• 3.3.2. Coh-Metrix 분석 21
• 3.3.3. 오류 분석 23
• Ⅳ. 연구 결과 및 논의 27
• 4.1. 총체적 채점 결과 27
• 4.2. Coh-Metrix 분석 결과 33
• 4.2.1. 기초 산출치 33
• 4.2.2. 텍스트 용이성 34
• 4.2.3. 지시적 응집성 36
• 4.2.4. 잠재 의미 분석 39
• 4.2.5. 어휘 다양성 42
• 4.2.6. 연결어 발생률 43
• 4.2.7. 통사적 복잡성 44
• 4.2.8. 단어 정보 46
• 4.3. 오류 분석 결과 48
• 4.3.1. 형태적 오류 48
• 4.3.2. 어휘적 오류 57
• 4.3.3. 구조적 오류 62
• 4.3.4. 기계적 오류 65
• 4.3.5. 번역 오류 67
• Ⅴ. 결론 72
• 5.1. 결론 및 제언 72
• 5.2. 제한점 80
• 참고문헌 82
• 부록 90
• Abstract 104
• 연구윤리 서약서 106
• Declaration of Ethical Conduct in Research 107