포스트에디팅 교육 실행연구 : 석사과정 영한 포스트에디팅 수업 최적화 방안에 대한 고찰

다국어 초록 (Multilingual Abstract)

This study is an action research aimed to discover the most efficient and effective way to provide training in post-editing of machine translation for students in the master's courses for interpretation and translation. Post-editing differs from traditional human translation in that humans modify the machine-processed outcome. As a result, the knowledge and skills required to perform post-editing tasks can differ from those required for human translation. Therefore, it is arguable that a post-editing module should take a different approach from conventional translation training. In addition, Korean language differs much from Western languages in their morphology, syntax, and pragmatics. This means the quality of English to Korean machine translation outcome may not be so good as that of Western language pairs, potentially making the post-editing task even more challenging.
Therefore, it is necessary to deeply investigate the characteristics of English-to-Korean post-editing. However, there has been insufficient discussion on the distinctiveness of English-to-Korean post-editing, the necessity of post-editing training, what should be taught in the classroom, and how the training should be planned and delivered.
Therefore, this study would like to explore the uncharted research areas further to get closer to optimized post-editing training. In this journey, this study presumes it is safer to plan post-editing training within the established framework of translation training. It is well known that better translation training can be achieved with 1) needs analysis, 2) identification of objectives, 3) development of teaching methodologies, and 4) assessment of outcomes. Hence, this study poses a set of questions as follows:

1. Needs Analysis: What are the typical errors or behaviors students show when they perform a post-editing task for the first time?
2. Objective: What kind of knowledge and skills are needed to improve post-editing performance?
3. Teaching method: What kind of teaching and learning activities are required to secure the knowledge and skills?
4. Assessment: What is the best way to assess learning outcomes and how the teacher can utilize the assessment outcome to further improve the module and encourage students to learn more actively?

In order to seek answers to the questions, this research adopted an action research approach. Action research is known to be useful in narrowing the gap between knowledge and practice and in resolving the pending issues in any practices. The effectiveness of action research has been proven in many disciplines and translation studies is no exception. Based on the circular and repetitive nature of the approach, this study will provide a thick description how the planning, execution, and assessment of the post-editing module has evolved. as its scope and depth evolve.
In order to provide thorough descriptions and in-depth contemplation, this study, unlike in previous research, observed more than 80 students in total for more than three semesters and analyzed multiple data sources repetitively. Therefore, it is expected that this study can fill the research vacancy in English to Korean post-editing training and to build up the arguments of previous research.
In addition, faithful to the pedagogical objective of action research, the observations, analysis, and reflections made in this study will help the researcher to better understand post-editing and learn how to teach more effectively based on the interaction with students. In addition, students will be able to learn about the declarative and procedural knowledge about post-editing and improve their hands-on skills to perform post-editing better. As there have been only a few studies about English-to-Korean post-editing training, the details about ‘what to teach’ and ‘how to teach’ will be a good source of information for those interested in post-editing research or planning to create a module.
However, considering the evolutionary nature of action research, this study will continue even after the finalization of this thesis. That is why this research presents a set of future research items to further explore unresolved questions. The insights gathered in this study and future research will lay a solid foundation for better understanding about post-editing and truly optimized post-editing training.

목차 (Table of Contents)

• 제1장 서론 1
• 1.1 연구 개괄 1
• 1.2 연구 배경 4
• 1.3 연구 질문 7
• 1.4 연구 목표 및 기대 효과 11
• 제2장 선행 연구 16
• 2.1 포스트에디팅 개괄 및 주요 연구 현황 16
• 2.1.1 포스트에디팅 개괄 및 현황 16
• 2.1.2 주요 연구 영역 18
• 2.2 포스트에디팅 교육연구 23
• 2.2.1 언제 누구에게 가르칠 것인가 23
• 2.2.2 무엇을 가르쳐야 하는가 25
• 2.2.3 무엇을 활용하여 수업을 진행할 것인가 28
• 2.2.4 수업을 어떻게 진행해야 하는가 32
• 2.2.5 어떻게 평가해야 할 것인가 35
• 2.3 포스트에디팅 선행 연구 검토의 함의 39
• 2.4 실행연구 41
• 제3장 연구 방법 49
• 3.1 실행연구 적절성과 단점 극복 방안 49
• 3.2 수업의 배경 및 참여자 53
• 3.3 텍스트 및 도구의 선택 58
• 3.4 연구 기간 및 절차 62
• 3.4.1 연구 기간 62
• 3.4.2 연구 순환주기의 개괄 64
• 3.4.2.1 2017년 시범수업 64
• 3.4.2.2 사이클1 66
• 3.4.2.3 사이클2 68
• 3.5 데이터 수집 70
• 3.6 분석 및 평가 방법 73
• 제4장 시범수업 76
• 4.1 시범수업의 시작 77
• 4.2 시범수업의 구성과 실행 80
• 4.3 인간번역과 포스트에디팅 결과물의 텍스트 비교 분석 83
• 4.3.1 텍스트 및 분석대상 선정 84
• 4.3.2 생산성 비교 86
• 4.3.3 결과물 품질 비교 89
• 4.4 포스트에디팅 결과물 상세분석 93
• 4.4.1 결과물 문제점 분류 결과 93
• 4.4.2 인간번역과 포스트에디팅 공통의 문제 96
• 4.4.3 명백한 기계번역 오류의 미수정 99
• 4.4.4 포스트에디팅 수용성에 영향을 주는 요소 103
• 4.5 시범수업에 대한 성찰 108
• 4.5.1 포스트에디팅 수행의 개선 110
• 4.5.1.1 충분성 개선 110
• 4.5.1.2 낮은 수용성 개선 112
• 4.5.1.3 인간번역과 포스트에디팅 공통의 오류 113
• 4.5.1.4 생산성 114
• 4.5.2 수업 실행 요소 118
• 4.5.2.1 수업 진행 방식 118
• 4.5.2.2 피드백 119
• 4.5.2.3 평가 121
• 4.5.3 요약 및 제언 123
• 제5장 실행연구 사이클1 125
• 5.1 사이클1의 구성 126
• 5.2 충분성 개선을 위한 기계번역의 오류 중심의 수업 130
• 5.3 생산성 수용성 개선을 위한 가이드라인 중심의 수업 140
• 5.4 추가적 교육적 함의 도출을 위한 포스트에디팅 과정 관찰 151
• 5.5 수업 개선을 위한 사이클1 중간평가 관찰사항 159
• 5.5.1 포스트에디팅의 장점과 단점 분석 160
• 5.5.2 참여자들이 원하는 학습 방향성 165
• 5.5.3 평가 결과를 수업에 적용하기 167
• 5.6 사이클1의 성과 분석 169
• 5.6.1 결과물 분석 169
• 5.6.1.1 표집 데이터에 대한 전문가 품질 평가 170
• 5.6.1.2 생산성, 충분성, 수용성에 대한 선별적 전수조사 171
• 5.6.1.3 자동화 평가 179
• 5.6.2 기말고사 분석 185
• 5.6.2.1 기말고사 결과물 분석 186
• 5.6.2.2 기말고사 학습자 서술 문항 분석 191
• 5.6.2.3 학습자 설문 및 포커스그룹 분석 193
• 5.7 사이클1에 대한 성찰 197
• 제6장 실행연구 사이클2 204
• 6.1 사이클2의 목표 및 방향성 변화 205
• 6.1.1 사이클의 개괄 및 목표 205
• 6.1.2 학습자와의 소통을 위한 학습자 중심으로의 변화 209
• 6.1.3 결과물 주도적 수업에서 과정 중심으로의 변화 216
• 6.1.4 포스트에디팅 역량 정의를 위한 노력 224
• 6.2 사이클2의 주요 수업 개선 활동 232
• 6.2.1 포스트에디팅 가이드라인의 활용 방식 변화 232
• 6.2.2 포스트에디팅 수행 절차의 개선 240
• 6.2.3 포스트에디팅 수정 행위의 상세 분류 250
• 6.3 사이클2의 성과 분석 254
• 6.3.1 결과물 분석 255
• 6.3.1.1. 충분성과 수용성 256
• 6.3.1.2 생산성의 비교 264
• 6.3.1.3 표집 데이터에 필수 수정과 선호도에 의한 수정 평가 267
• 6.3.2 기말고사 분석 및 학습자 반응 274
• 6.3.2.1 기말고사 결과 분석 275
• 6.3.2.2 기말고사 학습자 서술 문항 분석 278
• 6.3.2.3 학습자 설문 및 포커스 그룹 인터뷰 280
• 6.3.2.4 강의평가 비교 286
• 6.4 사이클2에 대한 성찰 289
• 6.4.1 포스트에디팅 수행 개선을 위한 성찰 290
• 6.4.2 수업 실행 방식에 대한 성찰 293
• 6.4.3 차기 사이클을 위한 제언 296
• 제7장 결론 301
• 7.1 내용 요약 301
• 7.2 연구 질문을 중심으로 한 논의 311
• 7.2.1 포스트에디팅을 처음 경험한 학습자는 무엇을 어려워하고 어떤 오류를 범하는가 312
• 7.2.2. 포스트에디팅 무엇을 어떻게 교육해야 하는가 315
• 7.2.3. 무엇을 어떻게 분석 및 평가해야 하는가 324
• 7.3 기여 및 의의 329
• 7.4 연구의 한계 및 제언 333
• 참고문헌 336
• 부록 363
• 1. 연구 참여 동의서 363
• 2. 커멘터리 예시 364
• 3. 포스트에디팅 과제 예시 366
• 4. 중간고사 예시 371