독립적 쓰기과제 에세이 자동채점 점수의 신뢰도 및 타당도: 일반형, 혼합형, 및 과제별 채점모델을 중심으로 = Reliability and Validity of Automated Essay Scores for Independent Writing Tasks: Generic, Hybrid, and Prompt-Specific Models

다국어 초록 (Multilingual Abstract)

The current study aims to examine the reliability and validity of automated essay scores from substantively different
types of scoring models for e-rater？？ in the context of scoring TOEFL independent writing tasks. Six different variants
of generic and hybrid models were created based on transformed writing data from three different samples of TOEFL？？ CBT prompts. These generic models (along with prompt-specific models) were used to score a total of
61,089 essays written for seven TOEFL？？ CBT prompts. The results of data analysis showed that (a) similar levels of
score agreement were achieved between automated and human scorer pairs and two human rater pairs, although the
automated scoring increased rating consistency across scorers (or scoring models) significantly, and (b) the human
rater scores turned out to be somewhat better indicators of test-takers’ overall ESL language proficiency than the
automated scores, particularly when TOEFL CBT section scores were used as validity criteria. The implications of
the findings are discussed in relation to the future use of automated essay scoring in the context of scoring ESL/EFL
learners’ essays.

국문 초록 (Abstract)

본 연구는, 토플시험의 독립적 쓰기 과제(independent writing task)의 채점을 염두에 두고 영작문 자동채점시스템인 이레이터(e-rater？？)를 사용해 일반형(generic), 혼합형(hybrid), 과제별(prompt-specific) 모형을 포함한 여러 자동화 채점모델을
만들어 보고, 이러한 채점모델들을 적용해 산출된 영어 쓰기 점수의 점수신뢰도와 타당도를 검증해 보는 데 그 목적이 있다.
이를 위해 컴퓨터기반 토플시험(TOEFL CBT) 쓰기과 제 은행에서 총 3개의 서로 다른 과제표본을 추출하고 아울러 이 쓰기과제들을 위해 쓰여진 토플 에세이의 변환점수를 사용해서 총 6 개의 일반형 및 혼합형 이레이터 자동채점모델들을 만들었다. 이런 과정을 통해 만들어진 총 6개의 일반형 및 혼합형 채점모형과 과제당 1개씩 별도로 만들어진 채점모델을 총 7개의 토플
쓰기과제들을 위해 작성된 61, 089개의 토플 에세이들을 채점하는 데 사용하였다. 데이터 분석 결과, (a) 비록 에세이 자동채점은 채점자(채점모델) 간 점수 일관성을 증대시키는 효과가 나타났지만 실제 자동채점기 대 인간 채점자 간 점수 일치도와
두 인간채점자 간 점수 일치도는 유사한 수준을 보였고, (b) 인간채점자 점수가 자동채점 점수보다는 수험자의 전반적인 영어숙달도의 좀 더 나은 지표로서 사용될 수 있음이 밝혀졌다. 아울러 본 논문에서는 앞으로 자동채점 기술이 영어를 제2언어
혹은 외국어로 배우는 학습자의 영어 에세이를 채점하는 데 사용될 때 본 연구의 분석결과가 어떤 함의를 가지게 되는지도 논의된다.

목차 (Table of Contents)

• Abstract
• 1. Introduction
• 2. Automated Scoring and Model-Building
• 3. Method
• 4. Results
• 5. Summary and Discussion
• 6. Conclusions and Avenues for Further Investigation
• Acknowledgements
• Works Cited
• 국문초록