자동채점 프로그램을 적용한 대규모 평가 사회과 서답형 문항 채점 및 결과 분석 = Automated Scoring and Analysis on the Scoring Result in Large-scale Social Studies Assessment

국문 초록 (Abstract)

본 연구는 대규모 평가에서 서답형 문항의 활용을 제고하고 채점의 효율화를 도모하기 위해, 사회과 문항을 포함한 단어. 구 수준의 서답형 문항 자동채점 적용의 타당성을 검증하고자 하였다. 이를 위해, 자동채점 프로그램을 국가수준 학업성취도 평가 사회과 서답형 문항의 채점에 적용하기 위한 절차를 탐색하고, 그에 따라 채점한 결과를 바탕으로 채점자 간일치도 측면에서 자동채점의 적용 타당성을 검토하였다. 더불어 자동채점 프로그램과 적용절차에 대한 사용자 편의성을 조사하여 향후 보완해야 할 사항을 범주화하였다. 그 결과, 채점자 간 채점 점수의 완전일치도가 평균 99.5%로 매우 양호하여 채점 결과의 정확성을 중시하는 고부담 대규모 평가에도 적정한 것으로 나타났다. 또한 단어·구 수준 자동채점 프로그램의 사용자인 채점자와 채점관리자를 대상으로 프로그램의 기능, 화면 구성 및 조작, 채점절차 측면의 만족도 조사 결과, 대부분 만족하여 편의성이 높은 수준으로 나타났다. 본 연구는 대규모 평가의 자동채점 적용에 대한 선도적인 연구로 새로운 평가 체제에 대비하여 채점의 효율성을 제고하는 데 기여할 것으로 기대한다

다국어 초록 (Multilingual Abstract)

The purpose of this research is to verify the validity of automated scoring application as a way to reduce scoring cost. For that purpose, the process for applying word- and phrase-level automated scoring program to constructed-response items in NAEA 2015 Social Studies is investigated, and the validity of automated scoring program is examined in terms of the exact agreement among raters about scoring results. In addition, the current research surveyed user-friendliness of the automated scoring program and its application process, and then categorized future complements for those. Consequently, it was revealed that the exact agreement rate among raters was 99.5% on average. This result indicates that the automated scoring is adequate for the large-scale high-stakes assessments. Furthermore, as a result of surveying satisfaction about function and screen composition of the program and automated scoring process, most raters and scoring supervisors showed high levels of satisfaction. As a leading research concerning the application of automated scoring to large-scale assessment, this research could contribute to raise the efficacy of scoring in preparation for a new assessment system.

참고문헌 (Reference)

1 노은희, "한국어 서답형 문항 자동채점 프로그램 개발 및 실용성 검증" 한국교육과정평가원 2014

2 노은희, "한국어 문장 수준 서답형 문항 자동채점 프로그램 개발 및 적용" 한국교육과정평가원 2015

3 김경희, "컴퓨터 기반 국가수준 학업성취도 평가 도입 방안" 한국교육과정평가원 2013

4 교육과학기술부, "직업기초능력평가 시범 평가 실시"

5 박일남, "정답 템플릿 작성 방식에 의한 한국어 서답형 문항 자동채점 시스템" 한국정보과학회 19 (19): 630-636, 2013

6 노은희, "대규모 평가를 위한 서답형 문항 자동채점 프로그램 정교화 및 시범 적용" 한국교육과정평가원 2013

7 노은희, "대규모 평가를 위한 서답형 문항 자동채점 방안 연구" 한국교육과정평가원 2012

8 Mullis, I. V. S, "eTIMSS Initiative"

9 Attali, Y., "Validity of scores for a developmental writing scale based on automated scoring" 69 (69): 978-993, 2009

10 Davies, B, "Trial of Automated Essay Scoring: New directions for National Assessment in Australia"

11 Winter, P. C., "The Utility of Online Mathematics Constructed-response Items:Maintaining Important Mathematics in State Assessments and Providing Appropriate Access to Students" Pacific Metrics Corporation 2012

12 Lottridge, S. M., "The AS Decision Matrix: Using Program Stakes and Item Type to Make Informed Decisions about Automated Scoring Implementations" Pacific Metrics Corporation 2013

13 Shermis, M. D., "State-of-the-art automated essay scoring: Competition, results, and future directions from a United States demonstration" 20 : 53-76, 2014

14 WCAL, "Short Answer Marking Engines"

15 Leacock, C., "Scoring of Free-responses Automatically: A Case Study of a Large-scale Assessment" 1 (1): 39-47, 2004

16 Bejar, I. I, "Rater Cognition: Implications for Validity" 31 (31): 2-9, 2012

17 Bennett, R. E, "Problem Solving in Technology-Rich Environments: A Report From the NAEP Technology-Based Assessment Project, Research and Development Series. NCES 2007-466"

18 Topol, B., "Pricing study Machine scoring of studentessays"

19 Streeter, L., "Pearson’s Automated Scoring of Writing, Speaking, and Mathematics" 2011

20 송미영, "OECD 국제 학업성취도 평가 연구: PISA 2015 예비검사 시행 결과 보고서" 한국교육과정평가원 2014

21 Shermis, M. D., "Handbook of Automated Essay Evaluation:Current Applications and New Directions" Routledge 2013

22 Smarter Balanced Assessment Consortium, "Field Test: Automated Scoring Research Studies in accordance with Smarter Balanced RFP 17"

23 ETS, "ETS Automated Scoring Technologies" ETS 2010

24 Shermis, M. D., "Contrasting State-of-the-art in the Machine Scoring of Short-form Constructed Responses" 2013

25 Shermis, M. D., "Contrasting State-of-the-art Automated Scoring of Essay: Analysis" 2012

26 Powers, D, "Comparing the Validity of Automated and Human Essay Scoring"

27 Dikli, S., "An Overview of Automated Scoring of Essays. The Journal of Technology" 5 (5): 4-35, 2006

28 Rudner, L. M., "An Evaluation of the IntelliMetricSM Essay Scoring System" 4 (4): 2006

29 ACARA NASOP Research Team, "An Evaluation of Automated Scoring of NA PLAN Persuasive Writing"

30 교육부, "2015개정 사회과 교육과정"

31 교육과학기술부, "2009개정 사회과 교육과정"