국내 대규모 영어 쓰기 평가에서의 자동채점의 적용 가능성 탐색

시기자(Kija Si),이용상(Yongsang Lee),박도영(Doyoung Park),임황규(Hwangkyu Lim),구슬기(Seulki Koo),박상욱(Sangwook Park),임은영(Eunyoung Lim) 한국교육평가학회 2013 교육평가연구 Vol.26 No.2

The purposes of this study are to test the performance of the KICE automated scoring system and explore how to apply this automated scoring system in the National English Ability Test (NEAT). The Level 2 writing test of the NEAT is composed of two items, and students' responses to these items are evaluated based on four rating domains: task completion, content, organization, and language use. In order to examine the performance of the automated scoring system, this study investigated the correlation and adjacent agreement between human scoring and automated scoring, rater severity using the many-facet Rasch model, test score reliability using G-theory, and scoring time and cost. Our study results clearly show that, in performance, the automated scoring is essentially equivalent to human scoring; and, in fact, the KICE automated scoring system is much more efficient than human raters in that it saves time and cost. Based on our findings, the current study suggests that a large corpus of Korean students be established, writing scoring standards be reformed, the efficiency of machine learning by adapting accurate standard scores be increased, and the development and complement of features be continued to improve the performance of the KICE automated scoring system. 본 연구의 목적은 국가영어능력평가시험 쓰기 자동채점 프로그램의 성능을 검증하여 공식적인 국가영어능력평가시험에서의 적용 가능성을 탐색하기 위한 것이다. 본 연구의 자동채점 대상인 국가영어능력평가시험 쓰기 2급은 일상생활에 관한 글쓰기(60 ~ 80단어 제한, 15분)와 자기 의견 쓰기(80 ~ 120단어 제한, 20분)의 두 문항으로 구성되어 있으며, 4개의 채점 영역(과제 완성, 내용, 구성, 언어 사용)별로 분석적인 채점이 이루어진다. 성능검증을 위해 인간채점과 자동채점에 따른 상관계수와 일치도 통계에 근거한 채점자 간신뢰도의 차이, 다국면 라쉬 모형에 근거한 채점자 엄격성의 차이, 검사점수의 일반화 가능도 계수의 차이, 시간 및 비용 차이 등에 대한 통계적 분석을 실시하였다. 성능 검증 결과, 자동채점이 인간채점과 유사한 수준의 성능을 보이는 것으로 확인되었으며, 특히 시간 및 비용의 효율성은 자동채점이 매우 우수한 것으로 나타났다.

다층문항반응이론 기반의 학교 간 차이 및 연도 간 변화 추이 분석 방안

박찬호(Chanho Park),시기자(Kija Si),박인용(In-Yong Park),구남욱(Namwook Koo) 한국교육평가학회 2015 교육평가연구 Vol.28 No.5

교육평가는 목적에 따라 다양한 수준에서 활용된다. 개인수준에서는 응시자의 능력을 측정하여 점수를 산출하거나 상태를 진단하는 데 활용될 수 있으며 집단 분석을 위해 사용될 수도 있다. 인지진단모형을 활용하여 국가수준 학업성취도 평가 응시자에게 진단적 정보를 제공함으로써 교수-학습에 유용하게 활용할 수 있듯이 학교수준의 진단정보 또한 교육적 가치를 지니며, 집단수준의 진단을 위해서는 그에 알맞은 적절한 방법론이 필요하다. 이 연구에서는 선행연구의 결과를 토대로 학교수준의 진단을 위한 방법론을 제시하였으며, 특히 선행연구에서 문제가 되었던 다분문항의 처리, 연도 간 비교가능성 등의 문제를 해결한 모형을 활용하였다. 국가수준 학업성취도 평가의 결과에 이 방법론을 적용한 결과 학교에 대한 진단 결과가 산출됨을 확인하였고 일부 학교를 대상으로 평가 결과를 유형화함으로써 어떻게 교육적으로 활용할 수 있는지 활용방안을 제시하였다. 또한 이 연구 결과가 교육정책의 마련 및 효과성 검증을 위해 어떻게 활용될 수 있는지도 함께 논의하였다. Educational evaluation can be utilized at various levels depending on the purposes. Individuals’abilities are scored or their states are diagnosed at an individual level, and groups can be analyzed at a group level. As diagnostic information can be obtained for the individual examinees of the National Assessment of Educational Achievement (NAEA), school-level diagnostic information can be useful for the schools. Appropriate methodology is necessary when the purpose of an assessment is diagnosis of groups. In this study, a methodology for group-level diagnostic assessment was proposed based on previous similar research studies. This methodology solved the problems with regard to comparison criteria, polytomous items, cross-year comparisons, etc. By applying this methodology to the NAEA results, diagnostic information was obtained for the schools, and educational utilization of the results was also presented by categorizing the schools' diagnoses. Also, it was discussed how the methodology can used for making educational policies and for validating their effectiveness.

생성형 AI 시대, 교육의 변화와 교육평가의 향방

성태제(Tae-Je Seong),시기자(Kija Si),최윤정(Youn-Jeng Choi) 한국교육평가학회 2024 교육평가연구 Vol.37 No.1

이 연구는 생성형 AI 시대를 맞이하여 교육과 기술의 접점에서 교육평가 패러다임 변화의 특징을 살펴보고, 미래 교육평가의 향방을 조망하는데 목적이 있다. 생성형 AI 시대에 대응한 교육과정, 교수⋅ 학습, 교육평가 패러다임의 변화 동향과 향후 과제를 제시하면 다음과 같다. 첫째, 생성형 AI가 보편화 됨에 따라 교사의 역할은 지식 전달자보다는 학생들의 전인적 성장을 촉진하는 안내자, 상담자로서의 역할이 강조될 것으로 예상되는 바, AI와의 협업을 통해 교사의 전문성을 확장시킬 수 있도록 교사의 AI⋅디지털 역량을 강화할 필요가 있다. 둘째, 개인의 적성과 흥미, 진로⋅직업과 관련된 개인화 교육 과정에 대한 요구가 증대되고 있어 학교 교육과정과 관련된 모든 구성원이 교육과정 설계의 주체가 되는 다중심성 교육과정 생성ㆍ공유 체제 마련이 필요하다. 셋째, AI 디지털 교과서 및 AI 디지털 교과 서와 연계한 AI 맞춤형 교수학습 플랫폼 구축 등 디지털화가 가속화됨에 따라 에듀테크 기반 교수⋅ 학습 방법의 교육적 효용성을 높일 수 있는 방안에 대한 교육 현장과의 소통 및 지속적 연구와 지원 이 필요하다. 넷째, 디지털 기술의 혁신적 발전으로 학습분석의 적용 범위가 확장되고 개인 맞춤형 평 가의 기반이 조성됨에 따라 개별 학생의 전인적 성장 지원을 위한 능력참조평가와 성장참조평가 및 협력적 문제해결력, 창의적 사고 등 미래 역량 함양을 위한 실제적 맥락에 기반한 수행평가와 게임이 재조명되고 있어 이를 활성화하기 위한 AI 기반 평가 체제에 대한 연구가 필요하다. 이 논문은 생성형 AI 등장에 따른 교육평가의 패러다임 변화와 교수학습 및 학생평가에 미치는 영향을 다면적으로 살펴 봄으로써, 교육 현장에 평가에 대한 새로운 관점과 통찰의 기회를 제공하는데 의의가 있다. The trends and future challenges in response to the era of generative AI for education, instructional methods, and the paradigm shift in educational assessment can be outlined as follows: First, as generative AI becomes more prevalent, the role of teachers is poised to shift from being mere knowledge transmitters to becoming guides and counselors, actively fostering the holistic development of students. Consequently, the importance of teachers' AI and digital competencies is anticipated to witness a substantial rise. Second, as the demand for personalized education-based on individual aptitude, interests, career paths, and vocational relevance grow, there is a need to establish a collaborative and shared system for creating and sharing a multi-perspective curriculum that involve all stakeholders in the school curriculum. Third, the digitization of instructional materials, such as AI digital textbooks and AI-integrated personalized teaching platforms, is accelerating. Therefore, ongoing communication with the field, continuous research, and support are necessary to enhance the educational effectiveness of education technology-based teaching and learning methods. Fourth, with the innovative development of digital technologies, there has been a renewed focus on ability-referenced assessments, growth-referenced assessments, and performance assessments and games based on real-world contexts. This requires research into AI-based assessment systems for effective implementation. By comprehensively examining the impact of the paradigm shift in educational assessment and its influence on instructional methods and student evaluations in the era of generative AI, the significance of this study lies in providing new perspectives and insights into assessment in the field of education.

검사 자동 구성을 위한 선형계획법과 가중편차법의 효율성 비교

박도영(Doyoung Park),임은영(Eunyoung Lim),박상욱(Sangwook Park),시기자(Kija Si),이용상(Yongsang Lee) 한국교육평가학회 2013 교육평가연구 Vol.26 No.1

본 연구는 검사 자동 구성(ATA)에 적용되고 있는 대표적인 알고리듬인 선형계획법(LP)과 가중편차법(WDM)의 알고리듬에 대한 이론적인 배경을 개관하고 상용 프로그램을 이용하여 두 알고리듬의 효율성을 비교하였다. 가상 및 실제 문제은행을 대상으로 8개 검사형을 자동 구성하였으며 목적함수를 설정하는데 있어서 b-모수 평균을 사용하는 방법과 능력수준별 검사정보를 사용하는 방법을 사용하였다. 분석 결과에 의하면, 전반적으로 LP가 WDM보다 우수한 성능을 보였고, LP로 ATA를 실시할 경우 어떤 목적함수를 사용하느냐에 따라 검사의 측정학적인 속성이 다르게 구성되는 것으로 나타났다. 검사의 측정학적인 동형성이 자동 구성의 주된 목적이라면 동형성과 관련된 가용한 측정학적 정보를 최대한 반영하여 목적함수를 설정해야 한다는 사실도 확인되었다. 자동 구성에 소요되는 시간의 경우 두 알고리듬 간에 큰 차이는 없었다. 마지막으로 본 연구의 제한점과 후속 연구에 대해 논의하였다. This study investigated the comparative efficiencies of Linear Programming (LP) and Weighted Deviation Method (WDM) algorithms applied to the Automated Test Assembly (ATA). By using commercial softwares, eight test forms were automatically constructed in simulated and real item bank conditions while applying two objective functions; the mean of b-parameters and the test informations at five ability levels. The results generally indicate that LP outperformed WDM. When LP was applied, it was confirmed that psychometric properties of multiple test forms differed depending on which objective function was used. It was also found that the objective function should, as much as possible, include the psychometric informations related to test parallelism, if the main purpose of the ATA is to create parallel test forms. Time consumptions for the ATA between LP and WDM were similar. Limitations of this study and future research topics were discussed, finally.