잠재분포를 활용한 IRT 분류정확도 추정 : 2-요소 정규혼합분포를 중심으로

다국어 초록 (Multilingual Abstract)

Classification accuracy, which can be considered as the validity of criterion-referenced test, is a useful and essential information in test development and utilization of results, as it represents the accuracy of classifying examinees based on their achievement levels. As a result, several methods have been proposed to estimate classification accuracy and particularly, research on classification accuracy estimation using IRT has been actively conducted since the 2000s. According to previous studies, it has been observed that the estimation of IRT classification accuracy is influenced by several factors associated with the test. Additionally, examinees’ ability distribution has also been identified as another influencing factor in this regard. In practice, the assumption of normality for the examinees’ ability distribution is often inappropriate in educational evaluation or psychometric data.

Despite the frequent occurrence of violations of the normality assumption regarding the examinees’ ability distribution, which can impact the estimation of classification accuracy, there has been a lack of systematic attempts to investigate the influence of various examinees’ ability distributions on the IRT classification accuracy estimation methods. In particular, the Guo method, which is difficult to find previous studies on, is also susceptible to the non-normality of examinees’ ability distribution. The Guo method assumes a non-informative prior distribution when estimating the posterior distribution, which represents the latent distribution of examinee. This makes it difficult to reflect the non-normality of examinees’ ability distribution. Furthermore, IRT classification accuracy estimation methods, including the Guo method, require accurate parameter estimation. To achieve this the estimation of parameters can be performed using the MMLE-EM method, and in MMLE, the analysis is typically conducted under the assumption that the latent distribution follows a normal distribution. However, the assumption of normality for the examinees’ ability distribution is often inappropriate. In such cases, assuming that the latent distribution follows a normal distribution can increase bias in parameter estimation and hinder accurate estimation of classification accuracy.

In other words, it was necessary to verify whether accurate classification accuracy estimation is possible through the IRT classification accuracy estimation methods in cases where the assumption of normality is inappropriate. Moreover, in MMLE, it is possible to estimate the latent distribution along with parameter estimation in order to reduce the bias in parameter estimation. It was expected that by using the estimated latent distribution to estimate classification accuracy, it would better reflect the non-normality of the examinees’ ability distribution compared to the Guo method, which assumes a non-informative prior distribution.

In this study, a new method (referred to as the 2NM method) for estimating classification accuracy was proposed by using the the estimated latent distribution obtained through the latent distribution estimation method assuming the two-component normal mixture distribution.

The purpose of the simulation study was to examine the accuracy of the 2NM-latent distribution estimation, which is a prerequisite for utilizing the 2NM method. Additionally, the performance of the 2NM method was compared to that of the existing IRT classification accuracy estimation methods under the simulation conditions. To this end, the simulation study was designed with various conditions including examinees’ ability distribution, test length, sample size, ability estimation method, and cut-score location. The goal was to examine the accuracy of the 2NM-latent distribution estimation method based on different examinees' ability distributions and test lengths. Additionally, the study aimed to investigate the differences in classification accuracy estimates obtained from three methods based on variations in the examinees’ ability distribution, cut-score location, test length, and ability estimation method. Furthermore, to assess the stability and accuracy of the three classification accuracy estimation methods, the study calculated the standard error of estimate, bias, and root mean square error based on the true classification accuracy index under different simulation conditions.

The results and conclusions of this study are as follows : First, 2NM-latent distribution estimation method can handle not only normal distribution but also various non-normal distributions with flexibility. It has demonstrated stable and accurate estimation of the latent distribution. Secondly, in non-normal situations where skewness and bimodality are present, the 2NM method has been shown to outperform other methods. Thirdly, the difference between the 2NM method and other methods became even more pronounced when the test length was shorter. Lastly, the 2NM method did not show any significant difference in ability estimation method, whereas the choice of ability estimation method should be carefully considered for the other methods depending on the situation.

국문 초록 (Abstract)

준거참조검사의 타당도라 할 수 있는 분류정확도는 피험자 성취 수준 분류 결정의 정확성을 나타내는 지표로 검사 개발 및 결과 활용에 있어 유용하며 필수적으로 파악해야 하는 정보이다. 이에 따라 여러 분류정확도 추정 방법이 제안되었고 특히, IRT 분류정확도 추정 방법에 관한 연구가 2000년대 이후 활발하게 진행되었다. 선행 연구에 따르면 IRT 분류정확도 추정 방법은 검사와 관련된 여러 요인에 영향을 받으며, 피험자 능력 분포 또한 영향을 미치는 요인인 것으로 나타났다. 그리고 교육평가 및 심리측정 분야에서 피험자 능력 분포에 대한 정규성 가정이 부적절한 경우가 많았다.

이처럼 분류정확도 추정에 영향을 미칠 수 있는 피험자 능력 분포에 대한 정규성 가정의 위배 상황이 빈번하게 나타남에도 불구하고, 다양한 피험자 능력 분포가 IRT 분류정확도 추정 방법에 미치는 영향력을 체계적으로 규명하려는 시도는 부족하였다. 특히, 선행 연구를 찾아보기 어려운 Guo 방법 역시 피험자 능력 분포의 비정규성에 영향을 받을 가능성이 있었다. Guo 방법에서는 피험자의 잠재분포 즉, 사후분포를 구할 때 무정보적 사전분포를 가정하기에 피험자 능력 분포의 비정규성을 반영하기 어려울 수 있기 때문이다. 또한, Guo 방법을 포함한 IRT 분류정확도 추정 방법에는 정확한 모수 추정이 필요한데. 이를 위해 MMLE-EM 방법이 사용될 수 있고 MMLE에서는 기본적으로 잠재분포가 정규분포를 따른다는 가정하에 분석이 이루어진다. 하지만, 정규성 가정이 부적절한 경우가 많고 이때, 잠재분포가 정규분포를 따른다고 가정하면 편의가 증가해 분류정확도의 정확한 추정을 저해할 수 있는 것으로 나타났다.

다시 말해, 정규성 가정이 부적절한 상황에서 IRT 분류정확도 추정 방법을 통해 정확한 분류정확도 추정이 가능한지 확인할 필요가 있었다. 또한, MMLE에서는 모수 추정의 편의를 줄이기 위해 잠재분포를 함께 추정할 수 있는데 추정된 잠재분포를 활용하여 분류정확도를 추정한다면 무정보적 사전분포를 가정하는 Guo 방법에 비해 피험자 능력 분포의 비정규성을 더욱 제대로 반영할 수 있을 것으로 기대되었다.

이에 본 연구에서는 2요소-정규혼합분포를 가정한 잠재분포 추정 방법을 통해 추정된 잠재분포를 활용한 IRT 분류정확도 추정 방법(2NM 방법)을 새롭게 제안하였다.

모의실험의 목적은 2NM 방법을 활용하기 위한 전제 조건인 2NM-잠재분포 추정 방법의 정확성을 확인하고, 2NM 방법의 성능을 모의실험 조건에서 기존의 IRT 분류정확도 추정 방법과 비교하는 것이다. 이를 위해 잠재분포 및 분류정확도 추정에 영향을 미칠 수 있는 요인들로 모의실험 조건을 구성하여 피험자 능력 분포와 검사 길이에 따른 2NM-잠재분포 추정 방법의 정확성을 확인하고, 세 방법으로 산출한 분류정확도 추정치가 피험자 능력 분포와 분할점수 위치, 검사 길이 그리고 능력추정법에 따라 어떠한 차이 및 상호작용 효과를 보이는지 살펴보았다. 또한, 세 방법의 분류정확도 지수 추정에 대한 안정성과 정확성을 판단하기 위해 진 분류정확도 지수를 활용하여 모의실험 조건에 따른 추정의 표준오차, 편의, 평균 제곱근 오차를 계산하였다.

본 연구의 결과 및 결론은 다음과 같다. 첫째, 2NM-잠재분포 추정 방법은 정규분포뿐만 아니라 여러 비정규분포에 유연하게 대처해 안정적이고 정확하게 잠재분포를 추정하였다. 둘째, 편포 및 이봉성이 나타나는 비정규 상황에서는 2NM 방법이 다른 두 방법에 비해 성능이 우수한 것으로 나타났다. 셋째, 검사 길이가 짧을수록 2NM 방법과 다른 방법 간 차이는 더욱 크게 나타났다. 넷째, 2NM 방법은 능력추정법 간 차이가 없었으나 다른 두 방법은 상황에 따라 능력추정법 선택에 유의하여야 한다.

목차 (Table of Contents)

• 그 림 차 례 ⅳ
• 표 차 례 ⅵ
• 국 문 요 약 ⅶ
• 제 1 장 서론 1
• 1.1. 연구의 필요성 및 목적 1
• 1.2. 연구 문제 11
• 1.3. 용어 정리 12
• 1.3.1. 문맥에 따른 2NM 방법의 의미 12
• 1.3.2. 잠재분포 12
• 제 2 장 이론적 배경 14
• 2.1. EM 알고리즘을 활용한 주변최대우도추정 방법(MMLE-EM) 14
• 2.1.1. 문항응답자료에 대한 주변우도함수 16
• 2.1.2. E 단계와 로그주변우도함수의 분해 18
• 2.1.3. M 단계와 문항 모수 추정 19
• 2.1.4. M 단계의 잠재분포 추정 21
• 2.1.5. 2NM-잠재분포 추정 22
• 2.2. IRT 분류정확도 추정 방법 26
• 2.2.1. 분류정확도의 개념과 특징 26
• 2.2.2. 기존의 IRT 분류정확도 추정 방법 28
• 2.2.2.1. Rudner 방법 28
• 2.2.2.2. Guo 방법 32
• 2.2.3. 2NM 방법 35
• 2.2.4. 전체 분류정확도 지수 계산 방법 40
• 2.3. 잠재분포 및 분류정확도 추정에 영향을 미치는 요인 40
• 2.3.1. 잠재분포 추정에 영향을 미치는 요인 41
• 2.3.2. 분류정확도 추정에 영향을 미치는 요인 42
• 2.3.2.1. 피험자 능력 분포 42
• 2.3.2.2. 표본 크기 43
• 2.3.2.3. 검사 길이 43
• 2.3.2.4. 능력추정법 45
• 2.3.2.5. 분할점수 위치 및 개수 46
• 제 3 장 연구 방법 47
• 3.1. 분석 자료 47
• 3.2. 분석 방법 55
• 3.2.1. 2NM-잠재분포 및 문항 모수 추정 55
• 3.2.2. 능력 모수 및 분류정확도 추정 56
• 3.2.3. 가정된 진 분류정확도 지수 산출 방법 57
• 3.2.4. 분석 절차 57
• 3.3. 평가 지표 60
• 3.3.1. 잠재분포 추정의 정확도 60
• 3.3.2. 분류정확도 60
• 제 4 장 연구 결과 62
• 4.1. 2NM-잠재분포 추정의 정확도 62
• 4.2. 분류정확도 지수 산출 결과 65
• 4.3. 분류정확도 지수 추정 방법별 평가 지표 비교 73
• 4.3.1. 추정의 표준오차(SE) 73
• 4.3.2. 편의(Bias) 82
• 4.3.3. 평균 제곱근 오차(RMSE) 90
• 제 5 장 결론 및 논의 98
• 5.1. 요약 98
• 5.2. 결론 및 논의 105
• 5.3. 연구의 제한점 및 제언 107
• 참 고 문 헌 110
• 부 록 125
• ABSTRACT 129