IRT 모형 선택, 표본크기, 척도변환방법이 IRT 척도변환에 미치는 영향

국문 초록 (Abstract)

국가수준 학업성취도 평가나 국제학업성취도 평가와 같은 대규모 검사에서는 검사의 보안이나 다른 실제적인 이유로 인하여 공통문항 비동등 집단 설계를 활용한 동등화가 주로 사용된다. 공통문항 비동등 집단 설계를 통해 자료를 수집하고 문항반응이론을 기반으로 동등화를 시행할 경우, 다른 검사 유형들에서 구해진 문항 모수 추정치를 척도변환을 통해 공통척도 상에 놓아야 한다. 이 연구는 공통문항 비동등 집단 설계에서 특정 문항반응모형의 선택이 문항반응이론 척도변환에 미치는 영향을 알아보고자 하였다. IRT 모형 선택과 함께 표본 크기, 척도변환 방법이 문항반응이론 척도변환 결과의 정확성에 미치는 영향을 비교하고자 하는 것을 목적으로 하였다.
이를 위해 연구 문제는 크게 3개로 구성되었다. 첫째, IRT 자료생성 모형과 모수 추정 모형의 일치와 불일치에 따라 IRT 척도 변환의 정확성에 미치는 영향은 어떠한가? 둘째, IRT 자료생성 모형과 모수 추정 모형이 불일치 할 때, 상대적으로 적합한 IRT 척도변환 결과를 산출하는 추정방법은 무엇인가? 셋째, 피험자 수에 따라 IRT 자료생성 모형과 모수 추정 모형의 일치 정도가 IRT 척도변환에 미치는 영향은 차이가 있는가? 연구 문제에 답하기 위해 모의실험 연구를 설계하였다. 1-모수, 2-모수, 3-모수 문항반응이론 모형을 각각 적용하여 자료를 생성하였고, 검사는 공통문항 10문항을 포함하여 총 50개 문항으로 구성되었다. 표본크기는 500명, 1,500명, 3,000명으로 설정하였다. 이렇게 생성된 자료에 각각 1-모수, 2-모수, 3-모수 모형을 적용하여 모수를 추정하였고 분리추정과 동시추정 방법을 적용하여 척도변환을 시행하였다.
본 연구의 결과를 요약하면 다음과 같다. 첫째, 자료생성모형과 모수추정모형이 일치할 때, 각각의 조건에서 RMSE 값이 낮았으며, 이는 모형이 일치할 때 척도변환의 추정오차가 작다는 것을 의미하는 것으로 해석할 수 있다. 그러나 2-모수로 자료를 생성했을 때는 이러한 일반화가 적용되지 않고, 오히려 1-모수 모형이 2-모수 모형보다 작은 RMSE 값을 보이는 경우가 많았고, 같은 패턴이 BIAS 분석에서도 나타났다. SEE 값에서는 1-모수 모형을 적용하여 추정할 때 각각의 조건에서 낮게 나타났다. 둘째, 자료생성모형과 모수추정모형이 일치하지 않을 경우를 살펴보면, 1-모수나 2-모수 모수추정모형보다 3-모수 모수추정모형이 상대적으로 큰 RMSE 값과 BIAS 값을 보였다. 특히, 3-모수 자료생성모형의 경우, 1-모수 모수추정모형과 2-모수 모수추정모형이 상대적으로 매우 큰 RMSE 값과 BIAS 값을 보였다. 즉, 3-모수 모형이 적합할 때는 3-모수 모수추정모형을 적용하여 척도변환을 하여야 하고, 1-모수나 2-모수 모수추정모형을 잘 못 적용하면 척도변환 과정에 큰 편의가 발생한다. 마지막으로, 피험자 수에 따른 척도변환 오차는 피험자 수가 많을수록, 작은 것으로 나타나 선행연구와 유사한 결과가 도출되었다. 1-모수와 2-모수 모수추정모형이 대체적으로 모든 피험자 수 조건에서 낮은 RMSE 값과 BIAS 값을 보였고, 둘 사이의 차이도 크지 않았다.
연구 결과와 결론을 바탕으로 현장의 연구자를 위한 논의를 제시하면 다음과 같다. 첫째, 문항반응이론 자료생성모형과 모수추정모형이 일치할 경우, 상대적으로 피험자 수가 적고 1-모수 모형을 적용할 경우, 분리추정 척도변환방법이 더 나은 선택이 될 것으로 보인다. 피험자 수가 충분할 경우 2-모수나 3-모수 모형의 적용이 가능하고, 분리추정 척도변환방법 중에서도 평균-표준편차 방법이 좋은 선택이 될 수 있다. 이 연구의 결과를 바탕으로 보면 원래 자료가 3-모수에 적합한 경우가 아니라면, 1-모수 모형이 좋은 대안이 될 수 있을 것으로 보인다. 둘째, 문항반응이론 척도변환에 있어서 자료생성모형과 모수추정모형이 일치하지 않을 경우, 1-모수 보다는 2-모수가, 2-모수 보다는 3-모수 모수추정모형이 더 큰 오차를 보였다. 이는 문항반응이론 모형일치도를 연구한 많은 선행 연구들에서도 보고되었던 결과이며, 본 연구에서는 피험자 수가 적은 경우와 피험자 수가 많은 경우에도 유사한 결과로 나타났다. 셋째, 피험자 수가 많은 경우에는 3-모수 문항반응모형 모수추정이 더 정확한 척도변환 결과를 산출하였다. 이러한 결과는 모든 척도변환 방법에서 동일하게 나타났다. 본 연구의 결과를 통해, 선행연구들에서 언급한 바와 같이 피험자 수가 충분할 때에는 자료에 적합하다면 3-모수 문항반응이론 모형을 적용하여 문항 모수를 추정하고 척도변환 하는 것이 상대적으로 좋은 척도변환 결과를 얻을 수 있는 방법이 될 수 있을 것이다.

다국어 초록 (Multilingual Abstract)

In large scale test such as National Academic Achievement Assessment or Program for International Student Assessment(PISA), equating using common item non-dynamic group design is mainly used due to security of inspection or other practical reasons. Collecting data through non-equivalent group design with common items and performing equalization based on Item Response Theory, the item parameter estimates obtained from other types of tests should be placed on a common scale through scale transformation.
The purpose of this study was to investigate the effect of the choice of the item response model on the item response theory scale conversion in non-equivalent group design with common items. To compare the effect of sample size and scale conversion method on the accuracy of item response theoretical scale conversion with IRT model selection is the aim of this study.
To this end, there are three research problems.
First, what is the effect of the IRT data generation model and the parameter estimation model on the accuracy of IRT scale conversion according to the agreement and inconsistency? Second, what is the estimation method that yields a relatively suitable IRT scale conversion result when the IRT data generation model and the parameter estimation model are inconsistent? Third, is there any difference in the effect of the degree of agreement between the IRT data generation model and the parameter estimation model on the IRT scale conversion depending on the number of subjects?
A simulation study was designed to answer research questions. The data were generated by applying 1-parameter, 2-parameter, and 3-parameter item response theory models, and the test consisted of 50 items including 10 items of common items.
Sample sizes were set at 500, 1,500 and 3,000. The parameters were estimated by applying 1 - parameter, 2 - parameter, and 3 - parameter models to the data. As a result of the study, when the data generation model and the parameter estimation model are matched, the RMSE value is low in each condition, which can be interpreted as meaning that the estimation error of the scale conversion is small when the model is matched. However, when the data were generated with the 2-parameter, this generalization was not applied. Instead, the 1-parameter model showed a smaller RMSE value than the 2-parameter model, and the same pattern was also found in the BIAS analysis. SEE values ​​were lower in each condition when estimating 1 - parameter model.
On the other hand, when the data generation model and the parameter estimation model do not coincide, the 3-parameter model shows a relatively larger RMSE value and BIAS value than the 1-parameter or 2-parameter model. In particular, for the 3-parameter data generation model, the 1-parameter model and the 2-parameter model showed relatively large RMSE and BIAS values. In other words, when the 3-parameter model is suitable, the 3-parameter model should be used to convert the scale. If the 1-parameter or 2-parameter model is applied incorrectly, Finally, the scale conversion error according to the number of subjects was smaller as the number of subjects increased, resulting in similar results to the previous studies. The 1-parameter and 2-parameter models showed lower RMSE and BIAS values ​​in all subject conditions, and the difference between the two was not significant.