비선형 다층모형에 의한 차별기능문항 분석 = DIF Identification via Hierarchical Nonlinear Model

국문 초록 (Abstract)

이 연구에서는 가상자료를 사용한 반복연구를 수행하고 그 결과와 차별기능문항 분석에 많이 활용되는 멘텔-헨젤 방법의 결과와의 비교를 통해 2수준 비선형 다층모형에 의한 차별기능문항 분석 방법을 제시하기 위한 것이다. 연구목적을 달성하기 위해 설정된 연구문제는 첫째, 비선형 다층모형에 의한 차별기능문항 분석 결과는 어떠하며 문항 수와 피험자 수에 따른 차이가 있는가? 둘째, 차별기능문항 분석에 있어 비선형 다층모형과 멘텔-헨젤 방법에 어떤 차이가 있는가? 셋째, 비선형 다층모형에 의한 차별기능문항 판정 기준은 무엇인가? 이다. 연구결과를 요약하면 첫째, 모든 조건에서 비선형 다층모형에 의한 차별기능문항의 계수의 절대값이 비차별기능문항의 계수의 절대값보다 현저히 큰 편이었다. 또한 문항 수와 피험자 수에 따른 차이는 크지 않았으나 문항 수와 피험자 수가 많을수록 비차별기능문항과 차별기능문항의 차이가 뚜렷하고 결과가 안정적이었다. 둘째, 비선형 다층모형의 계수값과 멘텔-헨젤 방법의 값간 상관의 평균은 10문항에서는 -0.95～-0.96, 20문항에서는 -0.97로 높아 두 분석 결과가 유사하였다. 두 방법 간의 상관은 피험자 수에 따른 차이는 거의 없었고 문항 수가 많을수록 높았으나 그 차이가 크지 않았다. 셋째, 비선형 다층모형에 의한 차별기능문항 판정 기준을 탐색하기 위해 비선형 다층모형의 계수값, 계수값의 통계적 유의도를 나타내는 확률값을 멘텔-헨젤 방법에서의 값의 평균과 비교하여 차별기능문항으로 판정되는 비율을 분석하였다. 분석 결과 계수값이 확률값에 비해 차별기능문항을 제대로 판정하는 비율이 더 높아 계수값의 상대적 크기에 근거하여 차별기능 문항을 판정하는 것도 고려할 수 있는 방법이 될 수 있음을 알 수 있었다. 그러나 보다 객관적인 판정 기준을 마련하는 것이 필요하며 이를 위한 추가적인 연구가 이루어져야 한다.

다국어 초록 (Multilingual Abstract)

This study is to illustrate the way of applying hierarchical nonlinear model for identifying Differential Item Functioning (DIF). To achieve the goal, 50 repeated analysis in four conditions were carried out using simulation data and the results were compared with those of Mantel-Haenszel procedure. Three specific objectives of this study were as follows; First, does number of items and examinees make a difference in DIF identification of hierarchical nonlinear model? Second, What's difference in DIF identification between hierarchical nonlinear model and Mantel-Haenszel procedure? Third, What's criterion for DIF identification of hierarchical nonlinear model?
The results of this study can be summarized as follows; First, the absolute value of coefficients of DIF items was much larger than those of non-DIF items. And a difference in DIF identification of hierarchical nonlinear model was a little according to the number of items and examinees. Second, the correlations of the DIF identification values between hierarchical nonlinear model and Mantel-Haenszel procedure were over 0.95 in all conditions. So the results of two methods, hierarchical nonlinear model and Mantel-Haenszel, were similar in DIF identification. Third, to explore the criterion for DIF identification of hierarchical nonlinear model, the coefficient value of each item was compared with p-value and value. The relative coefficient value of each item can be a criterion for DIF identification of hierarchical nonlinear model. But further studies must be carried out to find more objective and reliable criterion.

참고문헌 (Reference)

1 김신영, "차별적 문항기능의 추출방법" 교육과학사 2001

2 강상진, "비선형 다층모형에 의한 검사 문항반응 분석방법" 한국교육평가학회 15 (15): 273-294, 2002

3 Han, K. T., "WinGen: Windows software that generates IRT parameters and item responses" 31 (31): 457-459, 2007

4 Han, K. T., "User's Manual: WinGen" University of Massachusetts, School of Education 2007

5 Kamata. A., "Some generalizations of the rasch model: An application of the hierarchical generalized linear model" Michigan State University 1998

6 Adams, R .J., "Multilevel item response models: An approach to errors in variables regression" 22 (22): 47-76, 1997

7 Kamata, A., "Multilevel DIF Analysis via Hierarchical Generalized Linear M" 1999

8 진수정, "MH방법과 SIBTEST방법을 이용한 문항유형에 따른 차별기능문항의 탐색" 한국교육평가학회 17 (17): 215-236, 2004

9 추정아 성태제, "MHDIF: MANTEL-HAENSZEL 방법을 이용한 차별기능문항 추출 COMPUTER PROGRAM" 이화여자대학교 1993

10 Raudenbush, S., "HLM6. in: Hierarchical linear and nonlinear modeling [Computer Program]" Scientific Software Inc 2006

11 Adams, R. J., "Formulating the Rasch model as a mixed coefficients multinomial logit. in: Objective measurement: Theory into Practice Vol Ⅲ" Ablex 143-166, 1996

12 Holland, P. W., "Differential Item pergormance and the Mantel-Haenszel Procedure. in: Test Validity" Erlbaum 129-145, 1988

13 Luppescu, S., "DIF detection in HLM item analysis" 2002

14 Shealy, R. T., "An Item Response Model for test Bias and Differential test Functioning. in: Differential item functioning" Erlbaum 197-239, 1993

15 Shen, Linjun, "A Multilevel Assessment of Differential Item Functioning" 1999