차별기능의 원인파악을 위한 차별기능문항군 기법의 적용

국문 초록 (Abstract)

최근 국제비교연구에 대한 관심이 높아지면서, 집단 간 비교를 위한 전제조건인 측정학적 동등성을 확립하기 위한 방안을 모색하는 연구가 급증하고 있다. 특히 집단 간 발생하는 비동등성의 원인을 밝혀내기 위하여 차별기능문항(Differential Item Functioning : DIF) 기법을 적용하는 연구들이 많이 이루어지고 있다. 이러한 DIF 원인 파악을 위하여 통계적 기법에 후속되는 전문가를 활용한 판단적 방법을 주로 많이 사용하고 있지만, 차별기능의 원인파악은 연구자들에게는 여전히 많은 고민을 주고 있다. 특히 차별기능은 문항의 고정된 특성이 아니라 검사 상황 및 목적에 따라서 유동적인 특성을 갖고 있다. 따라서 새로운 검사 개발 및 적용 시 집단 간 측정의 동등성 검토 작업은 선행되어야 하고, 보다 타당한 검사 개발 및 활용을 위하여 비동등성의 소재를 파악하는 것은 중요한 작업으로 인식된다. 본 연구에서는 이러한 비동등성의 원인 탐색을 위하여 DIF 접근이 아닌 문항군 또는 검사수준에서의 차별기능을 파악하기 위한 시도를 하고자 했다. 즉, PISA 2006 과학 문항에서 나타나는 우리나라와 핀란드 집단 간의 차별기능을 문항군/검사수준에서 파악하고, 이 두 집단에서 발생하는 차별기능의 원인을 탐색하였다. 이를 위해 모수적 접근법인 DFIT과 비모수적 접근법인 SIBTEST를 적용하고, 가능한 DIF의 원인을 문항군 생성에 반영하였다. 본 연구 결과 파악된 가능한 DIF 원인으로는 각 문항/검사의 (1) 내용 영역, (2) 인지적 과정, (3) 문항 유형의 효과 등이었다. 본 연구는 기존의 DIF 연구를 확장시켜서, 검사/문항군 수준의 차별 기능 원인을 파악하기 위한 방법론을 제안함과 동시에 국제비교연구를 위한 검사의 개발 및 활용 시 참고할 수 있는 정보를 제공하는데 그 의의가 있다.

다국어 초록 (Multilingual Abstract)

Comparisons of human characteristics across different language groups and cultures become more important in today's educational assesment practices as evidenced by the increasing interest in international comparative studies. In the present study, the utility of hypothesis generated about differential test functioning(DTF) will be studied using the Programe for International STudent Assessment(PISA) 2006 data set. Item bundles that were flagged as DTF through DFIT and SIBTEST were simultaneously considred for contest-wise evaluation. The results showed that (1) cognitive skills measrued by items, (2) item types, (3) item content areas are three important sources of error that might be causing DTF in the PISA 2006 study. Results indicated that systematic pre-analysis of the item content, cognitive areas, and formats my help screen items with DIF/DTF in interational achievement assessemnts. Close agreement was obtained between the two DTF approaches about the statistical DTF analysis results. Further invetigations about some inconsistency between the two methods will be considered.