문항수, 문항난이도, 문항변별도 변화에 따른 신뢰도 계수와 검사정보함수의 변화

국문 초록 (Abstract)

교육·심리 검사에서 양질의 검사도구를 제작·이용하기 위하여 필수적으로 요구되는 조건들이 있다. 검사도구가 측정하려는 내용을 오차없이 정확하게 측정하고 있는지의 "측정의 정확성"의 문제는 검사에서 기본이 되는 필요조건이라 할 수 있다. 검사이론에서 "측정의 정확성"을 설명하는 개념은 신뢰도와 검사정보함수의 두가지이다.
본 연구는 검사의 정확한 측정·평가를 위하여 두가지 개념 즉 신뢰도와 검사정보함수의 증가에 관여하는 문항변인들을 선정하여 이들이 이 두가지 개념에 어떤 변화를 주는가를 분석하였고 분석을 통하여 신뢰도와 검사정보함수를 비교하였다. 비교를 위한 연구 문제는 다음과 같다.
1. 검사의 난이도 모수와 변별도 모수의 변화와 문항수 증가에 의하여 신뢰도 계수는 어떻게 변화할 것인가?
2. 검사의 난이도 모수와 변별도 모수의 변화와 문항수 증가에 의하여 검사정보함수는 어떻게 변화할 것인가?
본 연구에서는 분석을 위하여 문항변인들은 문항수, 변별도 모수, 난이도 모수로 선정하였다. 문항수는 20, 30, 40, 50으로 변화시켰고, 변별도 모수는 검사의 평균 변별도가 '낮다'·'적절하다'·'높다'가 되도록 변화시켰으며, 난이도 모수는 검사의 평균 난이도가 '쉽다'·'중간이다'·'어렵다'로 변화시켰다. GENIRV 컴퓨터 프로그램을 사용하여 2-모수 로지스틱 모형하에서 한 조건마다 3개의 자료를 만들어 총 108개의 모의 문항반응자료를 생성하였다. 생성된 모의 자료에 응답한 피험자의 수는 500명으로서 정규분포에서 무선추출한 능력분포를 갖도록 하였다. 모의 문항반응자료로부터 신뢰도 계수와 검사정보함수를 추정하기 위하여 Cronbach α가 추정되었고 각 검사에서 문항마다 문항난이도와 문항변별도가 추정되어 이를 토대로 각 능력수준 -3, -2, -1, 0, 1, 2, 3에 따라 검사정보함수를 계산하였다. 각각의 문항변인의 변화에 의한 신뢰도 계수와 검사정보함수의 변화 경향을 분석한 연구결과를 요약하면 다음과 같다.
첫째, 검사의 평균 난이도와 변별도가 동일할 때 문항수가 증가하면 신뢰도계수는 곡선형으로 증가하였다.
둘째, 검사의 평균 난이도 모수와 문항수가 동일할 때 검사의 평균 변별도가 클수록 신뢰도 계수는 크게 나타났다.
셋째, 검사의 평균 변별도와 문항수가 동일할 때 검사의 평균 난이도를 변화시키면 신뢰도 계수는 평균 난이도가 중간인 검사에서 높게 나타났다.
넷째, 검사의 평균 난이도와 변별도가 동일할 때 문항수가 증가함에 따라 모든 능력수준에서 검사정보함수는 선형적으로 증가한다.
다섯째, 검사의 평균 난이도와 문항수가 동일할 때 검사의 변별도가 커지면 일반적으로 검사정보함수는 증가한다.
여섯째, 검사의 평균 난이도와 피험자의 능력수준이 일치하거나 근접할 경우 검사의 평균 난이도와 변별도가 동일할 때 검사정보함수는 가장 높았으며, 문항수 증가에 따른 검사정보함수의 증가폭도 다른 능력수준에 비하여 컸다.
일곱째, 검사의 평균 난이도가 동일한 경우 중간 난이도 검사에서 검사의 평균 난이도와 피험자의 능력수준이 일치할 때가 다른 난이도 검사에서 일치하는 경우보다 문항수 증가에 따른 검사정보함수의 증가폭이 컸다.
이상의 연구결과를 바탕으로 검사의 평균 난이도와 변별도가 동일할 때 문항수가 많아질수록, 검사의 평균 난이도와 문항수가 동일할 때 검사의 변별도가 클수록 신뢰도 계수는 높아지며, 위의 조건에서 검사의 평균 난이도가 중간일 때 신뢰도 계수는 더욱 높아짐을 발견하였다. 또한 각 능력수준에서 검사정보함수는 검사의 평균 난이도와 문항수가 동일할 때 문항수가 많아질수록, 검사의 난이도와 문항수가 동일할 때 검사의 변별도가 클수록 높아지며, 위의 조건에서 검사의 난이도와 능력수준이 근접할수록 높아졌지만 능력수준이 검사의 평균 난이도와 멀리 떨어져 있을 때는 검사의 변별력이 증가하더라고 검사의 정보는 낮아지는 경우가 발견되었다.

다국어 초록 (Multilingual Abstract)

The purpose of this study was to investigate changes of the reliability coefficients and test information functions by varying levels of item variables such as item difficulty parameter, item discrimination parameter and the number of items. Research questions were how the reliability coefficients and the test information functions change when the number of items, item discrimination and item difficulty parameters have been changed.
The number of items in the test for this study were 20, 30, 40 and 50.
The discrimination parameters varied "low·moderate high " by being fixed the average and standard deviation of test discrimination. The difficulty parameters varied " easy medium · difficult " by being fixed the average and standard deviation of test difficulty. The GENIITV computer program was used to simulate data, In each case of fixing the item
difficulty and item discrimination parameters, and the number of items 3sets of data were generated under the 2-parameter logistic model. The total data sets for this study were 108. The study used BIKOG program to estimate Cronbach αof reliability coefficients and test informaton functions at the ability levels such as -3, -2, -1, 0, 1, 2, 3.Followings are the findings of this study:
First, increasing the number of items in case of fixing the average of item difficulties and item discriminations increased reliability coefficients curve linearly.
Second, increasing the average of item discriminations in case of fixing the average of item difficulties and the number of items increased reliability coefficients.
Third, the reliability coefficients were highest at medium difficult test when the average of item difficulties varied under the same average of test when the average of item difficulties varied under the same average of test discrimination and the number of items
Fourth, increasing the average of items in case of fixing the average of item difficulties and discriminations increased test information function linearly
Fifth, increasing the average of item discrimination in case of fixing the average of item difficulties and the number of items increased test information function generally.
Sixth, test information function was higher when the ability level is matched to the average of test difficulty at medium difficult test than at easy or difficult test.
In conclusion, increasing the number of items and item discriminations increased reliabililty coefficients, Under the above conditions, reliability coefficients were higher at medium test difficulty than at easy or difficult test.
Increasing the number of item and item discriminations increased test information function, Under the above conditions, test information functions were highest at the ability level corresponding to the average of test diffculty than at any other ability levels. However, the amount of test information function decreased when examinee's ability level was far from the test difficulty, even if the discreamination was high.

목차 (Table of Contents)

• 목차 = ⅳ
• 논문개요 = ⅶ
• Ⅰ. 서론 = 1
• A. 연구의 필요성 = 1
• B. 연구의 목적 = 4
• C. 연구문제 = 4
• Ⅱ. 이론적 배경 = 5
• A. 고전검사이론의 신뢰도 = 6
• B. 문항반응이론의 정보함수 = 23
• Ⅲ. 연구방법 = 38
• A. 변인 = 38
• B. 모의 자료 만들기 : CENIRY Runs = 39
• C. 신뢰도 계수와 검사정보함수의 추정 절차 : BILOG Runs = 41
• D. 신뢰도 계수 변화 곡선과 검사정보함수의 변화 곡선 = 43
• E. 연구가설 = 44
• Ⅳ. 결과 = 47
• A. 신뢰도 계수의 변화 곡선 = 47
• B. 검사정보함수의 변화 곡선 = 55
• Ⅴ. 결론 및 논의 = 69
• 참고문헌 = 74
• 부록 = 77
• ABSTRACT = 84