일반화 가능도 이론을 활용한 종합인지능력검사 분석

다국어 초록 (Multilingual Abstract)

The purpose of this study was to analyze source of error in Multidimensional Cognitive Abilities Test for children(MCAT-C) and to determine the optional number of conditions of each facet such that a satisfactory level of generalizability coefficient was attained. Generalizability study(G study) was made to analyze sources of error and decision study(D study) was performed to determine conditions of measurement where a satisfactory generalizability coefficient was gained.
The subjects were 394 children in 6 kindergartens located in Seoul and Sung-nam. Among them, 310 ones were identified as reliable for this study.
p×(i : h) design and (p : t)×(i : h) design were applied to analyze MCAT-C. It was assumed that D study design had the same structure as G study.
The results of this study were as follows.
First, residual variance(0.11908, 49.37%) and person and test domain variance(0.06088, 25.25%) were relatively large in G study with p×(i : h) design. And similar pattern was in (p : t)×(i : h) design. Residual variance(0.11907, 49.19%) and person nested tester and test domain variance(0.06116, 25.27%) were relatively large in G study with (p : t)×(i : h) design. This result means that tester variance didnt remain. Therefore, this study abbreviated D study with (p : t)×(i : h) design.
Second, the general principles of generalizability theory were found in p×(i : h) design. The generalizability coefficient increased as the level of each facet increased, but error variances decreased.
On the other hand, in D study with p×(i : h) design, it was found that the generalizability coefficient to the variation of the number of the test domain was faster than that of the generalizability coefficient to the variation of the number of item.
Third, when MCAT-C was made of 5 test domains with 10 items in each domain, or 6 test domains with 7 items in each domain, generalizability coefficient was found to be in a satisfactory level(.80). On the other hand, when MCAT-C was composed of more than 6 test domains, using more than 7 items in each domain or composed of more than 11 test domains, using more than 3 items in each domain was not economical.

국문 초록 (Abstract)

본 연구는 일반화 가능도 이론에 기초하여 종합인지능력검사를 분석함으로써 종합인지능력검사에서 나타나는 오차의 근원을 밝히고 일반화 가능도 계수를 최적화할 수 있는 측정 조건을 모색하고자 하였다. 또한 검사 자료의 분석에 일반화 가능도 이론을 적용함으로써 검사 도구의 개발 및 수정, 그리고 검사의 분석이 보다 정확하고 체계적이며 효율적으로 이루어질 수 있는 근거를 마련하여 일반화 가능도 이론의 실제적인 적용가능성을 모색하고자 하였다. 이러한 목적을 가지고 본 연구에서는 종합인지능력검사에 대하여 일반화 가능도 연구와 결정 연구를 수행하였다.
본 연구를 수행하기 위하여 서울시 노원구와 서초구, 성남시 분당구에 소재한 6개 유치원 원생 394명을 대상으로 종합인지능력검사를 실시하였으며 수집된 자료 중 310부가 최종 분석에 사용되었다. 본 연구는 종합인지능력검사의 분석을 위해 p×(i : h) 설계와 (p : t)×(i : h) 설계를 적용하였다. 한편 결정 연구 설계는 일반화 가능도 연구 설계와 동일한 구조를 가진다고 가정하였다.
본 연구의 결과를 요약하면 다음과 같다.
첫째, p×(i : h) 설계에서 나타난 분산 성분은 피험자 분산, 검사 영역 분산, 검사 영역 내 문항 분산, 피험자와 검사 영역의 상호작용 분산, 그리고 잔차 분산이었다. 이에 대해 G 연구를 수행한 결과 가장 큰 비율을 나타낸 분산은 잔차 분산(0.11908, 49.37%)이었고, 잔차 분산 이외의 분산으로는 피험자와 검사 영역간의 상호작용 분산이 비교적 높은 비율을 차지하였다(0.06088, 25.25%). (p : t)×(i : h) 설계를 적용하였을 때에는 검사자 분산, 검사자에 내재된 피험자 분산, 검사 영역 분산, 검사 영역에 내재된 문항 분산, 검사자와 검사 영역간의 상호작용 분산, 검사자와 검사 영역에 내재된 문항과의 상호작용 분산, 검사자에 내재된 피험자와 검사 영역의 상호작용 분산, 그리고 잔차 분산으로 분할되었다. 본 설계에서 가장 큰 오차 분산으로 작용한 것은 잔차 분산이었으며(0.11907, 49.19%), 이를 제외한 오차 분산 중 가장 큰 비율을 나타낸 분산은 검사자에 내재된 피험자와 검사 영역감의 상호작용 분산이었다(0.06116, 25.27%). 본 설계에서 각각의 분산은 전반적으로 p×(i : h) 설계의 경우와 매우 유사한 비율을 나타내었고, 검사자 국면에 의한 오차는 거의 나타나지 않았다. 따라서 본 연구는 이 설계에 대하여 검사자 국면의 차원 조절에 따른 일반화 가능도 계수의 변화를 보려는 D 연구를 생략하였다.
둘째, p×(i : h) 설계에서 오차 국면의 차원 조절에 따른 일반화 가능도 계수의 변화를 분석한 결과, 국면의 차원이 증가함에 따라 일반화 가능도 계수는 증가하였으며 오차 분산은 감소하는 경향을 보였다. 한편 검사 문항의 차원 조절에 따른 일반화 가능도 계수의 변화보다 검사 영역의 차원 조절에 따른 변화가 빠르게 나타났다.
셋째, 종합인지능력검사가 적정 수준의 신뢰도를 유지하면서 경제적인 검사가 되기 위한 조건을 모색한 결과, .80 이상의 일반화 가능도 계수를 유지하기 위해서는 최소한 5개 영역-각 10개 문항, 6개 영역-각 7개 문항을 필요로 한다. 또한 검사 영역이 6개 이상이 되는 경우 각 영역당 7개 이상의 문항, 11개 이상이 되는 경우부터는 각 영역당 3개 이상의 문항이 사용되는 것은 비경제적인 것으로 나타났다.