職業能力檢査에 있어서 一般化可能度 理論의 活用

국문 초록 (Abstract)

본 연구는 직업능력검사를 일반화가능도 이론에 기초하여 분석함으로써 직업능
력검사에서 나타나는 다양한 오차의 근원을 밝히고 일반화가능도 계수를 최적화 할
수 있는 측정 조건을 모색하고자 하였다. 또한 검사 자료의 분석에 일반화가능도
이론을 활용함으로써 검사 도구의 개발 및 수정, 그리고 검사의 분석이 보다 효율
적으로 이루어질 수 있는 근거를 마련하여 일반화가능도 이론의 실제적인 적용가능
성을 모색하고자 하였다.

본 연구를 수행하기 위하여 중·고등학생용 종합직업적성검사의 규준 작성을 목
적으로 표집된 전체 대상중에서 본 연구 설계를 위해 전국 5개 지역, 20개 학교에
서 총 675명의 자료를 선정하여 직업능력검사를 분석하였다. 본 연구는 직업능력검
사의 분석을 위해 p (i : h) 설계와 (p : r) (i : h) 설계를 적용하였다. 한편결정 연구 설계는 일반화가능도 연구 설계와 동일한 구조를 가진다고 가정하였다.

본 연구의 결과를 요약하면 다음과 같다.

첫째, p (i : h) 설계에서 나타난 분산성분은 피험자 분산, 검사 영역 분산, 검사 영역 내 문항 분산, 피험자와 검사 영역의 상호작용 분산, 그리고 잔차 분산이었다. 본 설계에서 가장 큰 오차 분산으로 작용한 것은 잔차 분산이었으며(0.0888, 38.02%), 잔차 분산 이외의 분산으로는 피험자와 검사 영역간의 상호작용 분산이 비교적 높은 비율을 차지하였다(0.0286, 12.25%).
(p : r) (i : h) 설계를 적용하였을 때에는 지역 분산, 지역에 내재된 피험자 분산, 검사 영역 분산, 검사 영역에 내재된 문항 분산, 지역과 검사 영역과의 상호작용 분산, 지역과 검사 영역에 내재된 문항과의 상호작용 분산, 지역에 내재된 피험자와 검사 영역의 상호작용 분산, 그리고 잔차 분산으로 분할되었다. 이에 대해 G연구를 수행한 결과 가장 큰 비율을 나타낸 분산은 잔차 분산(0.0884, 37.84%)이었고, 이를 제외한 오차 분산 중 가장 큰 비율을 나타낸 분산은 지역에 내재된 검사 영역과 피험자간의 상호작용 분산이었다(0.0286, 12.21%). 본 설계에서 각각의분산은 전반적으로 p (i : h) 설계의 경우와 매우 유사한 비율을 나타내었고, 지역 국면에 의한 오차는 거의 발견되지 못했다. 따라서 본 연구는 이 설계에 대하여 지역 국면의 차원 조정에 따른 일반화가능도 계수의 변화를 보려는 D 연구를 생략하였다.

둘째, p (i : h) 설계에서 오차 국면의 차원 조절에 따른 일반화가능도 계수의 변화를 분석한 결과, 국면의 차원이 증가함에 따라 일반화가능도 계수는 증가하였으며 오차 분산은 감소하는 경향이 나타났다. 한편 검사 영역의 차원 조정에 따른 일반화가능도 계수의 변화는 검사 문항의 차원 조정에 따른 변화보다 빠르게 나타났다.

셋째, 직업능력검사가 적정 수준의 신뢰도를 유지하면서 경제적인 검사가 되기
위한 조건을 모색한 결과, .80 이상의 일반화가능도 계수를 유지하기 위해서는 최소
한 3개 영역에 각 3개 문항, 5개 영역에 각 2개 문항을 필요로 한다. 또한 검사 영
역이 3개 이상이 되는 경우에 각 영역당 5개 이상의 문항, 7개 이상이 되는 경우부
터는 3개 이상의 문항이 사용되는 것은 비효율적인 것으로 나타났다.