일반화가능도이론을 적용한 대학입학 전형자료 평가 연구 = (An) Evaluation Research about the Data for College Entrance Examination by Applying Generalizability Theory

국문 초록 (Abstract)

대학 입학 시험에서 학생들의 다양한 특성을 반영하는 전형자료가 새롭게 도입되어 이에 대한 양호도 평가가 요구되고 있다. 이들 자료는 제 3자의 평정으로 구성되는 관찰점수로 기존의 고전 검사 이론에 기초한 접근으로는 신뢰도 등 양호도 평가에 한계가 있다. 일반화가능도 이론은 고전검사이론의 여러 가지 단점을 극복할 수 있는 측정이론으로 상대적으로 관찰 점수에 대한 평가에 적합하다고 여겨진다.
본 연구는 일반화가능도이론을 대학 입학 전형 자료 중 면접·구술 시험, 추천서 전형에 적용하여, 관련된 오차원과 그 영향력을 분석하고 신뢰도를 평가하는데 주요한 목적이 있다. 또한 피험자가 다른 국면에 내재된 경우 일반화가능도이론의 적용 특성을 밝히는 것에도 목적이 있다.
이러한 목적을 달성하기 위해 1999학년도 대학입학 전형 시 실시되었던 면접·구술 시험 및 추천서 전형 결과를 이용하여 GENOVA와 SPSS 등의 컴퓨터 프로그램을 통해 자료를 분석하였다. 면접·구술 시험 자료에 대한 분석 모형은 G연구 (p×r):(g×i)설계, D연구 (p×r):(G×I) 설계였고, 추천서 자료에 대한 분석 모형은 G연구 (p×r):g 설계, D연구(p×r):G 설계였다.
본 연구의 결과는 다음과 같다.
첫째, 일반화 전집이 동일 채점조와 질문 문항 내 피험자 집단으로 제한되어 G연구와 동일한 D연구 설계이지만 선형모형을 구성하는 효과항이 달라졌다. 이때의 절대오차 분산은 측정의 대상을 포함한 국면과 관련된 분산도 제외된 후의 전집분산과 관련된 기타 D연구 분산 성분 추정치의 합이었다.
둘째, 면접·구술 시험과 추천서 전형의 경우 채점자 분산이 다른 국면의 분산보다 크게 나타났다.
셋째, 추천서 전형의 경우 잔차 분산 추정치가 전체 분산의 대부분을 차지하였다. 따라서 다른 고려할만한 오차원이 존재하는 것으로 의심된다.
넷째, 면접·구술 시험과 추천서 전형 모두 채점자의 수가 증가하므로 일반화 가능도 계수가 향상되는 것으로 나타났다.
다섯째, 각 전형 자료에 대해 일반화가능도 계수와 고전검사이론에 기초한 Cronbach α계수를 구하여 비교한 결과, 크기가 거의 비슷하였지만 대체로 일반화가능도 계수가 다소 큰 편이었다.
여섯째, 면접·구술 시험이 추천서 전형보다 피험자의 특성을 반영, 평정하는 데 신뢰로운 것으로 나타났다.
이상의 분석 결과로부터의 결론은 다음과 같다.
첫째, 피험자가 다른 국면에 내재된 형태의 연구 설계는 일반화가능도이론 적용의 일반적인 원리와 다르다.
둘째, 면접·구술 시험은 피험자의 능력을 신뢰롭게 변별하는 전형 요소였다.
셋째, 추천서는 효과적으로 피험자의 능력을 평가하지 못하였다. 따라서 추천서의 채점자 수를 조정하되 그것이 제한적임을 감안하여 추천서 평가 시 구체적인 채점 기준 마련, 보다 체계적인 추천서 양식 개발 등 다양한 개선 노력을 기울여야 할 것이다.
넷째, 일반화가능도이론은 고전검사이론에 비해 여러 가지 장점이 있다. 오차원을 다양하게 분할하고 분산 크기로 영향력을 가늠할 수 있고, 조건의 수를 변화 할 때의 일반화가능도 계수를 산출해 내므로 개선 방향 설정에 정보를 제공한다.

다국어 초록 (Multilingual Abstract)

Estimating methods which reflect diverse characteristics of students newly have been brought forward to college entrance examination. In parallel with the practical introduction of those varied methods, feasibility evaluation is required. There are limitations if those data are approached by already existing classical test theories since they are observation scores, based on other people's estimation. Generalizability theory is one of measurement theories which surmounts a lot of imperfection from classical test theories.
This study puts its major purpose on the analysis and reliability evaluation of college entrance examination data related error sources and influence particularly when interview and recommendations are put into account. In addition, the features of generalizability theory, in its application wise, are illuminated.
To fulfil these purpose, GENOVA, SPSS and several other computer programs were utilized: the analyzed data come from the 1999's interview test and recommendation check-over result for college entrance: analysis model for the interview data, G study (p×r):(g×i) design, D study (p×R):(G×I) design and for recommendation analysis, G study (p×r):g design, D study (p×R): design are applied.
The results of this study are as follows:
First, when it comes to interview and recommendation estimation, variance for rater was greater then any other variances.
Second, in the recommendation estimation, residual variance estimate occupied over 60% out of the total variance. Therefore, the existence of other different error sources might be possible.
Third, as the number of raters was on the increase in both the interview test and recommendation estimation, the generalizability coefficient showed an increase as well.
Fourth, as a result of the comparison between generalizability coefficient from college entrance examination data and Cronbach α coefficient based on classical test theories, despite the overall similarity, generalizability coefficient was rather bigger.
Lastly, interview test was more reliable than recommendation estimation: it mirrored and evaluated the examinee's characteristics better.
The conclusions based on the results are as follows:
First, the design of the study whose examinees are lying in the different phases doesn't coincide with the general principles of generalizablilty theory.
Second, 'interview' was reliably discriminating factors for sorting students.
Third, recommendation failed to effectively evaluate the examinees' ability. Accordingly, while the number of people who get involved with forming recommendation needs to be altered within limits, the origination of more concrete criteria and development of systematic recommendation form should be following efforts for renovation.
Finally, Generalizability Theory has strong merits compared to classical theories; it splits error sources diversely and can assume the influence handily simply through the size of variance. Moreover, it provides a great deal of informative guidelines for improvement since it gives you the generalizability coefficient ever though the number of given conditions is changed.

목차 (Table of Contents)

• 목차 = ⅰ
• 표목차 = ⅳ
• 그림목차 = ⅵ
• 국문요약 = ⅶ
• Ⅰ. 서론 = 1
• 1. 연구의 필요성 = 1
• 2. 연구의 목적 및 내용 = 4
• 3. 연구 문제 = 4
• 4. 연구 설계 = 5
• 가. 면접·구술 시험 = 5
• 나. 추천서 = 7
• 5. 분석 자료 및 표본 = 8
• 6. 자료 분석 방법 = 10
• Ⅱ. 이론적 배경 = 11
• 1. 고전검사이론 = 11
• 가. 고전검사이론의 가정 = 11
• 나. 고전검사이론의 결론 = 13
• 다. 고전검사이론에서 신뢰도 계수의 개념 = 15
• 라. 고전검사이론의 신뢰도 추정 방법 = 17
• 2. 일반화가능도이론 = 23
• 가. 일반화가능도이론의 주요 개념 및 절차 = 23
• 나. 일반화가능도 계수 및 의존도 계수 = 28
• 3. 일반화가능도이론의 연구 설계 = 30
• 가. 연구 설계의 기본 용어 = 30
• 나. 단일국면 설계 = 30
• 다. 두 국면 설계 = 32
• Ⅲ. 일반화가능도 이론의 적용 설계 = 34
• 1. G연구 (p×r) : (g×i) 설계 = 34
• 2. D연구 (p×R) : (G×I) 설계 = 40
• 3. G연구 (p×r) : g 설계 = 47
• 4. D연구 (p×R) : G 설계 = 51
• Ⅳ. 연구 결과 및 논의 = 56
• 1. 대학 입시 전형자료의 G연구 결과 = 56
• 가. 면접·구술시험 = 56
• 나. 추천서 = 57
• 2. 대학 입시 전형자료의 D연구 결과 = 60
• 가. 면접·구술 시험 = 60
• 나. 추천서 = 62
• Ⅴ. 요약, 결론 및 제언 = 68
• 1. 요약 = 68
• 2. 결론 = 70
• 3. 제언 = 71
• 참고문헌 = 73
• 1. 외국 문헌 = 73
• 2. 국내 문헌 = 75
• 부록 = 77
• 1. EMS의 간편결정절차 = 77
• 2. 모집단위별 대학입시 전형자료의 G연구 결과 = 79
• 2-1. 면접·구술 시험의 분산 추정치 (G연구 (p×r) : (g×i) 설계) = 79
• 2-2. 추천서 전형의 분산추정치 (G연구 (p×r) : g 설계) = 82
• 3. 모집단위별 대학입시 전형자료의 D연구 결과 = 84
• 3-1. 채점자 수 변화에 따른 면접·구술 시험의 D연구 결과 = 84
• 3-2. 채점자 수 변화에 따른 추천서 전형의 D연구 결과 = 88
• 4. GENOVA Program = 92
• ABSTRACT = 94