대학생 학업성취도와 대학입학전형 요소의 관계에 대한 메타분석 = A Meta-Analysis on the Relation between Collage Academic Achievement and Admission Factors

다국어 초록 (Multilingual Abstract)

The college admission process, based on fair principles and methods, is a means to select students that colleges require. Therefore, current elements of the college admission process must accurately predict the potential scholastic aptitude of the students colleges seek to obtain. However, whether current admission factors demonstrate a high predictive validity remains a controversial question, since preceding research proposes mixed results on the influence and the predictive power of these factors. This study has, therefore, attempted to provide suggestions in creating a highly valid college admission process system in the future, by conducting an integrated analysis on the effectiveness of admission factors that influence college student academic achievement, and comparing the effect size of current admission factors to draw a general conclusion.

A meta-analysis on the research outcomes that provided analysis results of the correlation between admission factors and college student academic achievement in Korean college students admitted after the College Scholastic Ability Test (CSAT, also abbreviated as Suneung) was first conducted in 1994. It revealed that the average effect size of admission factors such as CSAT, school records, interview, and essay examination all showed meaningful static effectiveness on the level. However, unlike school records and interview factors, the effectiveness of the CSAT and essay examination in the admission process was slight, and did not surpass the rate of 0.1, the cut-off score of the ‘small effect size’ that Cohen(1988) proposed. This means that current admission factors, except for school records and interview, are rather ineffective measuring instruments in predicting college student academic achievement. On the other hand, this also shows that school records and interview can be recognized as factors with a relatively high predictive validity among admission factors in that they each showed a moderate effect size.

This correlates with the results of preceding researches that school records have a stronger predictive effectiveness on college student academic achievement than the CSAT. In terms of predictive validity, this result shows the common belief that the CSAT – as a nationwide standardized test – is the fairest and most objective evaluation method is not in accordance with the reality.

If we were to assess the appropriate reflection ratio of admission factors based on the study results above, we would have to give weight to school records, interview, essay examination, and CSAT in decreasing order, according to the relative effect size. In particular, the actual reflection ratio of school records should be increased so as to be utilized as credible information in predicting college student academic achievement. However, overall reconsideration of current admission factors will still have to be made, since all of these factors, including school records, each have an effect size rate of less than 0.2. A new mechanism to record and assess learners’ cognitive and affective traits in detail on a high school level is also called for.

In this study, a general conclusion was drawn on the effectiveness of admission factors in the Korean college admission process, by attempting to put together and meta-analyze the effectiveness of admission factors on predicting college student academic achievement, and then checking their effect sizes. Also, in terms of research methodology, this study compensated for the defects of the traditional testing method for the regulation effect by utilizing both the analog to ANOVA and meta-regression analysis.

Practically speaking however, this study discloses the possibility of publication bias because meta-analysis could only be conducted on published researches. Also, due to the pursuit of the simplicity of research models as well as the insufficient accumulation of research that provides the variables of research properties, the lack of diversity and detail in moderator variable analysis leaves much to be desired. If related researches putting diverse variables into consideration is sufficiently accumulated in the future, the creation of a more stable regression model will become possible through further research.

국문 초록 (Abstract)

대학입학전형은 공정한 원리와 방법으로 대학에서 요구하는 학생을 선발하는 수단이다. 따라서 현행 대학입학전형 요소는 대학이 얻고자 하는 학생의 잠재적 수학능력에 대한 정보를 정확히 예측하고 있어야 한다. 하지만 대학입학전형 요소들에 대한 영향력 및 예측력에 대해 각기 다른 결과를 제시하는 선행 연구들이 혼재하는 까닭에 현행 대학입학전형 요소들이 높은 예측타당도를 보이고 있는지에 대해서는 아직까지 논란의 여지가 많다. 따라서 본 연구에서는 대학생 학업성취도에 영향을 미치는 대학입학전형 요소들의 효과를 통합적으로 분석하고 일반적인 결론을 도출하기 위해 현행 대학입학전형 요소들의 효과크기를 비교하여 향후 타당도 높은 대학입학전형 제도를 마련하기 위한 시사점을 제공하고자 했다.

1994년 수능이 실시된 이후에 입학한 국내의 대학생들을 대상으로 대학입학전형 요소들과 대학생 학업성취도 사이의 상관분석 결과를 제공했던 연구결과들을 메타분석한 결과, 수능, 내신, 면접, 논술을 비롯한 대학입학전형 요소들의 평균 효과크기는 모두 수준에서 유의미한 정적 효과를 보였다. 그러나 내신과 면접을 제외한 수능, 논술은 작은 효과만을 보였을 뿐, Cohen(1988)이 제시한 작은 효과크기의 기준인 0.1을 넘지 못했다. 이는 내신과 면접을 제외한 현행 대학입학전형 요소들이 대학생의 학업성취도를 예측하는 데 별로 효과적이지 못한 측정 도구임을 의미한다. 반면, 내신과 면접은 중간 정도의 효과크기를 나타냈다는 점에서 대학입학전형 요소들 중 예측타당도가 높은 요소라고 평가할 수 있다.

이는 내신이 수능보다 대학생 학업성취도에 더 큰 영향을 미친다는 기존 선행연구의 결과와 일맥상통한다. 전국 단위 표준화 검사로서 수능이 가장 공정하고 객관적인 평가도구라는 대중들의 통념은 예측타당도의 측면에서 큰 차이가 있음을 보여주는 결과이다.

이상의 연구 결과로부터 대학입학전형 요소들의 적절한 반영비율을 산정해본다면, 효과크기가 높은 순서에 따라 내신, 면접, 논술, 수능 순으로 비중을 두어야 할 것이다. 특히 내신에 대한 실질반영 비율을 높여 대학생 학업성취도에 대한 예측력 있는 정보로 활용해야 한다. 하지만 내신을 포함한 현행 대학입학전형 요소들의 효과크기가 모두 0.2 미만으로 낮기 때문에 현행 대학입학전형 요소 전반에 대한 재고가 필요하다. 고교 차원에서 학습자의 인지적·정의적 특성을 상세히 기록하고 평가할 수 있는 새로운 측정방식의 도입이 요청된다.

본 연구는 국내에서 대학입학전형 요소들이 대학생 학업성취도에 미치는 영향을 처음으로 종합하여 메타분석을 시도하고 그 효과크기를 확인함으로써 국내의 대학입학전형 요소들의 효과에 대해 일반적인 대결론을 도출할 수 있었다. 또한 연구 방법론적인 측면에서 유사분산분석과 메타회귀분석을 함께 사용하여 전통적인 조절효과 검정 방식의 한계점을 보완하였다.

하지만 현실적으로, 출판된 연구만을 대상으로 메타분석을 실시할 수밖에 없었다는 점에서 출판 편향의 가능성을 노정하고 있다. 또한 연구 모형의 간명성 추구와 연구특성 변인을 제공하는 연구물의 불충분한 축적으로 인해 다양하고 세밀하게 조절변인을 분석하지 못했다는 점에서도 한계가 있다. 추후 다양한 변인들을 함께 고려하고 있는 관련 연구물들의 축적이 충분히 이루어진다면, 후속 연구를 통해 더 안정적인 회귀모형을 만드는 것이 가능할 것으로 보인다.

목차 (Table of Contents)

• Ⅰ. 서 론 1
• 1. 연구의 배경 및 필요성 1
• 2. 연구의 목적 4
• Ⅱ. 이론적 배경 5
• 1. 예측타당도의 관점에서 본 대학입학전형 제도의 문제점 5
• 2. 메타분석의 필요성 6
• 3. 대학입학전형 요소의 효과에 대한 선행연구 8
• 4. 메타분석 10
• 1) 메타분석의 출현 배경 10
• 2) 메타분석의 개념 및 특징 12
• 3) 메타분석이 필요한 상황 및 적합한 자료의 조건 14
• 4) 메타분석의 절차 14
• 5) 메타분석의 장점 및 한계점 16
• Ⅲ. 연구 내용 및 방법 19
• 1. 연구 문제 및 가설 설정 19
• 2. 연구의 절차 20
• 3. 분석 자료 수집 및 범위 설정 23
• 1) 분석 자료의 선정 기준 23
• 2) 자료의 검색 및 선택 24
• 4. 대상 논문의 특성변인 분석 및 코딩 25
• 1) 자료의 코딩 25
• 2) 데이터의 입력 26
• 5. 메타 통계 분석 26
• 1) 개별 연구의 효과크기 계산 및 해석 26
• 2) 효과크기의 동질성 검정 29
• 3) 평균 효과크기 및 신뢰구간 계산 31
• ① 고정효과모형(fixed effect model) 31
• ② 무선효과모형(random effect model) 32
• 4) 출판 편향 및 성패를 가늠하는 연구의 수 계산 33
• 5) 유사분산분석을 통한 조절효과 검정 34
• 6) 메타회귀분석을 통한 조절효과 검정 35
• 6. 분석 결과 제시 및 해석 37
• 1) 메타분석 결과의 제시 37
• 2) 효과크기의 해석 37
• Ⅳ. 연구 결과 38
• 1. 수능 38
• 1) 분석대상 연구의 특성 38
• 2) 대학생 학업성취도에 대한 수능의 효과크기 및 연구 간 동질성 40
• ① 개별연구의 효과크기 분석 40
• ② 전체 평균 효과크기 및 연구 간 동질성 43
• ③ 출판 편향 및 성패를 가늠하는 연구의 수 44
• 3) 연구특성 변인의 조절효과 검정 46
• ① 유사분산분석을 이용한 조절효과 검정 47
• ② 메타회귀분석을 이용한 조절효과 검정 48
• 2. 내신 49
• 1) 분석대상 연구의 특성 49
• 2) 대학생 학업성취도에 대한 내신의 효과크기 및 연구 간 동질성 51
• ① 개별연구의 효과크기 분석 51
• ② 전체 평균 효과크기 및 연구 간 동질성 54
• ③ 출판 편향 및 성패를 가늠하는 연구의 수 56
• 3) 연구특성 변인의 조절효과 검정 57
• ① 유사분산분석을 이용한 조절효과 검정 58
• ② 메타회귀분석을 이용한 조절효과 검정 59
• 3. 면접 60
• 1) 분석대상 연구의 특성 60
• 2) 대학생 학업성취도에 대한 면접의 효과크기 및 연구 간 동질성 61
• ① 개별연구의 효과크기 분석 61
• ② 전체 평균 효과크기 및 연구 간 동질성 62
• ③ 출판 편향 및 성패를 가늠하는 연구의 수 64
• 3) 연구특성 변인의 조절효과 검정 65
• ① 유사분산분석을 이용한 조절효과 검정 66
• ② 메타회귀분석을 이용한 조절효과 검정 66
• 4. 논술 67
• 1) 분석대상 연구의 특성 67
• 2) 대학생 학업성취도에 대한 논술의 효과크기 및 연구 간 동질성 69
• ① 개별연구의 효과크기 분석 69
• ② 전체 평균 효과크기 및 연구 간 동질성 70
• ③ 출판 편향 및 성패를 가늠하는 연구의 수 71
• 3) 연구특성 변인의 조절효과 검정 73
• ① 유사분산분석을 이용한 조절효과 검정 74
• ② 메타회귀분석을 이용한 조절효과 검정 74
• 5. 대학입학전형 요소의 효과크기 및 조절변인 비교 75
• 1) 대상 연구물 및 표본의 수 75
• 2) 대학입학전형 요소의 평균 효과크기 및 출판 편향 비교 76
• 3) 조절변인 비교 77
• Ⅴ. 결론 78
• 1. 요약 및 논의 78
• 2. 연구의 의의 및 시사점 81
• 3. 연구의 제한점 및 후속 연구를 위한 제언 82
• 참고문헌 84
• <부록 1> 분석대상 논문 92
• <부록 2> 코딩북: 분석대상 논문의 통계치 코딩 95
• 1) 수능 95
• 2) 내신 99
• 3) 면접 103
• 4) 논술 104
• <부록 3> 코딩북: 분석대상 논문의 연구특성 변인 코딩 106
• 1) 수능 106
• 2) 내신 110
• 3) 면접 114
• 4) 논술 115
• ABSTRACT 117