절대평가 도입 전후 수능 영어 3점 문항 지문의 난이도 분석 = Analysis of Difficulty Level of the CSAT English 3-Point Question Passages Before and after the Introduction of Criterion-Referenced Assessment

다국어 초록 (Multilingual Abstract)

Analysis of Difficulty Level of the CSAT English 3-Point Question Passages Before and after the Introduction of Criterion-Referenced Assessment Eunjung Na Dept. of English Language and Literature Graduate School Hanbat National University Advisor : Youngju Lee The CSAT (College Scholastic Ability Test) holds significant weight in the education system of Korea, making it crucial to maintain a stable difficulty level each year. Particularly for the 3-point questions in the CSAT English section, which comprise a substantial portion of the overall questions and are of high difficulty, careful attention must be paid to adjusting the difficulty level of the passages used in these questions. Although corpus-based studies analyzing the difficulty of CSAT English questions have been actively conducted, there has been no comparative study focusing exclusively on the difficulty of 3-point question passages before and after the introduction of absolute grading in the CSAT English section. Moreover, this study aims to detail the impact of the introduction of absolute grading on CSAT English questions by showing the results of Coh-Metrix index analysis implemented on actual CSAT English passages for the first time in difficulty research related to Coh-Metrix. This research will provide important insights for future question-setting policies. This study intends to analyze and compare the difficulty of 3-point question passages in the CSAT English section before and after the introduction of absolute grading in 2018. The specific research questions are: first, whether there are differences in technical indices, lexical information, lexical diversity, syntactic complexity, cohesion, and standard readability between the 3-point question passages before and after the introduction of absolute grading; and second, whether there are differences when comparing common question types such as grammar, fill-in-the-blank inference, and sentence positioning within the flow of the text. The study focuses on 64 passages from 3-point questions in the CSAT English section from the academic years 2013 to 2023, divided into those before (2013-2017, 26 passages) and after (2018-2023, 38 passages) the introduction of absolute grading. The difficulty was analyzed using the Coh-Metrix program, which provides 106 indices across various aspects such as vocabulary, syntax, and readability. Based on previous research findings, 13 indices were selected for this study: word syllable count, words per sentence, age of word acquisition, word frequency, concreteness, imageability, type-token ratio, words before the main verb, number of noun phrase modifiers, argument overlap ratio, LSA (Latent Semantic Analysis) overlap ratio, FRE (Flesch Reading Ease), and FKGL (Flesch-Kincaid Grade Level). The comparison of the difficulty of 3-point question passages before and after the introduction of absolute grading across the 13 indices revealed significant differences in three indices: word syllable count, FRE, and FKGL. Specifically, after the introduction of absolute grading, the word syllable count increased, FRE scores decreased, and FKGL scores increased, indicating an overall rise in difficulty. The average word syllable count increased by 0.083, from 1.607 before to 1.689 after the introduction of absolute grading. The average FRE score decreased by 7.507, from 55.275 before to 47.768 after the introduction of absolute grading, and the average FKGL score increased by 1.136, from 9.412 before to 10.548 after the introduction of absolute grading. When examining question types, there were no significant differences across all 13 indices in the fill-in-the-blank inference type before and after the introduction of absolute grading. However, in the grammar type, the type-token ratio increased by 0.078, from 0.178 before to 0.256 after the introduction of absolute grading, indicating an increase in difficulty. Conversely, the LSA overlap ratio decreased by 0.093, from 0.126 before to 0.219 after the introduction of absolute grading, indicating a decrease in difficulty. In the sentence positioning within the flow of the text type, the word frequency decreased by 0.225, from 2.326 before to 2.101 after the introduction of absolute grading, showing a significant difference. Overall, the difficulty of sentence positioning within the flow of the text type passages slightly increased after the introduction of absolute grading. Through the results of this study, it was found that the overall difficulty of 3-point question passages in the CSAT English section increased somewhat after the introduction of absolute grading. By question type, there was an increase in difficulty in some indices for grammar and sentence positioning within the flow of the text types, except for fill-in-the-blank inference. Therefore, this study proposes the following suggestions: First, since the proportion of 3-point questions has remained similar or increased after the introduction of absolute grading, careful attention must be paid to adjusting the difficulty level of passages when setting high-difficulty questions. For grammar questions, although the type-token ratio's difficulty has increased after the introduction of absolute grading, the LSA overlap ratio's difficulty has decreased, making it impossible to definitively discuss the changes in difficulty trends based solely on this study's results. Further analysis is needed in future research. Grammar questions aim to assess examinees' grammar judgment abilities, so it is necessary to carefully set questions to ensure that the repetition of vocabulary or cohesion in the text does not become excessively low, thereby increasing difficulty. Second, it is suggested that teachers use the Coh-Metrix program as a means to ensure consistency in passage difficulty when setting exam questions in the field. Coh-Metrix is a comprehensive text analysis tool that encompasses various aspects such as vocabulary, syntax, cohesion, and readability, allowing for easy and quick analysis and understanding of passage difficulty from multiple perspectives. 부 록 <부록> 2013~2023 학년도 수능 영어 3점 문항 지문 Coh-Metrix측정치 지 표 번 호 분석 지표 21번- 밑줄어 구의미 23번- 주제 30번- 문맥 33번- 빈칸 34번- 빈칸 37번- 글의순 서배열 39번- 문장위 치선택 기술 지표 8 단어음절 수 1.571 1.867 1.743 1.618 1.617 1.552 1.599 문장 내 단어수 15.818 17.222 15.154 16.25 20.556 14.917 17.8 어휘 정보 습득 나이 375.95 394.261 351.6 289.625 369.882 383.778 402.63 92 단어 빈도수 2.198 1.946 2.084 2.104 2.397 2.14 2.204 97 구체성 349.792 370.148 419.447 424.222 325.448 365.981 345.095 98 심상성 389.941 391.814 443.614 443.574 378.459 397.145 387.031 어휘 다양 성 46 타입- 토큰 비율 0.184 0.169 0.181 0.26 0.237 0.277 0.162 통사 적 복잡 성 67 본동사 앞 단어 3.545 6.778 3.385 3.833 3.556 3.583 3.1 명사구 수 식어 수 0.878 0.698 0.909 0.885 0.83 0.804 0.689 응집 성 논항중복 비율 0.182 0.083 0.293 0.431 0.472 0.385 0.2 40 LSA 중복 비율 0.154 0.064 0.094 0.175 0.204 0.237 0.115 표준 가독 성 104 FRE 58.426 31.97 44.465 53.796 49.737 60.818 54.102 105 FKGL 8.904 12.941 10.707 9.71 11.291 8.379 9.986 지 표 번 호 분석지표 21번- 밑줄어 구의미 23번- 주제 29번- 어법 33번- 빈칸 34번- 빈칸 37번- 글의순 서배열 39번- 문장위 치선택 기술 지표 단어음절 수 1.578 1.796 1.596 1.723 1.858 1.635 1.773 문장 내 단어수 14.75 14.727 16 21.5 26.714 17.4 20 어휘 정보 95 습득나이 385.417 416.818 340.667 436.05 462.063 432.529 423.526 92 단어빈도 수 2.195 1.913 2.161 2.062 2.055 1.865 2.033 97 구체성 361.15 324.059 404.984 323.609 298.087 376.304 354.276 98 심상성 393.212 356.206 434.768 358.62 335.396 405.556 384.063 어휘 다양 성 46 타입-토큰 비율 0.168 0.22 0.272 0.178 0.222 0.251 0.27 통사 적 복 잡성 67 본동사 앞 단어 2.333 4 4.909 3.375 2.714 6.1 6.778 68 명사구 수 식어 수 1.19 0.773 1.267 0.708 1.17 1.293 0.857 응집 성 32 논항 중복 0.123 0.382 0.655 0.6 0.286 0.311 0.417 40 LSA 중복 0.12 0.188 0.291 0.23 0.245 0.276 0.332 표준 가독 성 104 FRE 58.703 40.229 56.035 40.516 23.113 51.259 36.99 105 FKGL 8.653 11.217 9.305 12.825 16.53 10.333 12.958 지 표 번 호 분석지표 23번 - 주제 29번-어 법 33번-빈 칸 34번-빈 칸 37번-글 의순서 배열 39번-문 장위치 선택 기술지 표 8 단어음절수 1.678 1.905 1.793 1.805 1.937 1.619 6 문장 내 단어수 17.25 13.231 16.9 17.4 14.818 14.333 어휘정 보 95 습득나이 352.75 380.5 390.867 352.556 389.158 394 92 단어빈도수 2.371 2.113 2.046 2.002 2.232 2.182 97 구체성 387.298 339.574 342 338.771 343.849 349.826 98 심상성 412.979 357.054 382.231 374.359 366.034 371.8 어휘 다양성 46 타입-토큰 비율 0.174 0.228 0.221 0.234 0.258 0.238 통사적 복잡성 67 본동사 앞 단어 4.167 2.615 4.8 5.9 3.182 1.167 68 명사구 수식어 수 0.579 0.66 1.132 0.935 0.8 0.455 응집성 32 논항 중복 0.5 0.227 0.356 0.333 0.2 0.215 40 LSA 중복 0.115 0.18 0.187 0.212 0.233 0.251 표준가 독성 104 FRE 48.086 32.555 38.501 36.979 28.293 55.658 105 FKGL 10.682 11.929 11.963 12 12 8.974 지 표 번 분석지표 21번밑 줄어구 의미 30번-문 맥틀린 낱말선 33번-빈 칸 34번-빈 칸 37번-글 의순서 배열 39번-문 장위치 선택 호 택 기술지 표 8 단어음절 수 1.571 1.646 1.65 1.699 1.893 1.78 6 문장 내 단어수 12.5 19.889 14 17.2 17.727 16.273 어휘정 보 95 습득나이 378.95 346.813 345.852 337.571 397.69 375.762 단어빈도 수 2.094 2.159 2.029 2.136 1.962 2.03 97 구체성 354.167 344.481 386.857 352.878 335.932 365.056 98 심상성 395.127 361.569 406.887 378.146 366.063 391.509 어휘 다양성 46 타입-토큰 비율 0.253 0.221 0.204 0.265 0.252 0.276 통사적 복잡성 67 본동사 앞 단어 2.333 9.889 3 3.8 5.909 3 68 명사구 수 식어 수 0.788 0.66 1.042 0.851 0.896 1 응집성 32 논항 중복 0.247 0.389 0.2 0.378 0.218 0.327 40 LSA 중복 0.119 0.341 0.129 0.216 0.257 0.271 표준가 독성 104 FRE 59.211 47.848 53.426 49.82 30.87 40.861 105 FKGL 8.479 11.416 9.19 9.726 12.825 11.512 지 표 번 호 분석지표 23번-주 제 29번-어 법 33번-빈 칸 34번-빈 칸 37번-글 의순서 배열 39번-문 장위치 선택 기술지 표 8 단어음절 수 1.844 1.6 1.696 1.782 1.567 1.485 6 문장 내 단어수 18.6 14.083 18 12.571 18.4 16 어휘정 보 95 습득나이 393.12 387.667 445.5 384.111 398.88 313.042 92 단어빈도 수 1.948 2.312 2.148 2.074 2.234 2.055 97 구체성 383.66 350.547 306.429 365.143 321.393 394.61 98 심상성 403.985 379.964 360.574 387.915 356.813 440.281 어휘 다양성 46 타입-토큰 비율 0.209 0.24 0.228 0.207 0.257 0.253 통사적 복잡성 67 본동사 앞 단어 3.7 1.25 2 1.357 6.9 3.818 명사구 수 식어 수 1.118 0.783 1.132 0.875 0.56 1.042 응집성 32 논항 중복 0.2 0.185 0.444 0.129 0.422 0.291 40 LSA 중복 0.175 0.187 0.217 0.083 0.279 0.276 표준가 독성 104 FRE 32.563 57.519 45.534 43.753 56.504 65.849 105 FKGL 13.189 8.653 11.27 10.173 9.85 7.937 지 표 번 호 분석지표 28번-어 법 31번-빈 칸 32번-빈 칸 33번-빈 칸 34번-빈 칸 37번-글 의순서 배열 기술지 표 8 단어음절 수 1.56 1.665 1.378 1.721 1.625 1.765 6 문장 내 단어수 14 18.66 10.053 20 12.133 15.9 어휘정 보 95 습득나이 400.045 401.333 341.063 445.556 384.857 442.35 92 단어빈도 수 2.256 2.155 2.202 2.139 2.271 2.125 97 구체성 348 371.25 378.047 356.745 330.631 380.038 98 심상성 386.552 399.717 429.266 375.691 383.254 401.19 어휘 다양성 46 타입-토큰 비율 0.283 0.197 0.312 0.217 0.191 0.205 통사적 복잡성 본동사 앞 단어 5.636 3.889 3.316 4.625 4.067 4.8 68 명사구 수 식어 수 0.61 1.159 0.574 1.205 0.857 0.698 응집성 32 논항 중복 0.345 0.333 0.363 0.286 1.168 0.267 40 LSA 중복 0.219 0.184 0.137 0.252 0.075 0.17 표준가 독성 104 FRE 61.018 47.481 80.605 42.207 57.907 41.987 105 FKGL 8.136 11.164 4.462 12.217 8.131 11.204 지 표 번 호 분석지표 28번-어 법 31번-빈 칸 32번-빈 칸 33번-빈 칸 34번-빈 칸 37번-글 의순서 배열 기술지 표 8 단어음절 수 1.629 1.819 2.112 1.555 1.652 1.556 6 문장 내 단어수 10.688 13.909 14.889 15.3 18.8 15 어휘정 보 95 습득나이 324.7 363.474 443.842 405.92 381.208 336.087 92 단어빈도 수 2.163 1.847 1.778 2.34 2.08 2.234 97 구체성 366.563 381.2 331.444 284.596 376.17 376.365 98 심상성 408.214 413.973 365.9 369.673 401.212 422.431 어휘 46 타입-토큰 0.198 0.231 0.215 0.235 0.179 0.218

목차 (Table of Contents)

• 羅恩廷의 碩士學位 論文을 認准함
• 審査委員長 (인)
• 審 査 委 員 (인)
• 審 査 委 員 (인)
• 2024년 12월
• 國立한밭大學校 大學院
• 목 차
• 표 목 차 ⅳ
• 그 림 목 차 ⅴ
• 국 문 요 약 ⅵ
• I. 서 론 1
• 1. 연구의 필요성 및 목적 1
• 2. 연구 문제 2
• 3. 본 연구와 선행 연구와의 차이점 2
• II. 이론적 배경 3
• 1. 대학수학능력시험(수능) 3
• 1) 수능 영어영역 3
• 2) 영어영역 절대평가의 도입 5
• 2. 코메트릭스(Coh-Metrix) 6
• 3. 선행 연구 9
• III. 연구 방법 13
• 1. 연구 자료 13
• 2. 연구 도구 14
• 3. 코퍼스 구축 방법 15
• 4. 난이도 분석 지표 15
• 1) 기술 지표 16
• 2) 어휘 정보 17
• 3) 어휘 다양성 17
• 4) 통사적 복잡성 18
• 5) 응집성 18
• 6) 표준 가독성 18
• 5. 자료 분석 19
• IV. 연구 결과 및 논의 20
• 1. 수능 영어 절대평가 도입 이전과 이후의 3점 문항의 난이도 비교
• · 20
• 1) 기술 지표 20
• 2) 어휘 정보 21
• 3) 어휘 다양성 21
• 4) 통사적 복잡성 21
• 5) 응집성 21
• 6) 표준 가독성 22
• 2. 세 가지 문항 유형의 절대평가 도입 이전과 이후의 난이도 비교
• 분석 23
• 1) 어법 문항 23
• 2) 빈칸 추론 문항 25
• 3) 글의 흐름상 주어진 문장이 들어가기에 적절한 곳 고르는 문항
• · 26
• 3. 세 가지 문항 유형의 실제 지문 분석 27
• 1) 어법 문항 27
• 2) 빈칸 추론 문항 29
• 3) 글의 흐름상 주어진 문장이 들어가기에 적절한 곳 고르는 문항
• · 31
• V. 결론 및 제언 35
• 1. 결론 35
• 2. 제언 36
• VI. 참 고 문 헌 37
• VII. ABSTRACT 40
• 부 록 42