한국어능력시험의 사회적 단면에 관한 연구 : 비판적 담론분석과 평가사용논증을 중심으로

국문 초록 (Abstract)

본 연구의 목적은 교육부 국립국제교육원에서 주관하는 한국어능력시험(Test of Proficency in Korean: TOPIK)의 사회적 단면을 탐색하는 것이다. 한국어능력시험은 한국어를 모국어로 하지 않는 재외동포 및 외국인에게 한국어 학습 방향을 제시하고 이들의 한국어 숙달도를 공식적으로 측정하고 평가하기 위한 한국어 시험이다. 한국어능력시험의 결과는 오늘날 정부, 학교, 기업 단위에서 이주자 대상의 고부담 의사결정을 위해 널리 사용되고 있다.
Messick(1989)이 가치 함축성과 사회적 결과를 타당도 단면에 포함하기 시작하면서 학계 내부에서 언어시험의 사회적 단면에 관한 관심이 높아지고 있다. 일군의 학자들은 심리측정학적 특성뿐 아니라 시험의 영향력, 윤리성, 공정성, 가치, 결과 등과의 관련성 속에서 언어시험의 타당도를 논의해야 한다고 주장하고 있다. 1990년대 중반부터 한국어 평가가 하나의 학제로 자리매김하기 시작했음에도 불구하고, 한국어 시험의 사회적 단면에 관한 논의는 크게 주목을 받지 못하고 있다.
선행 연구를 바탕으로 고부담 언어시험의 사회적 단면에 대한 이론적, 방법론적 논의를 보강하고자 하며, 실증적이고 경험적인 증거를 기반으로 한국어능력시험의 사용과 결과를 논의하고자 한다. 먼저 Fairclough(2011)의 비판적 담론분석을 바탕으로 이주자 대상의 의사결정 도구로서 한국어능력시험의 사용을 둘러싸고 나타나는 담론적 실천·관행을 통시적으로 분석하고자 한다. 그리고 Bachman과 Palmer (2010)의 평가사용논증을 바탕으로 오늘날 대학 맥락에서 행해지는 한국어능력시험 점수 기반의 결정 및 사용의 결과를 분석하고자 한다.
오늘날 한국어능력시험이 이주노동자, 외국인 유학생, 국제결혼 배우자 등 국내 이주자에 대해 강력한 의사 결정력을 행사하고 있는 만큼, 본 연구의 결과는 해당 언어시험의 추후 시행 및 수정에 있어서 유의미한 정보를 제공할 것으로 기대된다.

다국어 초록 (Multilingual Abstract)

The purpose of this study to investigate social dimensions of the Test of Proficiency in Korean, TOPIK, administered by National Institute of for Interna- tional Education. The TOPIK is to set a Korean language path for those who do not use Korean as their first language, and to measure and evaluate their Korean language proficiency officially. The test results are widely used in high- stakes decision making criteria for migrants in the government authorities, educational institutions, and workplaces.
Ever since value implications and social consequences were represented within the facets of validity (Messick, 1989), the social dimension of language testing has been increasingly recognized. Especially, many researchers emphasize that the quality of tests is not judged by their psychometrics traits, but also in relation to their impact, ethicality, fairness, value, and consequence. Despite of the development of Korean language assessment as an academic discipline from the mid- 1990s, little research has been conducted on the social dimensions of Korean language tests.
Based upon review of existing literature, this study is to provide a theoretical and methodological frameworks for investigating the social dimension of TOPIK, and to examine the consequences using the TOPIK and the decision that are made on TOPIK score based on the empirical evidence. Drawing on Fairclough(2011)’s critical discourse analysis, I attempt to analyze diachronically the discursive practices surrounding the use of TOPIK as a decision-making tool in Korean society. It also draws on the structure and rationale of Bachman and Palmer(2010)’s assessment use Argument, and examine the consequences of using an assessment and the decisions that are made on TOPIK scores in university settings. As the uses of TOPIK effect on test stakeholders such as migrant workers, international students, and international marriage migrants, the findings from this study will provide valuable information for the improvement of TOPIK in the future.

목차 (Table of Contents)

• I. 서론 1
• 1. 연구의 배경 1
• 2. 연구의 목적 및 내용 4
• II. 선행 연구 고찰 8
• 1. 고부담 의사결정 도구로서 언어시험 8
• 1) 언어정책과 언어시험 8
• 2) 언어시험과 고부담 의사결정 13
• 2. 언어시험의 사회적 단면 18
• 1) 타당도의 사회적 단면 18
• 2) 평가사용논증(Assessment Use Argument: AUA) 타당화 모형 22
• 3. 담론으로서 언어시험정책 28
• 1) 언어시험정책과 담론 28
• 2) 비판적 담론분석(Critical Discourse Analysis: CDA) 33
• III. 한국어능력시험에 관한 담론분석 39
• 1. 연구방법 39
• 1) 분석 대상: 신문기사 39
• 2) 분석 방법: 비판적 담론분석 40
• 2. 연구 결과 42
• 1) 기술 42
• 2) 해석 50
• 3) 설명 57
• IV. 한국어능력시험의 타당화 연구 63
• 1. 연구방법 63
• 1) 분석 대상: 인터뷰 63
• 2) 분석 방법: 평가사용논증 66
• 2. 연구 결과 68
• 1) 한국어능력시험의 학문 목적 사용 68
• 2) 한국어능력시험의 학문 목적 사용에 관한 결과 추론 69
• 3) 한국어능력시험의 학문 목적 사용에 관한 결정 추론 74
• V. 결론 81
• 1. 결과 요약 81
• 1) 한국어능력시험에 관한 담론분석 결과 요약 82
• 2) 한국어능력시험에 관한 타당화 결과 요약 84
• 2. 연구 제언 87
• 참고문헌 92
• 부 록 109
• 국문초록 124
• Abstract 126

참고문헌 (Reference)

1. “교실붕괴”, 서덕희, 기사에 대한 비판적 담론 분석: 조선 일보를 중심으 로. 교육인류학연구, 6(2), 55-89, , 2003

2. 두꺼운 언어와 얇은 언어, 박명진, 서울: 문학과 지성사, , 2012

3. “한국어교육 평가 연구.”, 장은아, 이중언어학, 47, 351-382, , 2011

4. 신보수주의 복지이론의 이해, 조영훈, 한국사회정책, 21(3), 9-36, , 2014

5. 한국어 교육의 평가 연구 고찰, 송향근, 이중언어학, 41, 209-227, , 2009

6. 한국어 평가연구의 역사적 고찰, 강수정, 언어와 정보사회, 31, 5-63, , 2017

7. 한국어능력시험 어휘 문항 분석, 배윤경, 한국어문화교육, 3, 23-45, , 2009

8. 한국의 영어평가학4: 사회문화편, 신동일, 서울: 한국문화사, , 2012

9. 한국어능력시험의 구인타당도 분석, 민경석, 양길석, 박정진, 언어와 문 화, 8(2), 187-212, , 2012

10. 한국의 영어평가학 2: 말하기시험편, 신동일, 서울: 한국문화사, , 2006

11. 질적 연구 방법론 (김두섭 역.). 서울: 나남, Mason, J., (원저 1996 출 판), , 1999

12. 한국어교육론: 한국어교육의 역사와 전 망, 유석훈, 민현식, 최은규, 조항록, 서울: 한국문화사, , 2005

13. 비판적 담화분석: 담화와 담론이 만나는 장, 최윤선, 서울: 한국문화사, , 2014

14. 접촉의 언어학: 다중언어사회 의 교육과 정책, 김가현, 조은혜, 심우진, 박수현, 신동일, 서울: 커뮤니케이션북스, , 2017

15. 언어와 권력 (김지홍 역.). 서울: 도서출판 경진, Fairclough, N., (원저 1989 출판), , 2011

16. 글로벌 인재와 영어능력에 관한 비판적 담론분석, 신동일, 김가현, 사회 언어학, 24(3), 249-280, , 2016

17. 문제, 권리, 자원으로 바라보 는 언어담론의 탐색, 김가현, 심우진, 박수현, 조은혜, 신동일, 학습자중심교과교육연구, 16(9), 1269-1298, , 2016

18. 텍스트와 담론 분석방법. (남상백 역). 서울: 경진, Wodak, R., Vetter, E., Titscher, S., Meyer, M., (원저 2000 출판), , 2015

19. TOPIK 수험자의 쓰기 영역에 대한 인식과 태도 연구, 곽준화, 사회언 어학, 26(1), 1-21, , 2018

20. 국내 외국인 거주자의 언어권리 침해에 관한 연구, 심우진, 신동일, 이 중언어학, 51, 151-180, , 2013

21. 대중매체 담화분석 (이원표 역.). 서울: 한국문화사, Fairclough, N., (원 저 1995 출판), , 2004

22. 담화와 사회변화 (김지홍 역.). 서울: 도서출판 경진, Fairclough, N., (원저 1992 출판), , 2017

23. 비판이론 관점에서 고부담 영어시험의 속성 재탐색, 신동일, 인문연구, 64(1), 25-60, , 2012

24. 토픽(TOPIK) 쓰기 영역의 지도 방안: 중급을 중심으로, 김현진, 인문과 학연구, 41, 21-43, , 2013

25. 푸코 이론을 기반으로 한 영어시험의 권력 담론 탐색, 신동일, 외국어 교육, 18(2), 233-256, , 2011

26. “한국어능력시험(TOPIK) 쓰기 평가의 채점 특성 연구.”, 안수현, 김정숙, 한국어교육, 28(1), 173-196, , 2017

27. 감시와 처벌: 감옥의 역사 (오생근 역.). 서울: 나남출판, Foucault, M., (원저1993 출판), , 1994

28. 한국어능력시험 읽기 문항 분석: 25, 29, 33회를 중심으로, 박정진, 독 서연구, 34, 147-170, , 2015

29. 시험의 권력 (신동일, 박윤규 역.). 서울: 아카데미프레스, Shohamy, E., (원저 2000 출판), , 2010

30. 중도입국자녀의 언어능력에 관한 미디어 담론분석 연 구, 박수현, 신동일, 사회언어학, 25(3), 93-138, , 2017

31. 한국어능력시험 고급 단계 학습자를 위한 쓰기 지도 방안, 김은희, 국 어교과교육연구, 21, 387-406, , 2012

32. 한국어능력시험(TOPIK) 초급 읽기 영역의 문항 유형과 분류, 양동, 이혁화, 한민족어문학, 65, 171-204, , 2013

33. “한국어 말하기 평가 개발을 위한 채점 경향 분석 연구.”, 김지영, 원미진, 외국어로서의 한국어 교육, 47, 169-193, , 2017

34. 한국어능력시험의 쓰기 53번 문항이 과제 분석 및 개선방안, 김금숙, 새국어교육, 119, 375-403, , 2019

35. 한국어능력시험 문법 문항 유형 분석: TOPIK 시험을 중심으로, 유해준, 한국어정보학, 14(1), 51-62, , 2012

36. 한국어능력시험의 읽기 문항 분석을 통한 읽기 평가 틀 점검, 박선옥, 언어학연구, 26, 71-93, , 2013

37. 학생들은 언제 말문을 여는가?: 원어민 교사 수업을 중심으로, 박종원, 영어교육연구, 16(2), 209-245, , 2004

38. 정책도구로서 사용되는 언어시험: 국내 영어시험을 중 심으로, 임관혁, 신동일, 영어교육, 66(4), 281-305, , 2011

39. 신자유주의 언어정책에 관한 비판적 고찰과 대안 담론의 모 색, 신동일, 외국어 교육, 25(3), 79-105, , 2018

40. '중국인 유학생'에 관한 미디어 담론분석: 조선일보를 중심으로, 조은혜, 신동일, 외국어교육, 24(3), 195-216, , 2017

41. 한국어 말하기 시험의 유형 및 채점 기준 설정을 위한 기초 연구, 이영식, 한국어 교육, 15(3), 209~230, , 2004

42. 한국어능력시험(TOPIK) 중급과 고급 읽기 영역의 문항 유형과 구성, 양동, 이혁화, 인문연구, 69, 11-44, , 2013

43. ‘토플대란'에 관한 신문기사 분석: 비판적 담론분석을 기반으 로, 신동일, 외국어교육, 19(1), 187-210, , 2012

44. 한국어능력시험의 개선방안 연구(Ⅰ) 등급 부 여 방식을 중심으로, 김정숙, 최은규, 김유정, 한국어교육, 16(1), 77-97, , 2005

45. 한국어능력시험의 개선방안 연구(Ⅱ) 평가 문 항 유형을 중심으로, 김유정, 최은규, 김정숙, 한국어교육, 16(2), 91-107, , 2005

46. 학문 목적 한국어 학습자를 위한 국어교육과 한국어능력시험 연구, 김혜영, 국어교과교육연구, 17, 67-92, , 2010

47. 한국어 말하기 평가 타당화를 위한 논거 기반 접근법의 이해와 적용, 이성준, 화법연구, 41, 85-116, , 2018

48. 한국어 말하기 평가 타당화를 위한 논거 기반 접근법의 이해와 적용, 장성준, 화법연구, 41, 85-116, , 2018

49. 한국어능력시험 문항 분석 연구: 제21회 중급 평가 문항을 중 심으로, 이상린, 한문어교육, 25, 495-522, , 2011

50. 언어학적 전환, 비판적 언어학 전통, 그리고 비판적 담론연구 의 출현, 신동일, 질적탐구, 4(3). 1-42, , 2018

51. 한국 정치담화의 언어학적 분석: 비평적 담화분석의 관점을 중심으로, 이원표, 서울: 한국문화사, , 2015

52. 한국어교육 평가 관련 연구동향 분석: 동시출현단어 분 석을 중심으로, 김은실, 강승혜, 한국어교육, 30(3), 1-20, , 2019

53. 한국어교육학: 학문 목적 한국어능력시험 쓰기 문항의 개발 방 향 모색, 이영옥, 새국어교육, 97, 291-326, , 2013

54. 다중언어 사용자와 단일언어주의 기반의 평가 활동에 관한 비 판적 이해, 신동일, 학습자중심교과교육연구, 16(4), 87-118, , 2016

55. 담론으로 접근하는 언어정책탐구 연구방법: 비판적/담 론적 전환으로부터, 신동일, 박수현, 응용언어학, 35(1), 79-105, , 2019

56. 이주자 대상 정책 도구로 사용되는 한국어 시험: 시험 사용의 의도와 효과, 박수현, 신동일, 한국어교육, 30(2), 55-84, , 2019

57. 글로벌 인재와 영어능력에 관한 담론적 실천과 신자유주의 주 체성의 이해, 신동일, 영어학, 18(3), 349-380, , 2018

58. 포획된 저항: 신자유주의와 통치성, 헤게모니 그리고 사회적 기 업의 정치학, 김주환, 서울: 이매진, , 2017

59. 한국어능력시험의 학문 목적 사용에 대한 타당화: 평가사용논증 을 중심으로, 박수현, 한국어교육, 30(3), 21-49, , 2019

60. 사회적 정체성의 형성과 영어학습의 상관성 탐색: 편입 학 준비생을 대상으로, 신동일, 전종운, 교육방법연구, 27(4), 575-600, , 2015

61. ‧황성은, 한국어 능력 시험 중급 듣기 문항 분석 연구 -상황 맥락을 중심으로-, 심혜령, 언어사실과 관점, 32, 237-259, , 2013

62. 논증 기반의 언어평가 타당화 연구의 이해: 고부 담 의사 결정의 맥락으로부터, 박수현, 임관혁, 신동일, 이중언어학, 74, 310-335, , 2019

63. 이다미.한국어 능력 검정 제도의 실시를 위한 기본 연구에 관한 최종 연구 보고서, 김정숙, 김하수, 서상규, 백봉자, 박영순, 윤희원, 교육부, , 1996

64. 한국어능력시험 쓰기 영역 개선 방안에 대한 연구: 구인 타당 도 개념을 중심으로, 서수현, 국어교육, 141, 337-361, , 2013

65. 한국어능력시험(TOPIK) 읽기 텍스트의 난이도 연구: TOPIKⅡ 의 읽기 영역을 중심으로, 신정하, 이중언어학, 62, 29-48, , 2016

66. 영어능력 인증에 대한 비판적 담론분석: 국내 대학의 영어졸업인증제도를 중심으로, 박수현, 신동일, 응용언어학, 32(4), 175-208, , 2016

67. 담화분석방법: 사회조사연구를 위한 텍스트 분석 (김지 홍 역.). 서울: 도서출판 경진, Fairclough, N., (원저 2003 출판), , 2012

68. 영어시험에 관한 담론 정치의 역사성 분석: 신자유주의와 평 가국가의 논점으로부터, 신동일, 응용언어학, 34(3), 65-106, , 2018

69. 한국어능력시험 읽기 영역 난이도 분석: 외국인과 국내 초등학생 간 비교를 중심으로, 박정진, 양길석, 새국어교육, 99, 319-343, , 2014

70. 비판적 담론분석방법을 활용한 타당화 연구의 이해: 이주자 대 상 언어시험의 맥락에서, 신동일, 외국어교육, 26(3), 53-79, , 2019

71. 영어졸업인증제에 관한 미디어 담론의 역사성 분석: 미 셸 푸코의 통치성 이론을 중심으로, 박수현, 신동일, 응용언어학, 34(1), 29-62, , 2018

72. “한국어능력시험 20년 발전사와 최근 동향 ?1997년 제1회 시험부 터 2016년 제52회 시험까지-.”, 김정숙, 한국어교육, 28(3), 1-24, , 2017

73. A.커뮤니케이션 연구 어떻게 할 것인가 (류춘렬, 김대호, 김은미 역.). 서울: 커뮤니케이션북스, Asa Berger, (원저 2000 출판), , 2001

74. 생명관리정치의 탄생: 콜레주드프랑스 강의 1978~79년 (심세광, 전혜리, 조성은 역.). 서울: 난장, Foucault, M., (원저 2004 출판), , 2012

75. 미디어 수용자 연구하기. 한국언론정보학회 (편.), 미디어 문화 연구의 질적 방법론. (pp. 216-296), 나미수, 서울: 컬처룩, , 2016

76. 언어시험의 사회정치적 역할 연구: 한국이민귀화적격시 험(KINAT)에 관한 대중매체 자료를 기반으로, 박성원, 신동일, 다문화교육연구, 8(1), 49-75, , 2015

77. 한국어능력시험 읽기 영역 난이도 설정에 대한 비판적 검토: 제25회~제27회 중급 읽기 영역을 중심으로, 함정식, 김명광, 한민족어문학, 66, 145-185, , 2014

78. 언어평가 사회적 단면 (신동일, 임관혁, 박윤규, 박진아, 김나희, 김종국, 장소영 역.). 서울: 한국문화사, McNamara, T., Rover, C., (원저 2006 출판), , 2013

79. 한국어 능력 시험 평가 문항의 내용 타당도 분석: 제12회 일반 한국어(S-TOPIK) 쓰기 듣기 읽기 영역을 중심으로, 전은주, 국어교육학연구, 31, 129-165, , 2008

80. 언어능력 평가로서 말하기 평가 내용 연구: 한국어 말 하기 평가 개발을 위한 국내외 말하기 평가의 비교 분석을 중심으로, 원미진, 황지유, 어문론총. 75. 45-79, , 2018

81. 스토리텔링 말하기평가도구 OPIc의 논증 기반 타당화 연구: 점 수의 해석, 사용, 결과를 중심으로. 박사학위논문, 중앙대학교, 전종운, 서울, , 2019