학문 목적 기초 한국어 쓰기 능력 평가 척도 개발과 타당성 검증

국문 초록 (Abstract)

이 연구에서는 학부 대학 <글쓰기> 수업의 수준별 분반을 위한 학문 목적 기초 한국어 쓰기 능력을 평가할 준거를 탐색하고 그 타당성을 검증하였다. 본고는 먼저 관련 선행 연구를 검토하여 평가 준거 가설 모형을 설정하고 전국의 글쓰기 및 한국어 교？강사 293명을 대상으로 평가 문항 중요도에 대한 설문을 실시하였다. 이어서 회수한 설문 자료를 토대로 평가 준거 구인에 대한 탐색적 요인 분석과 확인적 요인 분석을 실시하였으며, 델파이 방법과 일반화가능도 이론을 적용하여 3개 범주 10문항으로 구성된 학문 목적 기초 한국어 쓰기 능력 평가 준거를 개발하였다.
이 채점 기준표의 실제적 타당성을 검증하기 위하여 A대학 학부 유학생 30명의 보고서 과제와 B대학 학부 유학생 23명의 시험 답안을 수합한 뒤, 한국어 강사 4명, 대학 강사 3명, 박사과정생 1명, 석사과정생 1명을 선정하여 분석적 평가와 총체적 평가를 수행하였다. 이어서 10개 세부 문항이 총점의 변별에 기여한 상관을 고려하여 100점 만점으로 차등 배점된 분석적 채점 기준표를 완성하였다. 이 채점 기준표는 제1요인 구조의 적절성(36점, 3문항), 제2요인 양식의 정확성(18점, 3문항) 및 양식의 격식성(20점, 2문항), 제3요인 내용의 창의성(26점, 2문항)을 하위 범주로 한다. 이러한 서열 구조의 타당성은 채점 결과에 대한 회귀 분석의 표준화 회귀 계수로써 확인하였다.
유럽공통참조기준에 따라 학문 목적 한국어 쓰기 능력을 등급화하는 과정에는 문항반응이론 가운데 다국면 라쉬 모형을 참조하였다. 다국면 라쉬 모형의 범주 확률 곡선이 학술 과제 수행을 위한 최저 수준으로 구획한 총점 대비 17% 점수 기준을 각 평가 준거 영역의 하한 점수로 설정하였다. 그리하여 총점 17점(구조 6점, 내용 4점, 양식 7점)까지를 학술적 글쓰기 진입 전 단계인 B1급으로, 18점부터 50점까지를 제한적인 학점 이수가 가능한 학문 목적 기초 한국어 쓰기 능력의 최소 등급인 B2급으로 설정하였다. 따라서 51점부터 83점까지는 국내 대학에서 일반적인 전공 영역의 학술적 과제를 수행할 수 있는 C1 등급, 그리고 84점 이상은 문학 전공의 수업도 들을 수 있는 수준이어서 글쓰기 수업에서는 물론 범교과적으로 높은 학점을 기대할 수 있다.
아울러 본고는 학술 담론의 구조-양식-내용 관련 쓰기 지식 수준에 따라 유학생 유형을 8가지로 분류하였다. 본 연구에 참여한 유학생 가운데 학술 담론의 구조-양식-내용 관련 쓰기 지식 수준이 모두 평균 이상인 학문 목적 고급 한국어 쓰기 능력 학습자가 가장 많은 것은 바람직한 현상이다. 그러나 본 연구에서 9%로 집계된 학문 목적 기초 한국어 집단은 학술적인 글을 쓰는 데 필요한 쓰기 지식 수준이 모두 평균 이하이다. 따라서 교양 수업에서 제시하는 기본적인 과제를 수행하려고 해도 먼저 집중적인 학문 목적 한국어 쓰기 교육을 받아야 한다.
본 연구의 의의는 학문 목적 기초 한국어 쓰기 능력 평가 준거에 대한 기존의 질적 연구 성과를 최신의 양적 연구 방법론으로 확인하였다는 점이다. 기존의 쓰기 능력 평가 준거는 소수 전문가 집단의 합의에 의해 도출되었다. 그러나 본고에서 개발한 분석적 평가 척도는 유학생을 대상으로 한국어 및 글쓰기 강의를 하고 있는 교수자의 의견을 직접 반영하여 평가 준거를 구인하는 절차의 타당성을 확보하였다.
전문가 집단의 협의 결과를 중시하는 델파이 방법, 또는 크론바하 알파(？)값이나 Pearson 상관 계수를 추출해내는 고전적 검사 방법만으로는 채점 과정에 영향을 미치는 특정 평가 영역 및 세부 문항의 가중치에 관한 채점 경향 정보를 세밀하게 밝히기 어렵다. 이에 본고에서는 요인 분석과 상관 분석, 일반화가능도 이론, 다국면 라쉬 모형 등 제반 통계적 분석 도구를 적절히 조합하여 사용함으로써, 학문 목적 한국어 쓰기 능력 평가 준거 개발과 등급화의 이론적 타당성과 실제적 타당도를 검증하였다.
설문 참여자나 평가자의 전공과 교육 경력이 상이함에도 공통된 가치 기준이나 채점의 경향성을 찾을 수 있었다는 것도 이번 연구의 성과이다. 그리고 본 평가 척도는 학부 유학 신입생의 학문 목적 기초 한국어 쓰기 능력 수준을 타당하게 등급화하였으므로 대학 <기초 글쓰기> 수업의 수준별 분반 준거로 활용할 수 있다. 또한 동일한 준거로 학기말 성취도 평가를 실시하여 학습자의 세부 쓰기 지식 영역별 성장 정도를 가늠해 볼 수도 있다. 아울러 이 분석적 평가 척도는 평가자의 해석 가능성을 최소화한 계량적 채점 기준표로서 이후로도 동일한 엄격성 수준으로 채점이 수행될 것을 기대할 수 있다. 따라서 본 채점 척도를 적용한 평가 결과는 평가자 양성 훈련이나 학문 목적 기초 한국어 쓰기 교과과정 개발에 참고 자료로 사용될 수 있을 것이다.