メ-ル文の自動採点のための評価基準とタスク = タスクの達成の可否と必須語に焦点を当てて

국문 초록 (Abstract)

본 연구는 웹상에서 학습자가 메일형태의 작문과제를 선택한 후、 해당작문을 입력하면 자동으로 채점이 가능한 자동채점시스템을 구축하기 위한 기초연구이다. 본 연구에서는 작문의 과제달성 여부를 자동으로 평가할 수 있는 방법을 모색하기 위해「YNU書き言葉コーパス」의 데이터를 사용해 조사를 실시했다. 조사 목적은 ①자동채점에 적합한 작문과제는 어떤 것인가 ②자동채점시스템으로 내용평가가 가능한가의 두 가지였다. 조사 방법은 먼저 본 코퍼스의 메일형식의 작문 한국어모어화자 30명의 6종류의 과제 180건의 데이터와 같은 수의 일본어모어화자의 데이터를 형태소분석기「茶筌」을 사용하여「名詞-一般」「名詞-サ変接続」에 해당하는 어휘를 추출하여 작문과제별로 총어휘수와 필수어휘수를 비교했다. 그 후 필수어휘에 대해서는 『分類語彙表』의 분류기준에 따라 그룹을 나누었다.
형태소분석 결과、 작문과제별로 사용어휘수와 필수어휘에 차이가 보였고、 필수어휘가 적은 작문과제가 자동채점에 적합하다는 것을 알 수 있었다. 일본어모어화자와 한국어모어화자의 필수어휘를 비교한 결과. 수와 종류에 차이가 있었다. 일본어모어화자의 경우 필수어휘와 사용어휘의 차가 별로 없었지만、 한국어모어화자의 경우、 필수어휘 이외의 어휘를 많이 사용하고 있었다. 분류어휘표의 분류기준에 의한 분석에서는 일본어모어화자의 경우는 같은 어휘 카테고리내에서 다양한 어휘를 구사하고 있었으나 한국어모어화자의 경우는 어휘의 종류가 한정되어 있었다.
이러한 조사결과를 바탕으로 앞으로 자동채점에 있어서 필수어휘에 주목하면 작문의 내용을 평가할 수 있고、 과제달성여부도 판단가능할 것이라 생각된다.

다국어 초록 (Multilingual Abstract)

This paper explains the preliminary research of an Automatic Scoring System being developed through which Japanese learners can submit compositions for pre-set tasks to an online scoring application. We investigated the ‘YNU written language corpus’ to find a method by which completion of tasks can be automatically determined.
The aims of this investigation were to determine the feasibility of automatic content evaluation and appropriate tasks for this application. We extracted nouns from 30 compositions from each of 6 tasks written by native Korean speakers(NKS)、and the same number of compositions written by native Japanese speakers(NJS)、 using the morpheme analyzer “Cha-Sen”.
We then categorized the extracted “mandatory words”(MW)using the 『Bunruigoihyo』.
We also compared the number of MW with the total number of nouns used for each task、 and found certain tasks were more appropriate for automatic content analysis、 because the number of MW was small. We found differences in both the number and types of MW used by NKS versus those used by NJS. We also discovered that while NJS did not use unnecessary nouns to complete the tasks、 NKS did. Our analysis of the participants" submissions using the『Bunruigoihyo』showed that NJS used a wider variety of synonyms to express the same notions than NKS.
Based on the results of this investigation、 we came to the conclusion that an automatic scoring system that focuses on MW can not only evaluate the content of compositions、 but also determine the fulfillment of pre-set tasks.

목차 (Table of Contents)

• Abstract
• 1. はじめに
• 2. 先行研究と本研究の位置づけ
• 3. メール文の自動採点システムのしくみ
• 4. 調査方法
• 5. 調査結果
• 6. 考察
• 7. まとめと今後の課題
• 参考文献
• 요지

참고문헌 (Reference)

1 金庭久美子, "일본어교육 연구의 최전선2013" 한국일본어학회 13-26, 2013

2 石岡恒憲, "記述式テストにおける自動採点システムの最新動向" 日本行動計量学会 31 (31): 67-87, 2004

3 水本篤, "自由英作文における評価者評価の種類と信頼性, In 統計数理研究所共同研究リポート 215 学習者コーパスの解析に基づく客観的作文評価指標の検討" 統計数理研究所 43-49, 2008

4 田中真理, "第二言語としての日本語ライティング評価ワークショップ―評価基準の検討―" 独立行政法人国際交流基金 19 : 157-176, 2009

5 田中真理, "第二言語としての日本語における作文評価基準―日本語教師と一般日本人の比較―" 日本語教育学会 96 : 1-12, 1998

6 田中真理, "第二言語としての日本語における作文評価―「いい」作文の決定要因―" 日本語教育学会 99 : 66-71, 1998

7 川上麻里, "汎用性のある作文評価基準の提案を目指した評価項目の検討―日本語教師を対象とした実態調査を通して―" 国際基督教大学 2 : 23-33, 2005

8 島田めぐみ, "東京学芸大学紀要第2部門" 東京学芸大学 105-111, 2000

9 国際交流基金, "書くことを教える" ひつじ書房 2010

10 橋本直幸, "日本語教育のためのタスク別書き言葉コーパス" ひつじ書房 287-303, 2014

11 金澤裕之, "日本語教育のためのタスク別書き言葉コーパス" ひつじ書房 2014

12 長谷川哲子, "意見文の分かりやすさを決めるのは何か?:大学教員による作文評価を通じて" 関西学院大学 (創刊) : 7-18, 2012

13 石岡恒憲, "小論文自動採点" 電子情報通信学会 92 (92): 1036-1040, 2009

14 石岡恒憲, "小論文およびエッセイの自動評価採点における研究動向" 人工知能学会 23 (23): 17-24, 2008

15 斉山弥生, "大学に学ぶ留学生のための作文評価試案" 27 : 67-77, 1994

16 国立国語研究所, "分類語彙表　" 大日本図書 2004

17 齊木ゆかり, "作文評価の標準のために" 8 : 53-69, 1988

18 菊地康人, "作文の評価方法についての一私案" 日本語教育学会 63 : 87-104, 1987

19 三谷閑子, "作文の評価手順が評価に及ぼす影響について―analytic scoringの採点に関して―" 名古屋大学大学院 国際言語文化研究科 日本言語文化専攻 5 : 1-16, 2004

20 金蘭美, "作文の評価基準における一考察―メール文の自動採点に向けて―" 韓国日本語学会 150-156, 2015

21 森田富美子, "作文の評価" 日本語教育学会 43 : 17-33, 1981

22 長谷川守寿, "プレースメントテストにおける作文の評価と形態的特徴の関係について" 筑波大学留学生センター 19 : 1-20, 2004

23 石岡恒憲, "コンピュータによる小論文の自動採点システムJessの試作" 日本計算機統計学会 16 (16): 3-18, 2003

24 香川靖雄, "MCATの改革：小論文の導入" 日本医学教育学会 24 (24): 232-237, 1993