언어 자원과 자연어처리 시스템을 활용한 스마트폰 기반의 지능적 영작문 자동 평가 시스템

다국어 초록 (Multilingual Abstract)

This research builds the system for evaluating English caption writing using language resources and language processing software. The system aims to handle the caption writing question type, one of the Toeic writing test. We intended to build intelligent system based on deep linguistic analytic knowledge concerning English caption sentences. In the first year, we approached the system using rule-based models. We gathered the error corpus, which contained both style and grammar errors and built rules to notify which rules are broken by writing exam takers and to express how rules are violated. We used Open Source LanugageTool. In the second year, we approached the evaluation system. We experimented a group of students. We gave them some pictures and made them some captions. We previously prepared some lists of answers corresponding pictures for the experiments and compared answer corpus. We compared a list of statistical comparing methods using logistic regression, finding out which method(s) is(are) appropriate for the test result.

국문 초록 (Abstract)

본 연구는 스마트폰에 기반을 두고 언어 자원과 자연어 처리 시스템을 활용한 지능적 영작문 자동 평가 시스템 구축을 목표로 한다. 본 연구에서는 많이 이용되는 토익 쓰기 문제 유형 중 사진에 근거한 문장 만들기 문제를 스마트폰에서 어플리케이션 형태로 구현하고자 하는데, 학습자의 답안을 깊은 언어지식으로 평가해서 오류 유형과 수정방안을 자동적으로 지능적인 형태로 제시하고자 한다. 1차년도 연구에서는 영어 작문 스타일 및 문법 교정을 규칙 기반으로 접근했다. 오류 코퍼스를 수집하고 이를 기초로 일정한 분류 기준에 따라 오류 유형을 분류하고, 규칙 기반 시스템에 적용해서 오류 발견 및 수정 규칙을 작성했다. 연구에서 활용한 규칙 기반 시스템은 오픈 소스로 배포되는 LanguageTool을 활용했다. 2차년도 연구에서는 사진 자막 평가에 대한 부분을 더 심도있게 연구했다. 자막과 연관된 평가를 위해서 주어지 사진을 주고 일정한 자막을 완성하게 하는 실험을 진행해서 결과물을 수집했다. 이를 토대로 미리 주어진 답안과 평가하는 방식을 연구했다. 실험은 피실험자 집단에게 사진을 제시하고 설명하는 영어 자막을 작성하게 해서, 순위를 매기고 측정치와 비교해 보았다. 여러 비교 기준을 로지스틱 다중 회귀를 통해서 결합시켜서 어떠한 척도가 가장 적절한지를 통계적으로 비교했다.