중국어 구문분석기의 작동 원리와 응용 사례 - Cparser를 중심으로 = Towards an understanding and application of Chinese parsing: Cparser as an example

다국어 초록 (Multilingual Abstract)

This paper focuses on the process and principle of parsing, which is an essential task for machine to understand the syntactic, semantic structure of a sentence. First, a series of machine analysis procedures such as word segmentation, part-of-speech tagging and parsing of Chinese sentences are visually represented by using Cparser, a rule-based constituency parser developed by Peking University. Next, to better understand parsing mechanism, we explain in detail how the linguistic knowledge is embodied in the lexical, syntactic and semantic component of Cparser, showing their complex interplay that allows automatic parsing. As a practical example, a Chinese textbook treebank is also constructed using Cparser. According to the theoretical and practical discussion in this paper, Peking University Cparser, which is easy to reflect and modify linguistic knowledge, is expected to be widely used as an analysis and verification tool for Chinese grammar research.

국문 초록 (Abstract)

본고는 북경대학교 구문분석기 Cparser를 예시로, 기계의 문장 구조 이해와 의미 처리에 필수적인 요소인 구문 분석(句法分析, parsing)의 과정과 원리를 집중 조명한다. 먼저, 중국어 문장의 단어 경계 분석, 품사 태깅 및 구문 분석 등 일련의 기계 분석 절차와 Cparser의 사용 방법을 시각적으로 명시한다. 이어서, 구문분석기의 작동 원리에 대한 이해를 돕기 위해, 언어학적 이론 지식이 어떻게 Cparser의 어휘부, 통사부, 의미부에 체현되고 이들의 유기적 상호작용을 통해 자동 구문 분석을 실현하는지 구체적 예시와 함께 상세히 설명한다. 또한 실천적 예시로서, Cparser를 활용한 중국어 교재 트리뱅크를 시범적으로 구축한다. 본고의 이론적, 실천적 논의에 따라, 언어학 지식의 반영과 수정이 용이한 북경대학 구문분석기는 중국어 문법 연구에 유용한 분석 및 검증 도구로서 폭넓게 활용될 수 있을 것으로 기대된다.

참고문헌 (Reference)

1 이창호, "트리뱅크(TreeBank)와 중국어교육" 한국중국언어학회 (81) : 205-243, 2019

2 강병규, "통합형 언어 데이터베이스 『현대중국어문법정보사전』의 구축과 활용" 중국어문학연구회 (46) : 191-218, 2007

3 詹衛東, "面向中文信息處理的現代漢語短語結構規則研究" 北京大學 1999

4 王惠, "現代漢語語義詞典(SKCC)的新進展" 2003

5 俞士汶, "現代漢語語法信息詞典詳解" 清華大學出版社 2002

6 俞士汶, "現代漢語語法信息詞典規格說明書" 10 (10): 1-22, 1996

7 詹衛東, "現代漢語樹庫（TreeBank）加工規範（Version 1.0）" 北京大學中文系/北京大學中國語言學研究中心

8 詹衛東, "現代漢語句法結構分析器及語言知識庫調試環境技術文檔" 北京大學中國語言學研究中心

9 朴敏浚, "數字化漢語教學" 清華大學出版社 227-232, 2016

10 俞士汶, "北大語料庫加工規範 : 切分·詞性標注·注音" 13 (13): 121-158, 2003

11 北京大學中文系/北京大學中國語言學研究中心, "北京大學中文樹庫在綫查詢系統"

12 Sipser, M., "Introduction to the theory of computation" Cengage Learning 2013

13 Zhang, H., "HHMM-based Chinese lexical analyzer ICTCLAS" Association for Computational Linguistics (17) : 184-187, 2003

14 Qiu, X., "Fudannlp: A toolkit for Chinese natural language processing" Association for Computational Linguistics 49-54, 2013

15 Zhu, M., "Fast and accurate shift-reduce constituent parsing" 1 : 434-443, 2013

16 Zhan, W., "Enc yclopedia of Chinese Language and Linguistics (3)" Brill Publishing House 332-336, 2016

17 Zhan, W., "An Integrated Chinese Grammar Development Environment" 2004

18 Chen, D., "A fast and accurate dependency parser using neural networks" 2014