『한국문집총간』 엔그램 분석 프로그램 개발 연구 = A Study on the Ngram analysis programof 『Korea Literature Series』

다국어 초록 (Multilingual Abstract)

Now the study of Korean Chinese literature is entering a new turning point. Big data processing technology allows access to research that is different from before. However, the application of research is hard to expect unless the researcher of Korean Chinese literature has an understanding of technology. Google’s "Ngram Viewer" shows how big data technology can be achieved by applying it to Korean Chinese literature. Korea Literature Series of the Korean Classical Database is a good source for the establishment of the Korean-style Ngram viewer. This research is trying to establish an Ngram viewer by reviewing problems caused by the development of the elementary level of the Ngram analysis program and looking for ways to improve it.
Basically, Copus builds on the basis of analysis. However, Korea Literature Series was unfortunately designed as a searchable text concept. Therefore, it is necessary to rework the data to try to analyze big data. The difficulty of rework requires a precise algorithm to handle it because the author has mixed other works or there are data to be excluded from the analysis, such as footnotes. In addition, accurate analysis is possible only after processing the words that are synonymous with the transferor, classifying the style and processing of the title.
In order to build an Ngram viewer, an Ngram analysis program is required first. Ngram analysis is possible on a syllable or syntactic word basis, but syllabic unit analysis is essential due to the nature of Korean Chinese literature data, which cannot accurately distinguish words. Through syllabic unit analysis, the currently developed program provides statistics by gram, shared gram and gram similarity Measurement for the book collection and the function of searching for similar passages and sides of the collection. However, only one-on-one comparisons are possible between the collection and the collection, and analysis of the entire collection is not yet possible. By improving the accuracy of the program by improving errors through test analysis, and adding various functions, the Korean-style Ngram Viewer is available based on this basis. The Korean-style Ngram Viewer is a research aid, and its success or failure depends on the researchers’ ability to understand the nature of the Korean Chinese literature materials and design programs that can be useful. To complete the Korean-style Ngram Viewer, the difficulties reviewed by the main office must be solved, which has limitations with individual efforts alone. We look forward to the active interest and support of the academic community.

국문 초록 (Abstract)

지금 한문학 연구는 새로운 전환기를 맞이하고 있다. 빅데이터 처리 기술을 통하여 이전과 다른 연구 접근이 가능해졌다. 그러나 한문학 연구자가 기술에 대한 이해가 없다면 연구의 적용은 기대하기 어렵다. 빅데이터 기술을 우리 한문학에 적용하면 어떠한 성과를 얻을 수 있는 보여주는 것이 구글의 엔그램 뷰어(Ngram viewer)이다. 한국고전종합DB의 한국문집총간은 우리나라의 엔그램 뷰어를 구축할 수 있는 좋은 자료이다. 본고는 초보적 수준의 한국문집총간 엔그램 분석 프로그램을 개발하면서 발생한 문제점을 검토하고 그 개선 방향을 모색하여 향후 엔그램 뷰어를 구축하려는 연구이다.
기본적으로 코퍼스는 분석을 전제로 구축한다. 그러나 한국문집총간은 아쉽게도 검색이 가능한 텍스트의 개념으로 설계하였다. 그러므로 빅데이터 분석을 시도하려면 자료의 재가공이 필요하다. 재가공의 어려움은 작자가 다른 작품이 섞여 있거나 각주와 같이 분석에서 제외해야 할 자료가 있으므로 이를 처리할 정밀한 알고리즘이 필요하다. 이외에도 이체자와 동의어의 처리, 문체 분류와 제목의 처리 등을 해결해야 정확한 분석이 가능하다.
엔그램 뷰어를 구축하려면 먼저 엔그램 분석 프로그램이 필요하다. 엔그램 분석은 음절 혹은 어절 단위로 가능하지만, 어절을 정확히 구분할 수 없는 한문학 자료의 특성상 음절 단위 분석이 필수적이다. 현재 개발한 엔그램 프로그램은 음절 단위 분석을 통하여 문집의 그램별 통계, 문집과 문집의 공유 그램, 그램 유사도 수치를 제공하고 문집과 문집의 유사한 구와 편을 찾아주는 기능이 있다. 하지만 문집과 문집 일대일 비교만 가능하고 전체 문집을 대상으로 한 분석은 아직 불가능하다. 시험 분석을 통하여 오류를 개선하여 엔그램 분석 프로그램의 정확도를 높이고 다양한 기능을 추가하면 이를 바탕으로 한국형 엔그램 뷰어가 가능하다. 한국형 엔그램 뷰어는 연구의 보조도구이며, 그 성패는 한문학 자료의 성격을 이해하고 유용하게 활용할 수 있는 프로그램을 설계할 수 있는 연구자의 역량에 달려 있다. 한국형 엔그램 뷰어를 완성하려면 본고에서 검토한 난관들을 해결하여야 하며, 이는 개인의 노력만으로 한계가 있다. 학계의 적극적 관심과 지원을 기대한다.

참고문헌 (Reference)

1 "한국문집총간"

2 이병찬, "한국 한시 코퍼스 구축과 활용 방안 연구" 근역한문학회 53 : 153-177, 2019

3 박명수, "코퍼스언어학의 이해와 실제" 한빛문화 2017

4 권혁승, "코퍼스 언어학 입문" 한국문화사 2012

5 토니 매케너리, "코퍼스 언어학" 고려대학교 출판문화원 2018

6 에레즈 에이든, "빅데이터 인문학: 진격의 서막" 사계절 2015

7 이병찬, "빅데이터 분석 방법을 활용한 한시 영향관계 분석을 위한 시론" 어문연구학회 94 : 107-129, 2017

8 김바로, "딥러닝으로 불경 읽기 - Word2Vec으로 CBETA 불경 데이터 읽기" 원불교사상연구원 (80) : 249-279, 2019

9 유인태, "디지털 인문학과 한문학 연구－고문헌 자료 대상 국내 디지털 인문학 연구 사례를 중심으로－" 근역한문학회 49 : 43-76, 2018

10 김현, "디지털 시대의 漢文學 －데이터로 소통하는 고전 인문 지식－" 근역한문학회 49 : 9-42, 2018

11 류정민, "디지털 방법론과 문학 연구의 신형식주의－문학 실험실 (Literary Lab)을 중심으로－" 근역한문학회 49 : 77-98, 2018

12 易用, "计算机辅助诗词创作中的风格辨析及联语应对研究" 중경대학 2005

13 胡俊峰, "基于词滙语义分析的唐宋诗计算机辅助深层硏究" 북경대학 2010