재중동포 가족 찾기 서신 데이터베이스 구축 및 토픽 모델링과 로컬 대리 분석을 적용한 서신 내용 분석

국문 초록 (Abstract)

본 연구에서는 1974년에서 2008년까지 진행된 KBS 한민족방송 가족 찾기 프로그램으로 발송된 재중동포 서신 8만 여통에 대하여 데이터베이스를 구축하고 서신의 내용을 분석하였다. 서신을 스캔하여 이미지 파일로 생성한 다음, 태그를 사용하여 서신 내용을 요약하여 서신 이미지를 저장하였다. 태그를 기반으로 검색이 가능하며 검색된 서신에 대한 발송지, 발송자, 발송일 정보와 태그를 저장하여 분석에 활용할 수 있도록 하였다. 데이터베이스 구축 시 서신의 주제를 분류하기 위해서 정치, 경제, 문화, 생활 등의 대분류를 정의하였으며, 각 대분류 내에서 구체적 내용을 파악하기 위해 토픽 모델링을 실시하였고 해당 주제에서 중요한 키워드를 찾기 위해서 나이브 베이즈 알고리즘으로 서신 분류 모델을 생성하고 설명가능 인공지능 기술의 하나인 로컬 대리 분석을 적용하여 해당 분야로 분류하게 된 핵심 키워드들을 추출하였다. 정치 분야의 서신 내용으로는 남북 관계, 한국 정부에 대한 요청 등의 주제를 찾아내었고, 경제 분야의 서신 내용으로는 물품 요청 및 국어사전, 일한사전 등과 같은 구체적인 요청 품목을 찾아내었다. 많은 빅데이터 연구가 다양한 학문 분야에서 융합 연구로 이루어지고 있는 반면, 인문학 분야에서 적용된 예는 드물다. 본 연구는 인문학 연구에도 빅데이터 분석에서 활용되는 다양한 분석 기법을 적용하여 성공적으로 결과를 도출할 수 있다는 것을 보여줌으로써 인문학 분야에서의 빅데이터 기반 연구가 의미가 있음을 보여준다.

다국어 초록 (Multilingual Abstract)

In this paper, we presented a correspondence database from ethnic Koreans living in China and content analysis using topic modeling and local surrogates. Scan image files were generated from correspondences and contents were summarized using tags. And then, image files were uploaded into the database. In addition, sender information such as name, location, dates, and subjects were inserted. Topic modeling was applied to specialized subjects such as politics, economy, society, and culture. Also, important keywords were extracted using the local surrogate analysis, one of the explainable artificial intelligence technology. In the subject of politics, the relationship between South Korea and North Korea and requests for improving the status of Korean living in China to Korean government were found. In the subject of economics, requests for daily necessity, dictionary, etc. were found. This paper shows that successful results can be derived from humanities research by applying various big data analysis techniques used in big data research.

목차 (Table of Contents)

• 요약
• 1. 서론
• 2. 서신 데이터베이스 구축
• 3. 서신 발송지 분포 및 출신지 분석
• 4. 태그를 활용한 서신 내용 분석
• 5. 결론 및 향후 연구
• References
• Abstract

참고문헌 (Reference)

1 방한솔, "텍스트마이닝을 이용하여 텍스트의 주요 토픽을 시계열적으로 표현하는 방법론 연구" 한국데이터정보과학회 30 (30): 1259-1276, 2019

2 김현희, "키워드 네트워크의 클릭 분석을 이용한 특허 데이터 분석" 한국데이터정보과학회 27 (27): 1273-1284, 2016

3 임영서, "온라인 고객 리뷰를 활용한 제품 효과 분석 기법" 한국정보처리학회 9 (9): 259-266, 2020

4 손원, "불균형 텍스트 데이터에서 카이제곱 통계량을 이용한 변수 선택의 편향성" 한국데이터정보과학회 31 (31): 807-821, 2020

5 Ribeiro, M. T., "“Why should I trust you?” explaining the predictions of any classifier" 1135-1144, 2016

6 Gunning, D., "XAI-Explainable artificial intelligence" 4 : eaay712-, 2019

7 Kowsari, K., "Text classification algorithms : A survey" 10 : 150-, 2019

8 Blei, D. M., "Latent dirichlet allocation" 3 : 993-1022, 2003

9 Manning, C. D., "Introduction to information retrieval" Cambridge University Press 2008

10 Shickel, B., "Deep EHR : a survey of recent advances in deep learning techniques for electronic health record(EHR)analysis" 22 : 1589-1604, 2018

11 Kim, H., "A machine learning approach to classification of case reports on adverse drug reactions using text mining of expert opinions" 474 : 1072-1077, 2017