BERT 기반 부산도시철도 민원 자동분류 모델 : 부산도시철도 민원 자동 분류: BERT 언어 모델 활용 = Establishment of BERT-based Busan Urban Railway Civil Complaint Automatic Classification Model

국문 초록 (Abstract)

본 논문은 부산교통공사 인터넷 민원 시스템에 문의되는 민원을 분석하고 이를 담당 부서별로 자동 분류하는 시스템 구축에 대한 연구를 수행하였다. 부산도시철도의 2015~2023년도 공개 민원 데이터 3,089건의 전처리 과정을 통해 파인튜닝에 필요한 데이터셋을 분류 및 구축하였다. 분류에 대한 학습과 테스트 실행을 위해 데이터셋의 분류 코드와 레이블을 분류하여, Hugging Face에서 한국어 사전 훈련된 잘 알려진 네 가지 BERT 모델을 이용하여 민원 자동분류 모델을 구축하여 주요 속성을 파악하였다. 네 가지 모델 중 kikim/bert-kor-base은 82.85%의 가장 높은 자동분류 정확도를 보였다. 테스트 데이터셋의 혼동 행렬에서 오분류한 비율이 가장 높은 코드는 승무와 차량이었으며, 이는 관련 부서의 역할과 민원의 내용이 다소 겹쳐 모델이 혼동한 것으로 추정된다. 본 연구를 통해 여러 BERT 모델의 성능을 비교 분석을 통해 BERT 기반 한국어 민원 자동분류 모델 적용 가능성 및 효과를 검증할 수 있었다. 후속 연구에서는 훈련 과정에서 더 많은 언어 데이터와 복잡한 민원 유형을 포함하여 시스템의 일반화 능력을 강화하는 시스템 최적화가 필요하다.

다국어 초록 (Multilingual Abstract)

This study investigates the development of a system that analyzes customer complaints submitted to the Busan Metro Internet Civil Complaints System and automatically classifies them for assignment to the relevant departments. A dataset for fine-tuning was constructed and classified through a preprocessing process using 3,089 publicly available civil complaint cases from 2015 to 2023 in Busan Metro. For training and testing the classification process, complaint codes and labels in the dataset were categorized, and four well-known pre-trained Korean BERT models from Hugging Face were utilized to build an automatic complaint classification system and analyze key attributes. Among the four models, kikim/bert-kor-base achieved the highest automatic classification accuracy of 82.85%. In the confusion matrix of the test dataset, the codes with the highest misclassification rates were related to train crew and vehicles, which is presumed to result from overlapping roles of the related departments and the contents of the complaints. This study verified the applicability and effectiveness of Korean BERT-based automatic complaint classification models through comparative analysis of the performance of several BERT models. Future studies require optimizing the system to enhance generalization capabilities by including more language data and more complex complaint types in the training process.

목차 (Table of Contents)

• Ⅰ. 서 론 1
• 1. 연구 배경 1
• 2. 연구 목적 2
• 3. 연구의 중요성 3
• Ⅱ. 이론적 배경 4
• 1. 자연어 처리(NLP) 4
• 2. BERT 모델 6
• 3. 부산도시철도 민원 8
• Ⅲ. 연구 방법 13
• 1. 모델 설계 및 데이터 전처리 13
• 2. 모델 구축 17
• Ⅳ. 연구 결과 및 분석 21
• 1. 성능 평가 및 실험 결과 21
• 2. 결과 분석 22
• Ⅴ. 결론 23
• 1. 연구 요약 23
• 2. 연구의 한계점 및 향후 연구 방향 24
• 참고문헌 25
• 감사의 말씀 28