거대언어모델을 이용한 목적지향기반 기초연금 상담시스템 = A Large Language Model-based Goal-Oriented Dialogue System for Basic Pension Advisory Service

다국어 초록 (Multilingual Abstract)

Public administrative advisory services, such as the Basic Pension Advisory Service, require accurate policy interpretation and step-by-step information collection based on individual user conditions. However, rule-based chatbots struggle to handle diverse user situations due to their reliance on predefined scenarios, while general-purpose large language model-based chatbots lack explicit mechanisms for policy reasoning and dialogue flow control, limiting their applicability to policy-sensitive administrative counseling tasks.

To address these limitations, this study proposes a LLM-based goal-oriented dialogue system for Basic Pension Advisory Service, built on an NLU–Planner–NLG architecture. In the proposed system, user utterances are structured into policy-relevant slots, and a LLM-based Planner dynamically determines whether to request additional information or generate a final response by jointly considering the user utterance, the current dialogue state, and an external policy knowledge base constructed from official policy documents and official Q&A documents. The system was evaluated using 50 scenario-based Basic Pension advisory dialogues and compared with a general GPT baseline model and a persona-conditioned GPT baseline model. Experimental results show that the proposed model achieves superior performance in accuracy and conciseness, demonstrating its effectiveness in managing policy-driven dialogue flows and supporting reliable Basic Pension Advisory Service.

목차 (Table of Contents)

• - 목 차 -
• 제1장 서 론 1
• 1.1 연구 배경 1
• 1.2 기초연금 제도의 복잡성과 기존 챗봇의 한계 1
• 1.3 목적지향 대화 시스템의 필요성 4
• 1.4 연구 목적 및 논문의 구성 4
• 제2장 관련연구 6
• 2.1 공공기관 챗봇의 도입 배경과 기술적 한계 6
• 2.2 목적지향 대화 시스템 8
• 2.3 LLM 기반 목적지향 대화 시스템의 등장 10
• 제3장 거대언어모델 기반 목적지향형 기초연금 상담 시스템 12
• 3.1 시스템 전체 아키텍처 개요 12
• 3.2 정책 기반 지식베이스 구축 14
• 3.2.1 슬롯 정의 및 구조 14
• 3.3 NLU 설계 15
• 3.3.1 인텐트 분류 15
• 3.3.2 슬롯 추출 16
• 3.3.3 정규화 규칙 설계 16
• 3.4 Planner 설계 18
• 3.4.1 대화 상태 표현 구조 18
• 3.4.2 Planner 동작 절차 18
• 3.4.3 Planner 내 정책 판단 기능 19
• 3.5 NLG 설계 20
• 제4장 실험 22
• 4.1 데이터셋 구성 22
• 4.1.1 시나리오 설계 원칙 22
• 4.1.2 시나리오 요소 22
• 4.1.3 User Simulator 구성 23
• 4.2 실험 환경 23
• 4.3 실험 결과 26
• 4.3.1 전체 성능 비교 개요 26
• 4.3.2 모델별 특성 및 차이 27
• 4.4 시나리오 기반 정성적 분석 28
• 4.4.1 시나리오 설명 및 평가 설정 28
• 4.4.2 모델별 응답 특성 비교 28
• 4.5 종합 분석 및 논의 30
• 제5장 결론 및 향후 연구 32
• 5.1 결론 32
• 5.2 연구의 한계 및 향후 연구 33
• 참고문헌 35
• - 표 목 차 -
• [표 1] 기존 시나리오 기반 챗봇과 제안 시스템 차이 5
• [표 2] 필수 슬롯 (규정 판단에 반드시 필요한 핵심 정보 예시) 14
• [표 3] 보조 슬롯 (정책 판단에 보조로 필요한 핵심 정보 예시) 15
• [표 4] 인텐트 목록 16
• [표 5] 정규화 규칙 유형별 예시 17
• [표 6] Planner Action 종류 및 기능 요약 19
• [표 7] 인텐트별 정책 판단 및 안내 유형 20
• [표 8] 시나리오 예시 23
• [표 9] 평가모델의 핵심적인 내용 요약 24
• [표 10] 제안 모델과 비교 모델의 기초연금 상담 성능 비교 결과 26
• [표 11] 연령 요건 확인 시나리오에서 모델별 최종 응답 사례 비교 29
• - 그 림 목 차 -
• [그림 1] 국민연금공단 챗봇(연금이) 초기 화면 2
• [그림 2] 사용자 질의 입력 후 선택지 제공 화면 2
• [그림 3] FAQ 템플릿 기반 응답 사례(기초연금 신청 관련) 3
• [그림 4] 건강보험공단 챗봇화면 7
• [그림 5] 한국전력공사 챗봇화면 7
• [그림 6] 기존 목적지향 대화 시스템의 흐름 9
• [그림 7] 기초연금 상담 목적지향 대화 시스템 흐름도 12
• [그림 8] 제안 NLG 구조도 21