기록정보서비스 지능화를 위한 논항구조 기반 챗봇 PoC 구현 및 이중 평가를 통한 검증 = Developing an Argument-Structure–Based Chatbot PoC to Enhance the Intelligence of Archival Information Services and Validating through a Two-Phase Evaluation

국문 초록 (Abstract)

생성형 AI의 대중화로 이용자들이 자연어 기반 대화형 인터페이스에 익숙해지면서 기록정보서비스 분야에서도 단순 키워드 중심의 단발성 검색을 넘어, 원하는 정보를 쉽게 획득할 수 있는 지능형 인터페이스로서 챗봇 서비스가 효과적인 대안으로 주목받고 있다. 본 연구는 사전 연구에서 수립된 질문 유형 분류 체계와 응답 논리 구조를 기반으로, 지능형 기록정보서비스 챗봇 PoC(Proof-of-Concept)를 구현하고 실제 기록관리 기관에 적용 가능성을 검증하는 것을 목적으로 한다. 구현 단계에서는 다섯 가지 응답 안정화 규칙을 적용하였으며, 실제 기록정보서비스에 적용 가능성 검증을 위해 50건의 평가셋을 활용한 정량적 평가와 기록연구사 3인을 대상으로 한 정성적 평가(FGI)를 병행하였다. 정량 평가 결과, 질문 의도 분류 정확도는 96%로 나타났고, 문장 구조 적절성은 84%로 파악되었다. 정성 평가에서는 개발된 챗봇이 대민 행정기관에서 반복적으로 발생하는 질의 대응에 적합하다는 평가를 받았으며, 정보공개청구 전 단계 안내 도구로서의 활용 가능성에 대한 의견도 수렴되었다. 니아가 이중 평가 결과를 종합하여 질문 유형 정교화, 언어 규칙 보완, 복문 구조 고도화, 업무⋅데이터 연계 확장의 네 가지 개선 방향을 도출하였다. 본 연구는 질문 유형 기반 응답 구조를 실제 시스템 환경에서 구현하고, 정량⋅정성적 이중 평가를 통해 그 작동성과 성능을 검증함으로써 기록정보서비스 챗봇 개발을 위한 실증적 모델을 제시하였다는 데 의의가 있다.

다국어 초록 (Multilingual Abstract)

As generative AI has popularized natural language–based conversational interfaces, chatbot services have gained attention as an intelligent alternative to single-turn, keyword-based searches in archival information services. This study implements an intelligent archival information service chatbot Proof of Concept (PoC) based on a previously established question-type classification framework and examines its applicability in archival institutions. The chatbot was developed with five response stabilization rules. Performance was evaluated through quantitative assessment using 50 test queries and qualitative focus group interviews (FGIs) with 3 records management professionals. Results showed 96% accuracy in question-type classification and 84% in sentence structure appropriateness. Qualitative findings indicated suitability for handling repetitive inquiries in public institutions and potential use as a preliminary guidance tool prior to filing an information disclosure request. Based on dual evaluations, four improvement directions were identified: question-type refinement, linguistic rule enhancement, complex sentence handling advancement, and task-data integration expansion. This study presents an empirical model for archival chatbot development by implementing a question-type–based response structure in an actual system environment and validating its functionality and performance through dual quantitative and qualitative evaluations.