다단계 요약 및 검색 기반 추론 기능을 가진 그룹 메시징 서비스에 관한 연구 = A Study on Group Messaging Service with Multi-Level Summarization and Retrieval-Augmented Reasoning

국문 초록 (Abstract)

최근 생성형 인공지능(Generative AI) 기술의 급속한 발전에 따라 기업, 교육, 연구 등 다양한 협업 환경에서 대화형 AI 도구의 활용이 빠르게 확산되고 있다. 그러나 대부분의 상용 대화형 AI 서비스는 클라우드 기반으로 동작하기 때문에 개인정보 유출 위험이 존재하며, 장기간의 대화 맥락을 유지하기 어렵고, 동일한 그룹 채팅 환경 내에서 사용자별 사적 질의(Private Query)를 안전하게 처리하는 데 한계가 있다. 또한 기존 협업 플랫폼에 통합된 AI 기능들은 단순 요약이나 키워드 추출 수준에 머무르는 경우가 많아, 대화 문맥에 기반한 정교한 검색 기능(Retrieval-Augmented Generation, RAG)이나 문서 기반 근거 생성 기능을 통합적으로 제공하지 못한다는 문제점을 지닌다. 이러한 한계를 극복하고 그룹 메시징 시스템이 실질적인 지능형 협업 도구로 발전하기 위해서는, 클라우드 의존 없이 동작 가능한 완전 로컬(Local-first) 구조와 프라이버시 보호, 장기 대화 기억, 근거 기반 추론, 다단계 요약 기능을 통합적으로 제공하는 새로운 아키텍처가 요구된다.
본 논문에서는 이러한 요구를 충족하기 위해 완전 로컬 환경에서 동작하는 대형 언어 모델(Large Language Model, LLM) 기반 지능형 그룹 메시징 플랫폼을 제안한다. 제안 시스템은 (1) 프라이버시 보호를 위한 개인 응답 기능(Private Query), (2) 대규모 대화 이력을 FAISS(Facebook AI Similarity Search) 기반 벡터 데이터베이스로 저장·검색하는 대화 기반 RAG, (3) 업로드된 문서를 지식으로 변환하여 근거 중심 답변을 제공하는 문서 기반 RAG, 그리고 (4) 대화 내용을 Basic, Intermediate, Advanced의 세 단계로 자동 요약하는 다단계 요약(Multi-Level Summarization) 기능을 통합한 새로운 형태의 그룹 메시징 지능 플랫폼이다. 시스템의 가장 큰 특징은 모든 LLM 추론과 대화·문서 임베딩이 사용자 로컬 장치(CPU 또는 GPU)에서 수행되며, 외부 네트워크로 데이터가 전송되지 않는 완전한 오프라인 환경을 제공한다는 점이다.
첫 번째 핵심 기술은 그룹 채팅 내에서 개인화된 AI 응답을 제공하는 Private Query(PQ) 기능이다. 기존 메시징 도구에서는 AI 응답이 모든 사용자에게 공개되어 대화 흐름을 방해하거나 개인 질의 수행이 어려운 문제가 있었다. 본 연구에서는 @aria/ 명령어를 통해 사용자가 그룹 채팅 내에서 자연스럽게 AI에게 질문하되, 생성된 응답이 privateTo 필드를 통해 요청자에게만 전달되도록 구현하였다. 이 기능은 Socket.IO 기반의 개인 세션 전달 구조와 MongoDB의 조건부 필드 관리 방식을 결합하여 실시간 비공개 AI 상호작용을 안전하게 제공한다. 성능 평가 결과, Windows 기반 GPU 환경에서 평균 30–90 ms의 TTFT(Time To First Token)와 약 700–800 ms 수준의 TTFR(Time To Full Response)을 기록하여 매우 우수한 실시간 응답성을 확인하였다.
두 번째 핵심 기술은 대규모 대화 이력에 기반한 대화 기반 RAG(Conversation-based RAG) 기능이다. 일반적인 LLM은 컨텍스트 윈도우 제한으로 인해 긴 대화 기록을 모두 활용하기 어렵지만, 본 시스템은 @aria-save 명령을 통해 모든 대화를 구글 AI에서 지원하는 대규모 고차원 벡터 데이터의 유사도 검색 및 클러스터링을 지원하는 FAISS 벡터 데이터베이스로 임베딩하여 장기 기억 구조를 구축한다. 이후 사용자가 @aria-chat/ 질의를 입력하면, 시스템은 의미적으로 관련된 메시지를 빠르게 검색하여 근거 기반 응답을 생성한다. 제안된 RAG는 의미 기반 검색과 재정렬을 결합한 다단계 검색 구조를 사용하며, 10,000개 이상의 메시지가 저장된 환경에서도 검색 지연 시간이 70 ms 미만으로 유지됨을 확인하였다. 또한 인적 평가 기반 문답 정확도 실험 결과, Qwen 3 (8B) 모델은 최대 0.85의 의미적 정확도와 0.84–0.87 범위의 Faithfulness Score를 기록하여 안정적인 사실 기반 응답 성능을 보였다.
세 번째 핵심 기술은 문서 기반 RAG(Document-based RAG) 기능으로, 사용자가 업로드한 PDF 문서를 자동으로 분할·임베딩하여 지식 저장소로 변환한다. @aria-doc/ 명령을 통해 문서 기반 질의를 수행하면 FAISS, BM25, 재정렬 모듈을 결합한 하이브리드 검색을 거쳐 근거 중심의 답변이 생성된다. 성능 평가 결과, 문서 기반 RAG는 Recall@10 = 0.82, MRR@10 ≈ 0.92를 달성하여 높은 검색 정확도와 순위 안정성을 보였다. 다만 생성형 모델의 특성상 답변이 상대적으로 서술적으로 생성되는 경향이 있어, 엄격한 추출 기반 평가를 수행한 일부 기존 연구에 비해 Faithfulness Score가 다소 낮게 나타나는 특성을 확인하였다.
네 번째 핵심 기술은 대화 내용을 구조화된 보고서 형태로 자동 생성하는 다단계 요약 기능(Multi-Level Summarization, MLS)이다. 요약은 Basic, Intermediate, Advanced의 세 단계로 제공되며, 사용자는 목적에 따라 요약 수준을 선택할 수 있다. 특히 Advanced 모드는 발화자 기반 분석, 시간 순 구조화, 결정 사항 및 Action Item 도출을 포함한 고도화된 문서형 보고서를 자동 생성하며 PDF 형태로 제공된다. ROUGE 평가 결과, Qwen 3 (8B) 모델은 ROUGE-1 = 0.5856, ROUGE-Lsum = 0.5506의 높은 성능을 기록하였다. 또한 Gemini를 활용한 외부 LLM 기반 의미 평가에서도 Factuality 4.77점, Overall Quality 4.82점을 달성하여 실제 회의 요약에 준하는 품질을 확보하였다.
제안한 시스템은 MERN 구조(React, Node.js, Express, MongoDB)를 기반으로 구현되었으며, FAISS는 Python 기반 마이크로서비스로 독립 실행되고, LLM 추론은 Ollama 기반 로컬 모델을 통해 수행된다. 실험은 MacBook M4 환경과 RTX 4090 GPU를 장착한 Windows 환경에서 수행되었으며, 모든 기능이 온라인 연결 없이 안정적으로 동작함을 확인하였다.
본 논문에서 제안한 로컬 기반 LLM 그룹 메시징 시스템은 협업 환경에서의 프라이버시 문제를 근본적으로 해결하고, 장기 대화 기억, 문서 기반 근거 생성, 다단계 요약 기능을 통합하여 지능형 협업 도구의 새로운 방향을 제시한다. Private Query 기능은 그룹 대화를 방해하지 않으면서 사용자 개별 지식 요구를 처리할 수 있도록 하며, 대화 및 문서 기반 RAG 기능은 팀의 축적된 지식을 실시간으로 검색·활용 가능하게 하여 협업 생산성을 향상시킨다. 또한 다단계 요약 기능은 회의 기록 자동화와 문서화 업무를 크게 간소화함으로써 향후 다양한 협업 환경에서 높은 활용 가능성을 지닌다.

목차 (Table of Contents)

• I. Introduction
• 1.1. Research Background
• 1.2. Research Content
• 1.3. Research Outline
• II. Theoretical Background
• 2.1. Overview of Artificial Intelligence
• 2.2. Natural Language Processing
• 2.3. Large Language Models
• 2.4. Retrieval-Augmented Generation
• 2.5. Related Research
• III. Design of the Proposed System
• 3.1. System Requirements
• 3.1.1. Functional Requirements
• 3.1.2. Non-Functional Requirements
• 3.2. System Design
• 3.2.1. System Architecture
• 3.2.2. System Workflow
• 3.2.3. Database Design
• 3.2.4. In-App Commands for LLM Interaction Design
• 3.2.5. Initial User Interface Design
• IV. System Implementation
• 4.1. Implementation Environment
• 4.2. Implementation Details
• 4.2.1. Group Chat Platform
• 4.2.2. Prompt Engineering
• 4.2.3. Private Query
• 4.2.4. Multi-Level Summarization
• 4.2.5. Conversation-based RAG
• 4.2.6. Document RAG
• V. Performance Evaluation
• 5.1. Response Time
• 5.1.1. Private Query Response Time Evaluation
• 5.1.2. Multi-Summarization Response Time Evaluation
• 5.2. Multi-level Summarization
• 5.2.1. ROUGE Evaluation
• 5.2.2. Cloud LLM-based Evaluation
• 5.3. Conversation-based RAG
• 5.3.1 Concurrent Test
• 5.3.2 Answer Quality
• 5.4. Document-based RAG
• VI. Conclusions and Future Studies
• References
• 국문 요약
• Acknowledgment
• List of Publication