Prompt Chaining Framework for Long-Term Recall in Intelligent Assistants Based on Large Language Models = 대규모 언어 모델 기반 지능형 어시스턴트의 장기 기억을 위한 프롬프트 체이닝 프레임워크

다국어 초록 (Multilingual Abstract)

This study develops a prompt chaining framework to enhance personalization and long-term recall capabilities in intelligent assistants (IAs). In the first phase, we conducted an online survey (n=83) using Likert scales and open-ended questions to analyze user expectations and privacy concerns regarding personalization, identifying four distinct user groups with varying attitudes. We then performed a controlled user study where participants (n=12) evaluated six IAs across five personalization-focused tasks, revealing specific limitations in current IAs. Based on these findings, we developed a prompt chaining framework that integrates Large Language Models (LLMs) with memory management techniques. The framework consists of six components: Conversation Manager, Context Extractor, Memory Module, Prompt Generator, LLM Interface, and Response Generator. It uses adaptive prompt chains (3-5 steps) for reasoning and implements a dual-layer memory architecture (short-term: 10 turns, long-term: 5,000 entries) for context retention. We evaluated the framework using three datasets with different LLM backends, and conducted ablation studies to validate the importance of each component. A subsequent human evaluation study (n=47) confirmed overall improvements in sensibleness, consistency, and personalization of responses. The results demonstrate the effectiveness of combining structured prompt engineering with memory management in addressing the limitations of current IAs.

국문 초록 (Abstract)

이 연구는 지능형 어시스턴트(IA)의 개인화와 장기 기억 능력을 향상시키기 위해 프롬프트 체이닝 프레임워크를 개발한다. 첫 번째 단계에서는 리커트 척도와 개방형 질문을 사용한 온라인 설문조사(n=83)를 실시하여 IA의 개인화에 대한 사용자 기대와 우려사항을 분석하고, 서로 다른 태도를 보이는 네 가지 사용자 그룹을 식별했다. 이어서 참가자(n=12)가 다섯 가지 개인화 중심 과제에서 여섯 가지 IA들을 평가하는 통제된 사용자 연구를 수행하여 현재 IA의 한계를 파악했다. 이러한 결과를 바탕으로 대규모 언어 모델(LLM)과 메모리 관리 기술을 통합하는 프롬프트 체이닝 프레임워크를 개발했다. 이 프레임워크는 대화 관리자, 맥락 추출기, 메모리 모듈, 프롬프트 생성기, LLM 인터페이스, 응답 생성기로 구성되며, 추론을 위해 적응형 프롬프트 체인(3-5단계)을 사용하고 맥락 유지를 위해 이중 계층 메모리 아키텍처(단기: 10턴, 장기: 5,000항목)를 구현한다. 프레임워크의 평가를 위해 세 가지 데이터셋과 여러 LLM 백엔드를 사용했으며, 요소 제거 연구를 통해 각 구성 요소의 중요성을 검증했다. 후속 인간 평가 연구(n=47)를 통해 응답의 합리성, 일관성, 개인화가 전반적으로 향상됨을 확인했다. 이러한 결과들은 구조화된 프롬프트 엔지니어링과 메모리 관리의 결합이 현재 IA의 한계를 해결하는 데 효과적임을 보여준다.

목차 (Table of Contents)

• ABSTRACT 4
• I. Introduction 9
• II. Related Work 11
• A. Overview of Intelligent Assistants 11
• B. Personalization in AI Systems 12
• C. Large Language Models in Conversational AI 13
• D. Memory and Context Management 14
• E. Prompt Engineering 15
• III. Study Design 17
• A. Study Overview 17
• 1) Study 1: Online Survey 17
• 2) Study 2: Controlled User Study 18
• B. Framework Foundation 18
• C. Ethical Considerations 18
• IV. Study 1: Online Survey 20
• A. Method 20
• B. Participants 23
• C. Data Analysis 23
• D. Results 25
• 1) IA Usage Experience 25
• 2) Expectations for Personalization 26
• 3) Future IA Expectations and Concerns 27
• 4) Personalization-Related Concerns 27
• 5) Balance Between Personalization and Privacy 29
• 6) Demographic Differences 32
• 7) User Group Classification and Characteristic Analysis 33
• E. Summary 35
• V. Study 2: Controlled User Study 37
• A. Method 37
• 1) Pre-study Structured Interviews 37
• 2) Participants 38
• 3) Task Design 39
• 4) Study Procedure 41
• B. Data Collection and Analysis 41
• C. Results 42
• 1) System Usability Scale (SUS) Scores 42
• 2) Personalization Capabilities 43
• 3) Task Completion Rates 44
• 4) Scenario-specific Performance 44
• 5) Qualitative Insights 45
• 6) Correlation Between Usability and Personalization 46
• D. Summary 47
• VI. Prompt Chaining Framework 49
• A. Design Implications 49
• B. Framework Architecture 50
• C. Components 51
• 1) Conversation Manager 52
• 2) Context Extractor 52
• 3) Memory Module 53
• 4) Prompt Generator 54
• 5) LLM Interface 56
• 6) Response Generator 57
• D. Prompt Chaining Mechanism 57
• E. Implementation Details 59
• VII. Evaluation 61
• A. Human Evaluation Study 61
• 1) Participants 61
• 2) Procedure 61
• 3) Evaluation Criteria 62
• 4) Results 64
• 5) Qualitative Feedback 65
• B. Quantitative Evaluation 67
• 1) Datasets and Experimental Setup 67
• 2) Model Configuration 68
• 3) Evaluation Metrics 69
• 4) Results and Analysis 70
• C. Ablation Study 71
• D. Findings 73
• VIII. Discussion 75
• IX. Conclusion 77
• REFERENCES 78
• 국문초록 93