Designing Systems for AI-Augmented Scholarly Sensemaking across Visual and Textual Modalities = 학술 정보의 이해와 구성을 AI로 지원하기 위한 시각·텍스트 모달리티 기반 시스템 설계

다국어 초록 (Multilingual Abstract)

Sensemaking is a cognitive process of collecting external information, organizing it into meaningful structures, and deriving insights. It involves two interacting cycles. One cycle aims to understand given information by searching and filtering relevant material. The other cycle aims to make meaning from what has been understood.

Scholarly sensemaking applies this process to academic literature, commonly known as literature review. Literature review requires navigating and digesting a large number of papers through iterative cycles that are difficult to manage. This challenge motivates the design of computational support. However, most existing tools support individual tasks rather than the iterative transitions across stages, leaving researchers to decide which tools to use and move back and forth between them as their goals and understanding shift.

This dissertation is guided by a consistent question: how can we design systems that help manage the data complexity inherent in literature review while preserving human agency in meaning-making? Recent advances in AI capabilities, particularly large language models, open new possibilities for such support. At the same time, their use raises concerns about agency, control, and ownership in scholarly work. To examine both the potential and the risks in practice, we adopt a technology probe methodology. We develop functional prototypes and observe how researchers integrate them into real work practices while conducting literature reviews on their own topics.

We make three contributions. First, we develop and study four prototype systems that cover different stages of scholarly sensemaking and different roles of visual and textual representations. Across these prototypes, we examine how AI can support key activities ranging from exploring research landscapes, to constructing intermediate structures, to writing narrative syntheses. The prototypes include a citation network browser for visual exploration, Chartvisor for AI-assisted chart understanding with direct visual interaction, LitWeaver for AI-assisted literature review writing, and CrossLit for keeping visual and textual representations connected throughout the process.

Second, we report empirical findings from user studies with these prototypes. Observations across studies led to two main findings. (1) Support for data processing and support for meaning-making are fundamentally different and should be designed separately. AI can effectively support data processing tasks such as summarization and value reading, but meaning-making tasks such as argument construction require human ownership. (2) Visual modality helps preserve engagement that supports meaning-making. It enables externalization of provisional ideas and direct manipulation that redirects attention to the data.

Third, we articulate a design space for AI-augmented scholarly sensemaking that synthesizes these findings. The design space organizes literature review into three stages: literature exploration, schema construction, and narrative synthesis. Visual modality is central in the first stage, text modality is central in the third stage, and both modalities interact in the second stage. The design space separates data processing support from meaning-making support, and specifies how visual and textual representations should work together to preserve human agency. We discuss implications for future sensemaking systems that enhance rather than replace human meaning-making.

국문 초록 (Abstract)

센스메이킹(sensemaking)은 외부 정보를 수집하고, 의미 있는 구조로 조직하며, 통찰을 도출하는 인지적 과정이다. 센스메이킹은 두 가지 상호작용하는 과정으로 구성되는데, 하나는 관련 자료를 탐색하고 선별하며 주어진 정보를 이해하는 것이고, 다른 하나는 이해한 것으로부터 의미를 만들어내는 것이다.

학술적 센스메이킹은 이 과정을 학술 문헌에 적용한 것으로, 일반적으로 문헌 연구라고도 불린다. 문헌 연구는 많은 수의 논문을 탐색하고 소화해야 하며, 대개 여러 회차를 반복하여 그러한 과정을 수행하게 된다. 이로부터 파생되는 관리의 어려움을 해소하기 위해 학술적 센스메이킹을 지원하기 위한 시스템들이 제안되어 왔다. 그러나 기존 시스템들은 특정한 단일 과업에 맞추어 설계되어, 연구자들이 실제의 센스메이킹 과정에서 어떤 도구를 사용해야 하는지를 일일이 결정하고, 도구 간의 전환 과정을 직접 관리해야 하는 한계가 있다.

이 학위 논문을 통해 하나의 단순하지만 일관된 질문을 해소하고자 했다. 문헌 연구에 내재된 복잡성을 손쉽게 관리할 수 있도록 도우면서도, 의미를 만들어내는 역할로서의 인간의 주체성은 보존하는 시스템을 어떻게 설계할 수 있는가? 최근 대규모 언어 모델과 같은 AI 모델의 성능이 발전하며 이러한 지원이 실현될 잠재력이 보이지만, 동시에 학술 작업에서 인간의 주도성과 소유권이 침해될 우려도 관찰된다. 학술적 센스메이킹의 실제 맥락에서 AI 기반 지원 도구의 잠재력과 위험성을 검증하기 위해, 우리는 기술 탐침 방법론적 접근법을 취했다. 즉, 기능적 프로토타입 시스템을 구현하고, 연구자들이 실제 문헌 연구 과정에서 그 시스템을 어떻게 사용하는지 관찰하였다.

본 논문의 기여는 세 가지이다. 첫째, 학술적 센스메이킹의 여러 단계에 걸쳐, 시각적 표현과 텍스트 표현을 여러 가지 방식으로 활용하는 네 개의 프로토타입 시스템을 개발하였다. 이를 통해 연구 지형을 탐색하고, 구조화 방법을 구상하고, 논증적 텍스트로 옮겨쓰는 문헌 연구의 특징적인 과정마다 AI가 어떻게 도움이 될 수 있는지 검증했다. 구체적으로 우리가 개발한 프로토타입은 인용 네트워크 시각화 브라우저, AI와 함께 차트를 탐색할 수 있는 Chartvisor, AI와 함께 문헌 연구 글쓰기를 할 수 있는 LitWeaver, 그리고 과정 전반에 걸쳐 시각적 표현과 텍스트 표현을 동시에 지원하는 CrossLit이다.

둘째, 프로토타입 시스템을 활용한 사용자 연구를 수행하여 경험적 교훈을 보고한다. 여러 연구에 걸친 일관된 관찰을 통해 크게 두 가지 교훈을 얻을 수 있었다. (1) 데이터 처리를 위한 지원과 의미 만들기를 위한 지원은 근본적으로 다르며 별도로 설계되어야 한다. AI는 요약이나 값 읽기와 같은 데이터 처리 작업을 효과적으로 지원할 수 있지만, 논증 구성과 같은 의미 창출 작업은 인간의 주도성이 필수적이다. (2) 시각적 표현을 활용하면 인간의 주도적인 의미 창출 작업을 장려할 수 있다. 시각적 표현을 통해 인간의 예비적인 생각들을 외현화하고, 데이터와 직관적으로 소통할 수 있기 때문이다.

셋째, 이러한 발견들을 종합하여, AI 기반으로 학술적 센스메이킹을 고도화하는 시스템의 설계 공간을 도출했다. 이 설계 공간은 문헌 연구를 세 단계로 조직한다: 문헌 탐색, 스키마 구성, 서사 종합. 첫 번째 단계에서는 시각적 표현이 중심이고, 세 번째 단계에서는 텍스트 표현이 중심이며, 두 번째 단계에서는 두 표현방식이 긴밀하게 병용된다. 우리의 설계 공간은 단순 데이터 처리와 의미 창출 작업을 구분하며, 시각적 표현과 텍스트 표현이 어떻게 조율되어야 하는지를 명시한다. 이를 통해 인간의 의미 창출 과업을 대체하지 않고 향상시킬 수 있는 향후의 센스메이킹 시스템을 위한 시사점을 논의한다.

목차 (Table of Contents)

• CHAPTER 1 Introduction 1
• 1.1 Background and Motivation 2
• 1.2 Design Space for AI-Augmented Scholarly Sensemaking 4
• 1.3 Structure of This Dissertation 6
• 1.4 Associated Publications and Authorship 9
• CHAPTER 2 Related Work 11
• 2.1 Scholarly Sensemaking and Literature Review 12
• 2.2 Visual Approaches to Literature Review 12
• 2.2.1 Exploration: Landscape-Level Visualizations 13
• 2.2.2 Organization: Spatial Structuring of Paper Collections 14
• 2.2.3 Discovery: Metadata-Based Expansion 14
• 2.3 Textual Approaches to Literature Review 15
• 2.3.1 Understanding: Deep Content Analysis 15
• 2.3.2 Organization: Thematic Structuring in Text 16
• 2.3.3 Discovery: Content-Based Expansion 17
• 2.4 The Need for Integrated Support 17
• 2.5 Cross-Modal Systems 18
• 2.6 Human-AI Collaboration 19
• CHAPTER 3 Literature Exploration: User Strategies in Browsing Citation Networks 21
• 3.1 Designing the Citation Network Browsing System 22
• 3.2 User Study 25
• 3.2.1 Participants and Data Analysis 26
• 3.3 Findings 27
• 3.3.1 Patterns of Browsing Citation Networks 27
• 3.3.2 Layout vs. Connection-Oriented Perspectives 29
• 3.4 Contribution to the Thesis 31
• 3.4.1 Conceptual Units for Meaning-Making 31
• 3.4.2 The Gap Between Layout and Connection Perspectives 31
• CHAPTER 4 Literature Exploration: Visual Communication with AI in Chart Understanding 33
• 4.1 Designing the Chartvisor System 35
• 4.1.1 Chart View and Interactions on Chart 35
• 4.1.2 Visual Communication with the LLM 37
• 4.1.3 LLM Prompt Design 38
• 4.2 User Study 39
• 4.2.1 Participants 39
• 4.2.2 Chart and Data 39
• 4.2.3 Tasks and Conditions 43
• 4.2.4 Data Collection and Analysis 46
• 4.3 Findings 50
• 4.3.1 Situated Support through a Language Model 50
• 4.3.2 Enhanced Interaction through Visual Communication 52
• 4.3.3 Conflicting Effects of Chart Reading Guidance 57
• 4.4 Contribution to the Thesis 60
• 4.4.1 AI's Dual Role in Visual Data Understanding 60
• 4.4.2 Visual Modality as a Mechanism for Preserving Engagement 61
• CHAPTER 5 Narrative Synthesis: Writing Literature Reviews with AI Support 62
• 5.1 Designing the LitWeaver System 63
• 5.1.1 Design Requirements 64
• 5.1.2 System Design Overview 65
• 5.1.3 Example Usage Scenario 67
• 5.2 User Study 69
• 5.2.1 Participants 69
• 5.2.2 Procedures 70
• 5.2.3 Pre-populated material for single-session workshops 71
• 5.2.4 Interaction Log Analysis 72
• 5.3 Findings 72
• 5.3.1 Supporting Initiation, Organization, and Reflection in Writing 73
• 5.3.2 Calibrating Expectations with LLM Assistance 75
• 5.3.3 Developing Agency and Confidence through LLM Interaction 79
• 5.4 Contribution to the Thesis 80
• 5.4.1 Two Layers of Writing Support 80
• 5.4.2 Enabling Human Ownership in Meaning-Making 81
• CHAPTER 6 Schema Construction: Connecting Visual and Textual Modalities 82
• 6.1 Designing the CrossLit System 83
• 6.1.1 Design Goals 83
• 6.1.2 User Scenario 85
• 6.1.3 System Overview 88
• 6.1.4 Visual Editor Design (DG1) 89
• 6.1.5 Text Editor Design (DG2) 91
• 6.1.6 Bi-directional Synchronization between Editors (DG3) 92
• 6.1.7 Context-Aware Discovery (DG4) 93
• 6.1.8 Implementation 94
• 6.2 User Study 95
• 6.2.1 User Study Design Rationale 95
• 6.2.2 Participants 96
• 6.2.3 Study Procedure and Data Collection 96
• 6.2.4 Analysis Methods 98
• 6.2.5 Convenience Feature for Study Facilitation 102
• 6.3 Findings 103
• 6.3.1 RQ 1. General Usability and Usefulness 103
• 6.3.2 RQ 2. How and Why Researchers Use Visual or Text Modality 106
• 6.3.3 RQ 3. Benefits of Synchronizing Visual and Text Modalities 111
• 6.3.4 RQ 4. Perceived Challenges and Improvement 115
• 6.4 Contribution to the Thesis 117
• 6.4.1 Validating the Three-Stage Structure 117
• 6.4.2 The Importance of Synchronization in Schema Construction 118
• CHAPTER 7 Discussion and Conclusion 122
• 7.1 Supporting Meaning-Making in Visual Exploration 124
• 7.1.1 Visual Components Bridging Data and Meaning 124
• 7.1.2 Engagement-Inducing Communication through Direct Manipulation 125
• 7.2 Supporting Meaning-Making in Narrative Synthesis 126
• 7.2.1 Managing Intermediary Outcomes 126
• 7.2.2 Enriching User Experience and Agency 127
• 7.3 Bridging Visual and Textual Representations 128
• 7.3.1 Synchronization within the Schema Layer 128
• 7.3.2 Cross-Layer Synchronization 129
• 7.4 Preserving Human Agency in AI-augmented Sensemaking 131
• 7.5 Enhancing Cognition through Visual Modality 133
• 7.6 Limitations and Validity Considerations 134
• 7.7 Concluding Remarks 136
• Abstract (Korean) 158