Enhancing Visual Analytics through Foundation Models: Strategic Implementation and Visualization Literacy Assessment Frameworks = 파운데이션 모델을 활용한 비주얼 애널리틱스 고도화: 전략적 구현 및 시각화 리터러시 평가 프레임워크

국문 초록 (Abstract)

비주얼 애널리틱스는 데이터를 시각적 그래픽으로 표현함으로써 인간의 시각적 인지와 인식 능력을 활용하여 효과적인 탐색과 통찰력 발견을 가능하게 한다. 그러나 데이터 크기와 복잡성의 기하급수적 증가는 사용자에게 상당한 인지적 부담을 가중시키며, 특히 데이터 랭글링(data wrangling)과 시각화 해석(Visualization interpretation)과 같은 작업에서 더욱 그러하다.

이를 해결하기 위한 사용자의 시각화 리터러시(visualization literacy) 향상과 분석 워크플로우 자동화는 유망한 연구 방향이지만, 각각 중요한 과제에 직면해 있다. 시각화 리터러시 향상은 상당한 시간과 교육을 필요로 하여 많은 실제 상황에서 비현실적이다. 반대로 자동화는 사용자의 추상적 목표를 구체적인 분석 작업으로 매핑하는 데 어려움을 겪는다. 이러한 한계는 시각 분석 도구(Visual analytics tools)의 사용성과 확장성을 제약한다.

본 논문은 파운데이션 모델(foundation models)을 사용하여 이 문제를 해결하고 비주얼 애널리틱스를 고도화할 수 있는지 방법을 탐색한다. 구체적으로, 데이터 분석에 필요한 전문 지식 요구사항을 줄이면서 데이터 랭글링을 자동화하기 위해 대규모 언어 모델(LLMs)의 사용을 탐구하고, 시각화 해석에 사용될 수 있는, 대규모 비전-언어 모델(LVLMs)의 시각화 리터러시를 평가하기 위한 강력한 평가 프레임워크를 개발한다. 이러한 상호보완적 접근법은 사용자의 인지적 부담을 줄일 수 있는 지능형 시각 분석 기능을 발전시키는 것을 목표로 한다.

첫 번째 연구는 대규모의 복잡한 뇌졸중 데이터셋을 탐색하기 위한 인간-LLM 협업 시스템인 PhenoFlow를 소개한다. PhenoFlow는 LLM과의 자연어 상호작용을 통해 코호트 구성과 개선을 용이하게 하여 데이터 랭글링 전문 지식의 필요성을 줄인다. 또한, 이 시스템은 불규칙한 시계열 데이터에서 패턴을 발견하기 위한 새로운 slice-and-wrap 시각화 기법을 포함한다. 4명의 신경과 전문의와 함께 진행한 사례 연구는 PhenoFlow가 의미 있는 임상적 통찰을 가능하게 하고 사용자의 분석 능력을 향상시킬 수 있음을 검증했다.

두 번째 연구는 LVLMs를 시각화 해석에 사용할 수 있는 가능성을 알아보기 위해, 최신 LVLM의 시각화 리터러시에 대한 포괄적인 평가를 제시한다. 우리는 시각화 리터러시 성능에 영향을 미치는 이전에 혼동되었던 두 가지 중요한 차원인 맥락(context)과 사실성(factuality)을 식별한다. 이러한 분석적 격차를 해결하기 위해 정보 의존성(즉, 편향)을 평가하기 위한 사분면 프레임워크를 제안하고 반사실적 시각화 리터러시 테스트(CVLAT)를 설계한다. CVLAT를 통해 모델별 편향을 밝히고 프롬프트 엔지니어링이 이러한 선호도를 어떻게 조정할 수 있는지 보여준다.

본 논문은 파운데이션 모델로 비주얼 애널리틱스를 고도화하기 위한 실용적 통찰력을 제공하며, 인지적 부담을 최소화하면서 인간의 분석 능력을 효과적으로 지원하는 AI 기반 시각 분석 시스템 개발을 위한 전략적 방향을 제시하며 마무리한다.

다국어 초록 (Multilingual Abstract)

Visual analytics leverages human visual perception and cognition by representing data through visual graphics, enabling effective exploration and insight discovery. However, the exponential growth in data size and complexity imposes substantial cognitive burdens on users—particularly during tasks such as data wrangling and visualization interpretation.

While enhancing users' visualization literacy and automating analytic workflows are promising research directions for addressing these challenges, each faces critical obstacles. Improving visualization literacy demands significant time and training, making it impractical in many real-world contexts. Conversely, automation struggles to map users' abstract goals to concrete analytical operations. These limitations constrain the usability and scalability of visual analytics tools.

This dissertation investigates how foundation models can be used to address these challenges and enhance visual analytics. Specifically, it explores the use of Large Language Models (LLMs) to automate data wrangling while reducing expertise requirements for data analysis, and develops robust evaluation frameworks for assessing visualization literacy in Large Vision-Language Models (LVLMs) that can be used for visualization interpretation. These complementary approaches aim to enhance the intelligence of visual analytics to reduce users' cognitive load.

The first study introduces PhenoFlow, a human–LLM collaborative system for exploring large, complex stroke datasets. PhenoFlow facilitates cohort construction and refinement through natural language interactions with LLM, reducing the need for data wrangling expertise. Additionally, the system incorporates a novel slice-and-wrap visualization technique for revealing patterns in irregular temporal data. Case studies with four neurologists validated that PhenoFlow enables meaningful clinical insights and enhances users' analytic capabilities.

The second study presents a comprehensive evaluation of state-of-the-art LVLMs' visualization literacy to explore the potential of using LVLMs for visualization interpretation. We identify two critical but previously conflated dimensions—context and factuality—that influence their visualization literacy performance. To address this analytical gap, we propose a quadrant framework for evaluating information dependence (i.e., bias) and design the Counterfactual Visualization Literacy Test (CVLAT). Through CVLAT, we reveal model-specific biases and demonstrate how prompt engineering can steer these preferences.

This dissertation contributes practical insights for enhancing visual analytics with foundation models, concluding with strategic directions for developing AI-driven visual analytics systems that effectively support human analytical capabilities while minimizing cognitive burden.

목차 (Table of Contents)

• Chapter 1 Introduction 1
• 1.1 Background and Motivation 1
• 1.2 Research Questions 6
• 1.3 Contributions 6
• 1.3.1 Designing PhenoFlow: A Human-LLM Driven Visual Analytics System for Exploring Large and Complex Stroke Datasets 7
• 1.3.2 Disentangling Visual Correctness and Factual Correctness in LVLMs’ Visualization Literacy 8
• 1.4 Structure of the Dissertation 9
• Chapter 2 Related Work 11
• 2.1 Time-Oriented Data and Stroke Visualization 12
• 2.2 LLMs for Clinical Research 14
• 2.3 Visualization Literacy and Assessment 16
• 2.4 Visualization Literacy in Large Vision Language Models 18
• 2.5 Cognitive Bias in Visualization Interpretation 19
• Chapter 3 PhenoFlow: A Human-LLM Driven Visual Analytics System for Exploring Large and Complex Stroke Datasets 21
• 3.1 Motivation 21
• 3.2 Background 23
• 3.2.1 Collaborator and Dataset Description 23
• 3.2.2 Data Characteristics 24
• 3.3 Problem Definition 29
• 3.3.1 Current Analysis Workflow and Limitations 30
• 3.3.2 Domain Goals 31
• 3.3.3 Visual Analysis Tasks 32
• 3.3.4 Design Requirements 33
• 3.4 Design of PhenoFlow 35
• 3.4.1 Human-LLM Collaboration Workflow 36
• 3.4.2 Cohort View 43
• 3.5 Evaluation 48
• 3.5.1 Case Study I: Evaluating the Human-LLM Collaboration Workflow 50
• 3.5.2 Case Study II - Validating the Slice-And-Wrap Design and Discovering Triangular BP Patterns 53
• 3.6 Discussion 56
• 3.6.1 LLM as a Medical Data Wrangler 56
• 3.6.2 Rethinking the Use of Visualizations in Medical Data Analysis 58
• 3.7 Summary 59
• Chapter 4 Disentangling Visual Correctness and Factual Correctness in LVLMs’ Visualization Literacy 61
• 4.1 Motivation 61
• 4.2 Problem Statement 65
• 4.3 Experiment One: Evaluating State-of-the-Art LVLMs’ visualization literacy 69
• 4.3.1 Model Selection 70
• 4.3.2 Prompt Design 71
• 4.3.3 Experimental Design and Validity 72
• 4.3.4 Experimental Results 74
• 4.4 Experiment Two: Assessing LVLMs’ Visualization Literacy with Counterfactual Visualizations 79
• 4.4.1 Experimental Design and Validity 80
• 4.4.2 Experimental Results 84
• 4.5 Experiment Three: Steering LVLMs’ Information Prioritization Through Prompt Engineering 88
• 4.5.1 Prompt Design 89
• 4.5.2 Experimental Protocol and Analysis Methodology 90
• 4.5.3 Experimental Results 91
• 4.6 Discussion 95
• 4.7 Summary 96
• Chapter 5 Conclusion 98
• 5.1 Summary of Contributions 98
• 5.2 Future Research Agendas 100
• 5.2.1 Expanding Foundation Models to Multi-Domain Medical Analytics 100
• 5.2.2 Advancing Privacy-Preserving Techniques for Clinical Foundation Models 101
• 5.2.3 Developing Generalizable Visualization Literacy Assessment Frameworks 101
• 5.3 Final Remarks 102
• Abstract (Korean) 120
• Acknowledgments (Korean) 122