Understanding Student Researchers’ Reading Comprehension of Academic Papers with Large Language Model-based Assistance = 대형 언어 모델의 보조가 학생 연구자의 학술 논문 독해 이해에 미치는 영향

다국어 초록 (Multilingual Abstract)

Student researchers increasingly rely on large language model (LLM)–based AI tools, such as ChatGPT, to support academic reading. Some scholars warn that students may offload core cognitive tasks to LLMs, thereby losing opportunities to practice essential competencies such as critical evaluation of papers and argument construction. However, the effects of LLM assistance on critical thinking during academic paper reading remain unclear, leaving educators with limited guidance on how to integrate these tools appropriately. In this paper, I investigate how LLM assistance influences critical thinking in academic paper reading tasks. I hypothesize that the impact of LLM assistance on student researchers’ critical thinking is moderated by their level of research experience. I conducted a within-subjects experiment with 13 student HCI researchers, who read academic papers with and without LLM assistance and wrote critical reviews. I observe divergent effects: LLM assistance improves critical thinking among experienced student researchers but tends to undermine it among novices, with substantial individual variability. Based on these findings, I discuss design implications for preserving human agency while delegating cognitive labor to LLMs in academic work.

국문 초록 (Abstract)

학생 연구자들이 학술 논문을 읽는 과정에서 ChatGPT와 같은 대규모 언어 모델(LLM) 기반 인공지능 도구를 점점 더 많이 활용하고 있다. 일부 연구자들은 학생들이 핵심적인 인지 과제를 LLM에 위임함으로써 논문을 비판적으로 평가하고 논리를 구성하는 데 필요한 핵심 역량을 연습할 기회를 상실할 수 있다고 경고한다. 그러나 학술 논문 읽기 과정에서 LLM의 지원이 비판적 사고에 어떠한 영향을 미치는지는 여전히 명확히 밝혀지지 않았으며, 이로 인해 교육자들은 이러한 도구를 어떻게 적절히 통합해야 하는지에 대한 지침을 갖지 못하고 있다. 본 논문에서는 학술 논문 읽기 과제에서 LLM 지원이 비판적 사고에 미치는 영향을 분석한다. 특히, 연구 경험 수준이 LLM 지원의 효과를 조절하는 요인으로 작용할 것이라는 가설을 제시한다. 이를 검증하기 위해 13명의 HCI 분야 학생 연구자를 대상으로, LLM 지원 유무 조건에서 학술 논문을 읽고 비평문을 작성하도록 하는 within-subjects 실험을 수행하였다. 비판적 사고는 비평문 작성 과제의 채점 결과를 통해 평가하였으며, 결과를 보완하기 위해 읽기 행동 데이터 또한 수집하였다. 분석 결과, LLM 지원은 경험이 많은 학생 연구자의 비판적 사고를 향상시키는 반면, 초보 연구자에게서는 오히려 이를 약화시키는 경향을 보였으며, 개인 간 변동성 또한 크게 나타났다. 이러한 결과를 바탕으로, 학술 작업에서 LLM에 인지적 노동을 위임하되 인간의 주체성을 유지하기 위한 설계적 시사점을 논의한다.

목차 (Table of Contents)

• Contents
• Abstract i
• Contents ii
• 1 Introduction 1
• 2 Related Works 5
• 2.1 Critical Reading in Academic Settings 5
• 2.2 LLMs in Academic and Educational Contexts 7
• 2.3 Cognitive Offloading on AI 8
• 3 Study Design 10
• 3.1 Objectives 10
• 3.2 Participants 11
• 3.3 Procedure 11
• 3.4 Main Task 13
• 3.4.1 Reading Session 14
• 3.4.2 Question-Answering Session 17
• 3.4.3 Review Writing Session 17
• 3.5 Measurements 18
• 3.5.1 Critical Thinking 18
• 3.5.2 Reading Behavior 19
• 3.5.3 Subjective Measures 19
• 4 Results 21
• 4.1 Quantitative Findings 21
• 4.1.1 Qualitative Findings from Interview 24
• 5 Discussion 26
• 5.1 Design Implications for AI Delegation 26
• 5.2 Limitations and Future Works 27
• 6 Conclusion 29
• Abstract (In Korean) 38
• Acknowledgement 40