한국어 환경에서 LLM 기반 가짜뉴스 탐지의 한계와 가능성 = Limitations And Possibilities Of LLM-based Fake News Detection In The Korean Environment

국문 초록 (Abstract)

가짜뉴스는 디지털 플랫폼과 소셜 미디어를 통해 빠르게 확산되며, 사회적 신뢰와 공적 담론에 부정적인 영향을 미치는 중요한 문제로 대두되고 있다. 그런 가운데 최근 대규모 언어 모델(Large Language Models)의 발전은 자연어 처리 기술의 새로운 가능성을 열었으며, 이러한 모델의 활용은 가짜뉴스 탐지와 같은 중요한 사회적 문제 해결에도 기여하고 있다. 본 연구는 가짜뉴스의 여러 유형 중 허위정보(misinformation)를 중심으로 한국어 환경에서 LLM 기반 가짜뉴스 탐지의 가능성과 한계를 분석하고자 한다. 이를 위해 서울대학교 SNU팩트체크에서 수집한 500개의 한국어 뉴스 기사를 기반으로 한 벤치마크 데이터셋을 구축하였으며, 기사 요약 방식을 적용하여 추출형 및 생성형 데이터셋을 추가로 설계하였다. 본 연구는 세 가지 연구 질문을 중심으로 진행되었다: (1) 한국어 환경에서 LLM 기반 가짜뉴스 탐지가 효과적인가, (2) 어떤 요약방식이 LLM을 활용한 가짜뉴스 탐지에 효과적인가?, (3) 탐지 성능을 향상시키기 위한 최적의 방법은 무엇인가? 분석 결과, 한국어 데이터셋에서 LLM 기반 탐지 성능은 영어 중심 연구 대비 낮은 정확도(59.8%)를 보였다. 또한, 요약 텍스트를 활용한 실험에서는 문장이 짧아질수록 탐지 성능이 감소하였으며, 생성형 요약이 추출형 요약보다 다소 우수한 성능을 보였다. 마지막으로, 가짜뉴스 탐지의 기준이 되는 7가지 이유를 반영한 개선된 프롬프트를 도입하여 탐지 정확도를 소폭(62.1%) 개선할 수 있었다. 본 연구는 한국어 환경에서의 LLM 기반 가짜뉴스 탐지 연구를 확장하며, 고도화된 프롬프트 설계와 맥락적 요인을 고려한 접근이 탐지 성능 향상에 기여할 수 있음을 입증하였다. 연구 결과는 가짜뉴스 탐지뿐 아니라 다양한 언어 및 문화적 맥락에서의 LLM 활용 가능성을 제시하며, 향후 연구 및 실무적 응용에 중요한 시사점을 제공한다.

다국어 초록 (Multilingual Abstract)

Fake news spreads rapidly through digital platforms and social media and has become an important problem that negatively impacts social trust and public discourse. Recent advances in Large Language Models (LLMs) have opened up new possibilities for natural language processing techniques, and their use is also contributing to solving important social problems such as fake news detection. This study aims to analyze the possibilities and limitations of LLM-based fake news detection in the Korean environment, focusing on misinformation among the different types of fake news. To this end, we constructed a benchmark dataset based on 500 Korean news articles collected from SNU FactCheck. Further, we designed extracted and generated datasets by applying the article summarization method. This study centered on three research questions: (1) is LLM-based fake news detection effective in the Korean environment? (2) which summarization method is effective in detecting fake news using LLM, and (3) what is the optimal way to improve detection performance? The results showed that LLM-based detection accuracy in the Korean dataset was lower (59.8%) compared to English-focused studies. In addition, detection performance in experiments using summarized text decreased as sentences became shorter, and generated summaries performed slightly better than extracted summaries. Finally, we improved the detection accuracy slightly (62.1%) by introducing an improved prompt that reflects the seven reasons for fake news detection. This study extends the LLM-based fake news detection research in the Korean environment. It demonstrates that an advanced prompt design and an approach considering contextual factors can improve detection performance. The findings suggest the feasibility of utilizing LLM not only for fake news detection but also in various linguistic and cultural contexts, which have important implications for future research and practical applications.

목차 (Table of Contents)

• 제1장. 서론 1
• 제2장. 이론적 배경 5
• 2.1. 가짜뉴스(Fake News) 5
• 2.2. 대규모 언어 모델(Large Language Model) 8
• 제3장. 데이터셋 및 프롬프트 11
• 3.1. 기사 전문 데이터셋 11
• 3.2. 요약형 데이터셋 12
• 3.2.1. 추출형 요약 데이터셋 12
• 3.2.2. 생성형 요약 데이터셋 13
• 제4장. 실험 및 결과 14
• 4.1. 한국어 환경의 LLM기반 가짜뉴스 탐지 성능 분석 및 한계 (RQ1) 14
• 4.2. 요약 방식에 따른 LLM의 가짜뉴스 탐지 성능 비교 (RQ2) 15
• 4.3. 이유 기반 프롬프트를 통한 가짜뉴스 탐지 성능 향상 (RQ3) 18
• 제5장. 결론 및 제언 22
• 5.1. 학술적 기여 22
• 5.2. 실무적 기여 22
• 5.3. 한계점 및 향후 연구방향 23
• 5.4. 결론 23
• 본인의 이전 저작물 활용 고지 25
• 참고문헌 26
• Abstract 31