LLM 기반 환각 수준이 조절된 요약 생성을 통한 언어 모델의 품질 개선 = Improving Language Model Quality through LLM-based Fine-Grained Hallucinated Summary Generation

국문 초록 (Abstract)

텍스트 요약 과제에서 LLM(Large Language Model)을 활용할 때, 원본 문서와 요약문 사이에 사실적으로 불일치하는 환각(Hallucination) 문제가 발생한다. 이를 해결하기 위해, 본 연구에서는 환각 수준을 조절할 수 있는 부정적 요약문을 생성하는 새로운 데이터 증강 기법과 이를 위한 언어 모델의 미세 조정 방법을 제안한다. 1만개 문서와 정답 요약문에서 세 가지로 환각 수준을 세분화한 부정적 요약문을 생성하여 총 4만개의 요약문으로 데이터를 증강한 후, 모델이 환각과 사실을 더 효과적으로 구분할 수 있도록 학습시킨다. CNNDM 데이터셋을 활용한 실험 결과, 정량화된 환각 수준을 포함한 부정적 데이터를 사용한 이 접근 방식은 생성된 요약문의 성능을 ROUGE 지표 기준 평균 7.3% 향상시키고, G-Eval 지표 기준 평균 6.3% 향상시켜 증강 데이터를 사용하지 않은 모델보다 뛰어난 성능을 보인다.

다국어 초록 (Multilingual Abstract)

When using Large Language Models (LLMs) for text summarization, a common issue is the lack of factual alignment between the original document and the generated summary, which can lead to hallucinations. To tackle this problem, this study introduces a novel data augmentation technique that creates negative summaries with controllable levels of hallucination and a suitable fine-tuning method for language models. This technique generates three levels of hallucinated negative summaries from a dataset of 10,000 documents and their corresponding reference summaries, resulting in a total of 40,000 summaries. This expansion enables the model to better differentiate between hallucinations and factual content. Experimental results using the CNNDM dataset indicate that this approach, which incorporates quantifiable levels of hallucinated negative data, enhances summary generation performance, with average increases of 7.3% in ROUGE scores and 6.3% in G-Eval scores, outperforming models that do not utilize augmented data.