LiMO : line-level machine-generated code detection for diverse programming languages

다국어 초록 (Multilingual Abstract)

As large language models (LLMs) continue to advance, their code generation capabilities show significant promise in coding tasks. However, the detection of machine-generated code (MGC) remains crucial, particularly in educational settings where academic integrity and fairness are critical concerns. While most existing methods focus on document-level detection, users frequently copy partial code lines, stating the importance of line-level detection. To address this gap, we propose LiMO, a fine-grained MGC detection method that incorporates both line-level syntactic structure and coding stylistic information. We utilize a line-wise perplexity value derived from code generation models to capture syntactic features and introduce a coding convention feature that quantifies deviations from standard coding practices, such as Python’s PEP 8 standards. This hybrid approach enables more accurate MGC detection at both the document- and line-levels. To better reflect real-world scenarios where human and machine-generated code coexist, we introduce a new dataset, Human-Machine Generated Codes (HMGC). It is constructed using easy-to-access LLMs (GPT-3.5, GPT-4, and Gemini) and spans diverse languages (Python, Java, C++). Through comprehensive experiments, LiMO consistently and significantly outperforms all existing baselines, achieving the best performance across all evaluation metrics at both document- and line-levels.

국문 초록 (Abstract)

대형 언어모델(LLM)의 발전으로 인해 코드 생성 능력이 빠르게 향상되고 있으며, 다양한 프로그래밍 작업에서 그 가능성을 보여주고 있다. 그러나 교육 환경 등에서 학업 윤리와 공정성을 유지하기 위해서는 기계 생성 코드(MGC, Machine Generated Code)의 탐지가 여전히 중요하다. 기존 연구의 대부분은 문서 단위 탐지에 초점을 맞추고 있지만, 실제 사용자는 코드의 일부만을 복사, 활용하는 경우가 많아 라인 단위 탐지(line-level detection)의 필요성이 제기된다. 이러한 한계를 해결하기 위해, 본 연구에서는 LiMO(Line-level Machine generated code detection)이라는 정밀한 기계 생성 코드 탐지 방법을 제안한다. LiMO는 라인 단위의 문법적 구조와 코딩 스타일 정보를 모두 통합한다. 먼저 코드 생성 모델로부터 도출된 라인별 퍼플렉시티(line-wise perplexity) 값을 활용하여 문법적 특징을 포착하고, Python의 PEP8 규약과 같은 표준 코딩 규칙으로부터의 일탈 정도를 정량화한 코딩 규약 특성(coding convention feature)을 도입하였다. 이러한 하이브리드 접근은 문서 단위와 라인 단위 모두에서 보다 정확한 기계 생성 코드 탐지를 가능하게 한다. 또한 실제 환경에서 인간 작성 코드와 기계 생성 코드가 혼재되어 있다는 점을 반영하기 위해, 새로운 데이터셋 HMGC(Human-Machine Generated Codes)를 구축하였다. 이 데이터셋은 GPT-3.5, GPT-4, Gemini와 같은 접근이 용이한 LLM을 활용해 Python, Java, C++ 언어로 구성되었다. 종합적인 실험 결과, LiMO는 기존 모든 베이스라인을 일관되게 뛰어넘으며 문서 및 라인 단위 모든 평가 지표에서 최고 성능을 달성하였다.

목차 (Table of Contents)

• Chapter 1. INTRODUCTION 1
• 1. Introduction 1
• Chapter 2. Related Work 4
• Chapter 3. Fine-grained Level MGC Detection 7
• 1. Task Definition 7
• 2. Dataset Construction 9
• A. Data Collection 9
• B. Document-level HMGC Dataset 11
• C. Line-level HMGC Dataset 12
• Chapter 4. LiMO 13
• 1. Model Structure 13
• 2. Line-wise Feature Extraction 14
• 3. Line-wise Representation Construction 17
• 4. MGC Classification 18
• 5. Training Strategy 19
• Chapter 5. Experiments 21
• 1. Experiment Setup 21
• A. Data 21
• B. Baselines 21
• 2. Evaluation Metrics 24
• 3. Results 25
• A. Document-level MGC Detection 32
• B. Line-level MGC Detection 33
• Chapter 6. Discussions 35
• 1. Effects on Line-wise Perplexity and Coding Convention Features 36
• 2. Effects on BMES Loss and Binary Loss 38
• 3. Impact of Code Generation Scenarios 40
• 4. Out-of-domain Detection 42
• Chapter 7. Conclusion and Future Work 45
• References 46
• 논문요약 52