AdvCodeGen : adversarial code generation via large language models

국문 초록 (Abstract)

언어 모델 기반의 취약점 탐지기는 좋은 성능을 보여주고 있으나, 적대적 환경에서의 강건성 평가는 부족하다. 본 연구는 대형 언어 모델을 활용하여 다양한 LM 기반 취약점 탐지기의 강건성을 체계적으로 평가하는 블랙박스 적대적 프레임워크인 AdvCodeGen을 제안한다. 추상 구문 트리 기반의 규칙 변환 방식과 달리, AdvCodeGen은 LLM을 활용하여 19개의 효과적인 코드 변형 규칙을 수행하고 다양하고 구문적으로 다채로운 적대적 예제를 생성한다. BigVul 및 Devign 코드 취약점 벤치마크 데이터셋에서 6개의 최신 언어 모델을 대상으로 AdvCodeGen의 성능 평가했다. 그 결과, AdvCodeGen은 각각 최대 81.5%(BigVul/StarCoder2)와 60.3%(Devign/CodeGen2.5)의 공격 성공률(ASR)을 달성했다. 이는 40% 미만의 ASR을 보이는 기존 토큰 수준의 공격 방식(ALERT, CARROT, CODA, AACEGEN)들을 보다 효과적이다. 또한 97.19%의 컴파일 성공률과 91.88%의 유닛 테스트 성공률을 유지하면서도 15-30% 더 높은 ASR을 달성한다. 규칙 기반 LLM 코드 생성이 더 넓은 구조적, 어휘적 다양성을 확보하게 해 주며, 결과적으로 더 효과적인 적대적 변형을 가능하게 함을 보여준다.

다국어 초록 (Multilingual Abstract)

LM-based vulnerability detectors show promise, but their robustness under adversarial conditions remains underexplored. Prior evaluations often lack diverse adversarial attack strategies and sophisticated perturbation implementations. To address this, we present AdvCodeGen, a black-box framework using an LLM to systematically evaluate the robustness of LM-based vulnerability detectors. Unlike purely AST-based rule transformations, AdvCodeGen uses an LLM to implement 19 effective code perturbation rules and generate more diverse, syntactically varied adversarial examples while preserving functionality. We evaluated AdvCodeGen against six LMs on the BigVul and Devign datasets, achieving ASRs up to 81.5% (BigVul/StarCoder2) and 60.3% (Devign/CodeGen2.5). This significantly outperforms existing token- level methods (ALERT, CARROT, CODA, and AACEGEN) that are typically < 40% ASR. Compared to naive LLM baselines, AdvCodeGen delivers 15–30% higher ASR while maintaining 97.19% compile success and 91.88% unit test success rates. These results show that rule-guided LLM code generation enables broader structural diversity, leading to more effective adversarial transformations. Our work provides a robust approach to evaluating and ultimately enhancing the security of LM-based vulnerability detectors.

목차 (Table of Contents)

• 1. Introduction 1
• 2. Threat Model 3
• 3. System Design 4
• 3.1 Adversarial Code Generation 7
• 3.2 Code Validation 10
• 4. Evaluation 10
• 4.1 Experimental Setup 12
• 4.2 Attack Performance 16
• 4.3 Effectiveness of Perturbation Techniques 19
• 4.4 Semantic and Syntactic Integrity 23
• 4.5 Transformation Diversity 25
• 4.6 Model Robustness 28
• 5. Limitation 30
• 6. Related Work 31
• 7. Conclusion 32
• References 34
• Korean Abstract 41