Hybrid On/Off-Policy GRPO for Enhancing Text-to-SQL Performance = Text-to-SQL 성능 향상을 위한 하이브리드 온/오프-정책 GRPO 프레임워크

국문 초록 (Abstract)

Text-to-SQL은 자연어 질의를 구조화된 SQL 쿼리로 변환하는 기술로, 실제 데이터베이스 기반 환경에서 높은 활용 가치를 갖는다. 그러나 기존 지도학습 기반 접근은 SQL을 텍스트 형태로 모방하는 데 그쳐, 실행 가능성, 실행 정확성, 스키마 정합성 등 SQL의 프로그램적 특성을 충분히 반영하지 못한다. 이를 보완하기 위해 강화학습을 적용하려는 시도가 이루어지고 있으나, 온-정책 방식은 낮은 샘플 효율성과 초기 학습 불안정성 문제를 겪고, 오프-정책 방식은 정책 분포 간 불일치로 인해 최적화 안정성이 저하되는 한계를 갖는다. 본 연구에서는 이러한 문제를 해결하기 위해 온-정책의 탐색 능력과 오프-정책의 안정성, 데이터 효율성을 결합한 하이브리드 온/오프-정책 GRPO 학습 프레임워크를 제안한다. 먼저 대규모 행동 정책 모델을 활용하여 질의당 다수의 SQL 후보를 생성하고 보상을 사전에 계산함으로써 고품질 오프-정책 데이터셋을 구축하였다. 이후 학습 과정에서 오프-정책 비중을 점진적으로 줄이고 온-정책의 비중을 확대하는 전략을 통해, 초기에는 안정적인 최적화 기반을 마련하고 후반에는 최신 정책 분포에 적응하도록 설계하였다. 또한 실행 가능성, 실행 결과 정확성, 스키마 정합성, 구조적 유사성으로 구성된 네 가지 보상 요소를 설계하여 SQL을 실행 가능한 프로그램 수준에서 평가하고 학습하도록 하였다. 제안한 프레임워크는 BIRD 및 Spider 벤치마크에서 우수한 평가 성능을 보였다. BIRD 개발 세트에서 3B 모델 기준 49.35%의 실행 정확도를 달성하여 기존의 모든 3B 오픈소스 모델뿐 아니라 더 큰 7B 모델과 GPT 기반 모델까지도 초과하는 성능을 보였으며, Spider 개발 세트에서도 71.47%를 기록하여 비교 대상 중 가장 높은 정확도를 달성하였다. 이러한 성과는 제안된 하이브리드 강화학습 방법이 소규모 모델에서도 효과적으로 작동하며, 복잡한 스키마와 보지 못한 데이터베이스에 대해서도 뛰어난 일반화 성능을 제공함을 보여준다.

다국어 초록 (Multilingual Abstract)

Text-to-SQL aims to translate natural language questions into executable SQL queries holds substantial practical value in real-world database environments. However, supervised approaches often treat SQL as a surface-level text generation problem, limiting the model ability to capture critical programmatic properties such as executability, execution correctness, and schema consistency. Reinforcement learning (RL) offers a principled way to address these limitations, yet existing on-policy methods suffer from low sample efficiency and unstable early training, while off-policy methods face degradation when the behavior policy diverges from the current model. To address these challenges, we propose a hybrid on/off-policy GRPO framework that combines the exploration benefits of on-policy rollouts with the stability and data efficiency provided by off-policy learning. We first construct a high-quality off-policy dataset by generating multiple SQL candidates per question using a large behavior model and pre-computing their rewards. During training, the framework leverages this dataset to ensure stable early optimization, then gradually increases the influence of on-policy to align the model with its evolving policy distribution. Furthermore, we design a reward model tailored to the programmatic nature of SQL, incorporating four components—executability, execution accuracy, schema linking, and SQL-element–level n-gram similarity—to guide the model toward producing logically sound and executable SQL queries. The proposed framework demonstrates strong empirical performance on both the BIRD and Spider benchmarks. On the BIRD development set, our 3B model achieves an execution accuracy of 49.35%, surpassing all existing 3B open-source systems as well as larger 7B models and GPT-based systems. On the Spider development set, the model attains 71.47%, again outperforming all compared methods. These results show that the proposed hybrid reinforcement learning approach enables a 3B-scale model to achieve performance that exceeds not only competing 3B models but also substantially larger open-source and closed-source systems, while maintaining robustness across diverse schemas and unseen databases.

목차 (Table of Contents)

• Abstract i
• Contents iii
• List of Tables v
• List of Figures vi
• 1 Introduction 1
• 2 Related Work 5
• 2.1 Text-to-SQL 5
• 2.2 On Policy/Off Policy RL 6
• 3 Methods 8
• 3.1 Motivation 8
• 3.2 Overview 9
• 3.3 On-Policy GRPO 11
• 3.4 Off-Policy GRPO 12
• 3.5 Hybrid On/Off-Policy 12
• 3.6 Reward Model Design 13
• 4 Experiments 16
• 4.1 Dataset and Metrics 16
• 4.2 Training and Inference Settings 16
• 4.3 Results 17
• 5 Conclusion 20
• Abstract (In Korean) 27