SQL-to-NL for NL-to-SQL = NL-to-SQL을 위한 SQL-to-NL 활용법

다국어 초록 (Multilingual Abstract)

Structured Query Language (SQL) is the program language used to manage and query relational databases. Although considerable research has been conducted to converting natural language into SQL (NL2SQL), the reverse task—SQL2NL—has received relatively little attention. In this study, we research the underexplored SQL2NL problem and examine whether SQL2NL models can be leveraged to improve the performance of NL2SQL task.

We research two SQL2NL ways. One thing is a retrieval-augmented generation (RAG) framework with SQL-to-Vec embedding, which helps retrieve few-shot examples from a vector database. The other is a SQL parsing rule-based method that converts SQL into natural language through predefined SQL parsing rule. And our study focuses on how SQL2NL can be integrated into the fine-tuning process of NL2SQL models to improve their overall task accuracy.

Experiments are conducted on two representative NL2SQL benchmark domains, BIRD and SPIDER. For SQL2NL evaluation, we assess the RAG-Hybrid model using automatic metrics such as BERT Recall and BLEU-4, while the rule-based SQL2NL model is evaluated using an external general-purpose NL2SQL model to measure its effectiveness indirectly. In addition, we perform an experiment on the BIRD dataset to investigate how SQL2NL can support the fine-tuning process of NL2SQL models. Using execution accuracy (EX) as our primary evaluation criterion, we validate the utility of SQL2NL to improve NL2SQL performance, and our findings demonstrate that SQL2NL can serve as an effective auxiliary mechanism for improving NL2SQL performance in domain-specific settings.

국문 초록 (Abstract)

구조적 질의 언어(SQL)는 관계형 데이터베이스를 관리하고 질의하는 데 사용되는 표준 프로그래밍 언어이다. 자연어를 SQL로 변환하는 연구(NL2SQL)는 그동안 활발히 진행되어 왔으나, 그 역방향 과제인 SQL2NL은 상대적으로 적은 관심을 받아왔다. 본 연구에서는 상대적으로 충분히 탐구되지 않았던 SQL2NL 문제를 다루고, SQL2NL 모델이 NL2SQL 과제의 성능 향상에 활용될 수 있는지를 연구한다.

본 논문에서는 SQL2NL 생성을 위한 두 가지 상보적인 접근 방법을 제시한다. 첫 번째는 SQL 질의를 벡터로 임베딩하고, 벡터 데이터베이스로부터 구조적으로 유사한 few-shot 예제를 검색하여 활용하는 검색 증강 생성(RAG) 기반 방법이고, 두 번째는 사전에 정의된 SQL 파싱 규칙을 기반으로 SQL을 자연어로 변환하는 규칙 기반 방법이다. 본 연구에서는 위 SQL2NL 기법을 NL2SQL 모델의 파인튜닝 과정에 응용하여 NL2SQL 성능을 높이는 데 초점을 둔다.

실험은 대표적인 NL2SQL 벤치마크 도메인인 BIRD와 SPIDER를 대상으로 수행되었다. SQL2NL 평가를 위해 RAG-Hybrid 모델은 BERT Recall, BLEU-4, 그리고 사람에 의한 평가 지표를 사용했으며, 규칙 기반 SQL2NL 모델의 경우 NL2SQL 모델을 활용하여 그 효과를 간접적으로 평가하였다. 끝으로 NL2SQL이 학습하는 과정에서 틀린 문제에 대해 SQL2NL을 이용해 데이터 증강을 수행한 뒤 효율적 파라미터 파인튜닝(PEFT)을 실시함으로써 SQL2NL이 NL2SQL 성능 향상에 보조 도구로 활용될 수 있음을 확인하였다.

목차 (Table of Contents)

• Abstract i
• Contents iii
• 1 Introduction 1
• 2 Background 5
• 2.1 NL2SQL 5
• 2.2 SQL2NL 6
• 2.2.1 SQL-to-Vector Embedding 6
• 2.2.2 RAG-Hybrid SQL2NL 8
• 2.2.3 Rule-Based SQL2NL 9
• 2.3 Fine-Tuning and PEFT 10
• 2.4 Model Evaluation 10
• 3 Motivation 11
• 3.1 Previous Approaches 11
• 3.2 SQL Query Structure 12
• 4 Methodology 14
• 4.1 SQL2NL Framework 15
• 4.2 SQL2NL for NL2SQL 18
• 5 Experiment 21
• 5.1 Experimental Setup 21
• 5.2 Overall Results of the SQL2NL 23
• 5.3 NL2SQL Finetuning with SQL2NL 28
• 5.4 Analysis 30
• 6 Conclusion 34
• 6.1 Summary 34
• 6.2 Future Work 35
• A Appendix 37
• Abstract (In Korean) 50