주석 기반 추론을 활용한 코드 기반 테이블 질의응답 = Reasoning by Commented Code for Table Question Answering

국문 초록 (Abstract)

본 연구는 테이블 질의응답(Table Question Answering, TableQA)에서 대규모 언어 모델이 다단계 수치 연산을 정확히 수행하지 못하는 한계를 해결하기 위한 코드 기반 추론 프레임워크를 제안한다. 기존 코드 기반 접근법은 실행 가능성이라는 장점을 가지지만, 복수의 추론 단계를 단일 코드 표현으로 압축함으로써 모델이 다단계 연산 구조를 명시적으로 학습하지 못하고, 그 결과 학습 안정성과 오류 분석 측면에서 한계를 보였다. 이를 해결하기 위해 본 논문에서는 추론 과정을 Python 코드 생성 내부에 구조적으로 통합하는 commented reasoning 기반 단계적 코드 생성 방식을 제안한다. 제안한 방법은 테이블 추론을 다중 행의 실행 가능한 코드로 분해하고, 각 연산 단계에 대응하는 간결한 자연어 주석을 삽입함으로써 다단계 추론 구조를 명시적으로 드러내고, 모델이 연산 순서와 의미를 보다 안정적으로 학습할 수 있도록 한다. 또한 코드 기반 실행 추론과 end-to-end 추론 방식이 서로 상이한 오류 특성과 강점을 가진다는 점에 착안하여, 두 경로에서 생성된 후보 답변을 결합적으로 활용하는 answer selection 메커니즘을 도입한다. 실험 결과, 제안한 단계적 코드 생성 방식은 기존 단일 표현식 기반 코드 생성 대비 보다 안정적인 수치 연산과 다단계 추론을 가능하게 하였으며, answer selction 구조를 적용한 전체 프레임워크는 단일 추론 경로에 의존하는 접근법보다 일관되게 향상된 성능을 보였다. 이러한 결과는 제안한 방법이 복잡한 다단계 수치 추론이 요구되는 TableQA 문제에서 기존 접근법 대비 보다 높은 정확도를 안정적으로 달성할 수 있음을 시사한다.

다국어 초록 (Multilingual Abstract)

Table Question Answering (TableQA) remains challenging for large language models due to their difficulty in accurately performing multi-step numerical operations that depend on table structure. While program-based approaches offer the advantage of executable reasoning, prior methods often compress multiple reasoning steps—such as filtering, parsing and aggregation—into a single-line program, preventing models from explicitly learning multi-step operation structures and resulting in limitations in learning stability and systematic error analysis. To address these limitations, this thesis proposes a commented, step-by-step code generation framework that structurally integrates reasoning into the Python program generation process. The proposed approach decomposes table reasoning into multi-line executable code and aligns each operation with lightweight natural language comments, explicitly exposing the structure of multi-step reasoning and enabling the model to more reliably learn the order and semantics of numerical operations. Furthermore, motivated by the complementary strengths and error characteristics of execution-based reasoning and end-to-end reasoning, we introduce an answer selection mechanism that jointly leverages candidate answers produced by both paradigms. Experimental results show that the proposed step-by-step code generation yields more stable numerical computation and more reliable multi-step reasoning than single-expression program generation. Overall, the full framework with answer selection consistently outperforms single-path approaches, demonstrating that the proposed method can achieve higher and more stable accuracy on TableQA tasks requiring complex numerical reasoning.

목차 (Table of Contents)

• 제 1 장 서론 1
• 제 1 절 연구의 배경 1
• 제 2 절 연구의 목적 2
• 제 3 절 연구의 기여 3
• 제 4 절 논문의 구성 4
• 제 2 장 문헌 고찰 5
• 제 1 절 테이블 질의응답 개요 5
• 제 2 절 End-to-End 추론 기반 접근법 5
• 제 3 절 Text-to-SQL 접근법 6
• 제 4 절 Python 기반 코드 생성 접근법 7
• 제 5 절 혼합 추론 및 앙상블 접근법 7
• 제 3 장 연구 방법 9
• 제 1 절 전체 프레임워크 개요 9
• 제 2 절 Commented Reasoning 설계 원칙 11
• 제 3 절 Instruction 구성 및 코드 템플릿 12
• 제 4 절 학습 데이터 구축 13
• 제 5 절 Answer Selector 매커니즘 15
• 제 4 장 연구 결과 및 분석 18
• 제 1 절 평가 범위 및 데이터셋 선정 18
• 제 2 절 실험 설정 19
• 제 3 절 평가 지표 및 추론 방식 19
• 제 4 절 실험 결과 20
• 제 5 절 기존 방법과의 비교 22
• 제 6 절 End-to-End 추론 방식의 실패 사례 분석 23
• 제 7 절 Answer Selector 효과 분석 27
• 제 8 절 WikiTQ 데이터셋의 정답 오류 사례 분석 29
• 제 5 장 결론 33
• 참고문헌 35
• Abstract 39