Future Policy Aware Preference Learning for Mathematical Reasoning = 수학 추론을 위한 미래정책인식 선호도 학습

국문 초록 (Abstract)

직접 선호도 최적화(Direct Preference Optimization, DPO)와 같은 선호도 학습 방법은 대규모 언어 모델(Large Language Model, LLM)의 사후 학습에서 표준이 되었으나, 수학적 추론에는 종종 효과적이지 못하다. 주요 과제는 선호 궤적과 비선호 궤적 간의 큰 토큰 중복이다. 비선호 궤적의 확률을 낮추면 공유된 유용한 토큰의 확률도 함께 감소하여 과도한 패널티로 이어지고, 궁극적으로 전반적인 성능 붕괴를 야기한다. 이를 완화하기 위해 기존 알고리즘은 현재 정책 하에서의 궤적 확률을 정규화 항으로 포함하는데, 이는 확률이 낮을 때 기울기의 효과를 감소시킨다.
그러나 이러한 효과가 발현될 시점에는 모델이 이미 저하되기 시작하면서 유용한 토큰들이 과도하게 패널티를 받았을 수 있다.

이를 해결하기 위해, 본 연구는 정규화 항에서 현재 정책을 미래 정책으로 대체하는 미래 정책 인식(Future Policy Aware, FPA) 선호도 학습을 제안한다. 이 미래 정책은 참조 모델로부터 현재 모델을 향한 경량 로짓 공간 외삽을 통해 추정된다. FPA는 잠재적으로 문제가 될 수 있는 기울기를 사전에 정규화함으로써 더 안전한 학습을 가능하게 한다. 본 연구는 FPA를 DPO, RPO, SimPER에 적용하고 MATH 및 GSM8K 벤치마크에서 평가하였다. FPA는 일관된 성능 향상을 제공하며, SimPER에서 최대 5.75%의 개선을 달성하는 등 가장 큰 향상이 관찰되었다. 본 연구는 FPA가 공유된 유용한 수학적 토큰의 확률을 보존하면서 선제적 정규화를 제공하고, 무시할 수 있는 수준의 계산 오버헤드로 더 길고 성능 저하 없는 학습을 가능하게 함을 입증한다.

다국어 초록 (Multilingual Abstract)

Preference learning methods such as Direct Preference Optimization (DPO) have become standard for Large Language Model (LLM) post-training, yet they are often ineffective for mathematical reasoning. A key challenge is the large token overlap between preferred and dispreferred trajectories; lowering the probability of dispreferred trajectories also reduces the probability of shared useful tokens, leading to over-penalization and overall performance collapse. As a mitigation, existing algorithms include the probability of a trajectory under the current policy as a regularization term, which decreases the effect of the gradient when the probability is low.
However, by the time this effect takes hold, useful tokens may have already been over-penalized as the model has begun to degrade.
To address this, we propose Future Policy Aware (FPA) preference learning, which replaces the current policy with a future policy in the regularization term. This future policy is estimated via lightweight, logit-space extrapolation from a reference model toward the current model. FPA enables safer training by preemptively regularizing potentially problematic gradients. We apply FPA to DPO, RPO, and SimPER and evaluate them on the MATH and GSM8K benchmarks. FPA yields consistent performance gains, with the largest improvements observed with SimPER, achieving gains of up to 5.75%.
We demonstrate that FPA provides proactive regularization while preserving the probability of shared, useful mathematical tokens, and enables longer, degradation-free training with negligible computational overhead.

목차 (Table of Contents)

• Chapter 1. Introduction 2
• Chapter 2. Preliminaries 6
• Chapter 3. Future Policy Aware Preference Learning 8
• Chapter 4. Experiments 10
• Chapter 4.1 Experimental Setup 10
• Chapter 4.2 Experimental Results 10
• Chapter 4.3 Further Analysis 13
• Chapter 5. Related Works 19
• Chapter 5.1 Improving Reasoning 19
• Chapter 5.2 Preference Learning 19
• Chapter 6. Conclusion 21
• Appendix 22
• Bibliography 36
• Abstract in Korean 44