프롬프트 기반 신뢰도 수준을 활용한 대규모 추론 모델의 자율 라우팅 기법 = Self-Routing of Large Reasoning Model based on Prompt-Assisted Confidence Level

국문 초록 (Abstract)

대규모 언어 모델(Large Language Model, LLM)은 자연어 처리에서 우수한 성능을 보이지만, 복잡한 논리‧수학 추론 문제에서는 낮은 성능을 보인다. 이를 개선하기 위해 등장한 대형 추론 모델(Large Reasoning Model, LRM)은 CoT 기반 reasoning으로 보다 높은 성능 보였다. 하지만 LRM의 긴 추론 시간 문제는 여전히 존재하며, 특히 쉬운 문제까지 큰 LRM이 모두 처리하는 구조는 시간과 비용의 효율성을 저해한다. 기존에 존재하던 라우팅 방식을 이러한 비효율을 해결하는 데에 사용할 수 있지만, BERT류의 모델을 새롭게 학습시켜야 한다는 점이나 객관식 문제에서만 유효하다는 점이 여전히 한계점으로 존재한다. 본 연구는 기존 연구의 한계점을 해결하기 위해 학습 없이 프롬프트만으로 주관식 문제에서도 동작하는 새로운 자율 라우팅 방식인 Query Only, Query w/ Reference, Query w/ Boundary Reference를 제안한다. 제안 기법은 작은 LRM이 문제를 풀 수 있는지에 대한 신뢰도 수준을 큰 LRM이 추출하고 이를 통해 작은 LRM이 해결 가능한 문제를 정교하게 판별한다. Qwen3-1.7B와 Qwen3-8B를 대상으로 한 AIME, AMC23, GSM8K 실험에서 Random 라우팅과 기존 자율 라우팅 SOTA인 CP-Router 대비 동일 정확도 조건에서 더 높은 Speedup을 보였다. 특히 Query w/ Boundary Reference 전략은 모든 난이도 문제에서 가장 높은 성능을 보였다. 결과적으로 본 연구는 LRM을 활용하여 logical reasoning 주관식 문제를 해결할 때 학습 없이 프롬프트만 사용하는 자율 라우팅 방식이 시간과 비용 효율성을 높이는데 유효할 수 있다는 가능성을 확인하였다.

다국어 초록 (Multilingual Abstract)

Large Language Models (LLMs) demonstrate strong performance in natural language processing but exhibit significant limitations in complex logical and mathematical reasoning tasks. To address these shortcomings, Large Reasoning Models (LRMs) have emerged and achieved improved performance through Chain-of-Thought (CoT)–based reasoning. However, LRMs still suffer from long inference times, and the common practice of assigning all queries—including easy ones—to a large LRM results in substantial inefficiencies in both time and computational cost. Although existing routing approaches can mitigate these inefficiencies, they require additional training of BERT-like models or are restricted to multiple-choice settings, leaving key limitations unresolved. To overcome these challenges, this study proposes new training-free, prompt-based autonomous routing methods—Query Only, Query w/ Reference, and Query w/ Boundary Reference—that operate effectively on open-ended reasoning tasks. In the proposed approach, a large LRM estimates the confidence level indicating whether a small LRM can solve a given problem, enabling precise identification of inputs suitable for the smaller model. Experimental results on Qwen3-1.7B and Qwen3-8B across AIME, AMC23, and GSM8K benchmarks show that our methods achieve higher Speedup under equal-accuracy conditions compared to Random routing and the prior state-of-the-art autonomous router, CP-Router. Notably, the Query w/ Boundary Reference strategy consistently achieves the best performance across all task difficulties. Overall, this study demonstrates that training-free, prompt-based autonomous routing can significantly improve the time and cost efficiency of solving open-ended logical reasoning tasks with LRMs.

목차 (Table of Contents)

• 제 1 장 서론 1
• 1.1 연구 목적 1
• 1.2 이론적 배경 4
• 1.2.1 대규모 언어 모델 4
• 1.2.2 대형 추론 모델 4
• 1.2.3 Logical Reasoning 6
• 1.2.4 라우팅 6
• 1.3 선행 연구 11
• 1.3.1 HybridLLM 11
• 1.3.2 CP-Router 12
• 제 2 장 제안 방법 16
• 2.1 프롬프트 기반 신뢰도 수준을 활용한 대규모 추론 모델의 자율 라우팅 기법 16
• 2.2 Calibration 기반 Query w/ Boundary Reference 20
• 제 3 장 실험 26
• 3.1 실험 설정 26
• 3.2 실험 결과 31
• 제 4 장 결론 59
• 참고문헌 62
• Abstract 65
• 감사의 글 67