“Well, Keep Thinking”: Enhancing LLM Reasoning with Adaptive Injection Decoding = 적응형 문구 삽입 디코딩을 통한 대규모 언어 모델 추론 능력 향상

다국어 초록 (Multilingual Abstract)

Large language models (LLMs) exhibit strong reasoning abilities, often attributed to few-shot or zero-shot Chain-of-Thought (CoT) prompting. While effective, these methods require labor-intensive prompt engineering, raising the question of whether reasoning can be induced without reliance on explicit prompts. In this work, we unlock the reasoning capabilities of LLMs without explicit prompting. Inspired by zero-shot CoT and CoT-decoding, we propose a novel decoding strategy that systematically nudges LLMs to continue reasoning, thereby preventing immature reasoning processes. Specifically, we monitor the model’s generation and inject a designated phrase, whenever the model is likely to halt or drift away from logical reasoning process. Our experimental evaluations on diverse reasoning benchmarks demonstrate that our proposed strategy substantially improves LLM reasoning capabilities, highlighting the potential of decoding-based interventions as an alternative to traditional prompting techniques.

국문 초록 (Abstract)

대규모 언어 모델은 뛰어난 추론 능력을 보이며, 이는 퓨샷 또는 제로샷 사고 연쇄 프롬프트를 통해 효과적으로 강화될 수 있다. 그러나 이러한 방법은 노동 집약적인 프롬프트 설계를 필요로 하며, 명시적 프롬프트 없이도 추론을 유도할 수 있는지에 대한 의문을 제기한다. 본연구에서는 명시적 프롬프트 없이 대규모 언어 모델의 추론 능력을 활용하는 방법을 제안한다. 제로샷 사고 연쇄와 사고 연쇄 디코딩에서 영감을 받아, 대규모 언어 모델이 추론을 중단하거나 논리적 흐름에서 벗어나는 것을 방지하면서 지속적으로 추론하도록 유도하는 새로운 디코딩 전략을 제안한다. 구체적으로, 모델의 생성 과정을 모니터링하고, 모델이 추론을 멈추거나 벗어날 가능성이 높을 때 지정된 문구를 주입한다. 다양한 추론 벤치마크 실험에서, 제안한 전략이 대규모 언어 모델의 추론 능력을 상당히 향상시킴을 확인하였으며, 이는 기존 프롬프트 기반 기법의 대안으로서 디코딩 기반 전략의 가능성을 보여준다.

목차 (Table of Contents)

• Abstract i
• Contents ii
• 1 Introduction 1
• 2 Related Works 4
• 2.1 Tuning-Based Approaches 4
• 2.2 Prompt Engineering 5
• 2.3 Sampling-Based Methods 5
• 2.4 Test-Time Strategies 6
• 3 Observations: Immature Reasoning 7
• 3.1 (Observation 1) Silence 7
• 3.2 (Observation 2) No Reasoning 8
• 3.3 (Observation 3) Incomplete Reasoning 8
• 4 Adaptive Injection Decoding 10
• 5 Experiments 12
• 5.1 Experimental Setup 12
• 5.1.1 Models, Tasks, and Datasets 12
• 5.1.2 Baselines 12
• 5.1.3 Evaluation 13
• 5.2 Results 13
• 5.2.1 Arithmetic Reasoning 14
• 5.2.2 Commonsense and Logical Reasoning 14
• 5.2.3 Enhancing Prompt-based Reasoning 14
• 5.2.4 Recovery from Ineffective Prompting 15
• 5.3 Ablation Study and Analysis 15
• 5.3.1 Injection Phrase Analysis 15
• 5.3.2 Tuning k for Injection per Model 16
• 5.3.3 More Diverse Datasets 17
• 5.3.4 Model Scales 18
• 5.3.5 Improvement of Reasoning Quality 19
• 5.3.6 Prompt Injection Elevates Token Certainty 20
• 6 Conclusion 22
• 6.1 Conclusion 22
• 6.2 Limitations 23
• 7 Appendix 24
• 7.1 Examples of Immature Reasoning 24
• 7.1.1 Silence: Failure to Generate Any Response 24
• 7.1.2 No Reasoning: Generating a Response Without Reasoning 25
• 7.1.3 Incomplete Reasoning: Producing an Incorrect or Partial Answer 26
• 7.2 Evaluation Details 27
• 7.3 Evaluation of Injection Phrases 30
• Abstract (In Korean) 38