Automatic Routing Between Symbol-Prediction and Cloze Scoring = 다지선다형 LLM 평가에서 Symbol과 Cloze 채점 방식 간 자동 라우팅

다국어 초록 (Multilingual Abstract)

Performance of Large Language Models (LLMs) on multiple-choice tasks differs markedly between symbol-based and cloze-style evaluation formats. The observed discrepancies are systematically attributable to task characteristics: natural language continuation benefits from likelihood scoring, whereas explicit comparison is better suited to symbol-based selection. These trends are consistent across various decoder-based LLMs, indicating model-agnostic effects. To address these inconsistencies, a dynamic format-alignment strategy is introduced that employs a lightweight classifier trained on latent model-preference signals. In contrast to human-designed heuristics, which often degrade performance, this approach uses model-generated signals to determine the optimal format for each problem instance. The proposed method achieves substantial and consistent improvements in zero-shot accuracy across reasoning and knowledge benchmarks, better revealing the models' latent capabilities.

국문 초록 (Abstract)

다지선다 과제에서 대규모 언어 모델(LLM)의 성능은 Symbol 평가 형식과 Cloze 평가 형식 사이에서 현저하게 달라진다. 관찰되는 차이는 벤치마크 특성에 의해 체계적으로 설명된다. 즉, 자연어를 이어 쓰는(continuation) 유형의 벤치마크는 Cloze 방식에서 이점을 얻는 반면, 명시적 비교(explicit comparison)는 Symbol 방식에 더 적합하다. 이러한 경향은 decoder 기반 다양한 LLM 전반에서 일관되게 나타난다. 이에 잠재적 모델 선호 신호에 기반해 학습된 경량 분류기(classifier)를 활용하는 동적 format-alignment 전략을 제안한다. 성능을 저하시키는 경우가 잦은 인간 설계 휴리스틱과 달리, 이 접근법은 각 문제 인스턴스마다 최적의 형식을 결정하기 위해 모델이 생성한 신호를 사용한다. 제안 방법은 추론 및 지식 벤치마크에서 zero-shot 정확도를 크게 그리고 일관되게 향상시키며, 모델의 잠재 역량을 더 잘 드러낸다.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• Chapter 2. Related Works 4
• Chapter 3. Symbol vs. Cloze: A Baseline 6
• Chapter 4. Evaluation via Model-Preferred Formats 12
• Chapter 5. Evaluation Results 19
• Chapter 6. Conclusion 23
• Acknowledgements 24
• Bibliography 25
• Appendix 31
• Abstract in Korean 54