Improving the Steerability of LLMs in Resource-Constrained Environments = 자원 제한적 환경에서 대형 언어 모델의 제어 능력 향상

다국어 초록 (Multilingual Abstract)

The advent of LLMs has profoundly reshaped the landscape of Natural Language Processing (NLP) and Artificial Intelligence (AI). While LLMs continue to push the boundaries of generative AI, their inherent general-purpose nature at the time of initial release presents significant challenges in controlling and tailoring their outputs for specific downstream tasks, user preferences, or domains. This need for effective control, or "steering,'' is critical for real-world deployments.

Common strategies for steering LLMs are broadly categorized into training-free and post-training-based methods. Training-free approaches modify the LLM without altering the LLM's trainable parameters. This line of works includes prompt engineering, where input prompts are carefully crafted; few-shot learning, which provides in-context demonstrations; controlled generation, involving manipulation of internal hidden states or output logits at inference time; and Retrieval-Augmented Generation (RAG), which grounds responses in external knowledge sources. While computationally inexpensive and straightforward, these methods offer limited control and can be highly sensitive to prompt phrasing and context length limitations.

Conversely, post-training-based methods, such as Supervised Fine-Tuning (SFT) and Reinforcement Learning (RL), enable more precise control by modifying the LLM's weights. SFT involves further training a pre-trained LLM on a labeled dataset representative of the desired behavior, using gradient-based optimization with a cross-entropy loss. RL optimizes LLMs based on feedback rather than fixed labels. RL from Human Feedback (RLHF) trains the LLM to maximize a reward signal derived from human preferences, either through human-in-the-loop processes or learned reward models. More recently, RL with verifiable rewards (RLVR), which employs programmatically defined metrics or rules, is being widely adopted; however, its application is largely restricted to tasks where correct and incorrect outputs can be clearly distinguished (e.g., coding or mathematical problem solving). While these post-training approaches offer the highest degree of steerability, their resource-intensiveness presents a significant impediment, particularly in resource-constrained settings. This dissertation addresses these critical challenges by proposing and evaluating novel frameworks for efficiently steering LLMs.

First, DynaInst focuses on circumventing iterative retraining of language models for knowledge accumulation through continual instruction tuning. Like other Deep Neural Networks, language models are susceptible to catastrophic forgetting, where they lose previously acquired capabilities upon learning new tasks. This typically necessitates a joint, computationally prohibitive retraining to integrate additional capabilities. To overcome this, we introduce DynaInst, a novel continual instruction tuning framework that leverages both parameter regularization and experience replay to mitigate catastrophic forgetting and facilitate the continuous accumulation of task-wise generalization. Experimental results demonstrate that the proposed method significantly advances both types of generalization, achieving performance comparable to the upper-bound performance of models trained jointly on all tasks. This work offers a promising path toward building continuously evolving, universal LLMs without the need for iterative re-training on all newly arriving tasks, thereby reducing the computational burden associated with knowledge accumulation in LLMs.

Second, we explore the effective utilization of smaller, open-source LLMs for specific downstream tasks. Although extremely large proprietary LLMs offer unparalleled performance, smaller open-source models, typically with around seven billion parameters, present an efficient and attractive alternative, especially in resource-constrained settings. This paper presents a two-stage supervised fine-tuning framework specifically designed for open-source LLMs for the task of API argument filling in task-oriented conversational systems. Our experimental results demonstrate that when paired with this proposed technique, the argument filling performance of smaller LLMs noticeably improves, outperforming larger proprietary LLMs. This work thus paves a new avenue toward making LLMs more reliable and accurate in a specific, mission-critical task.

Third, HiCUPID tackles the monetary and labor costs associated with collecting data for LLM steering, particularly in the context of personalization and discloses potentials and limitations of existing parameter-efficient fine-tuning (PEFT) strategies. HiCUPID, a synthetically-generated benchmark, includes a novel conversational dataset and an automated evaluation model for developing and assessing LLMs as personalized AI assistants. With HiCUPID, this work conducts extensive experiments to investigate the personalization ability of state-of-the-art closed- and open-source LLMs. The analysis incorporates four widely used inference-time and three train-time parameter-efficient LLM customization methods, addressing the challenge of understanding the unknown potentials and limitations of existing PEFT techniques in the context of LLM personalization. This comprehensive exploration provides valuable insights into how these techniques can be leveraged for effective and resource-efficient personalization.

In summary, this dissertation makes significant contributions to improving the steerability of LLMs in resource-constrained environments by reducing the data, memory, and compute cost associated with post-training. The findings and methodologies presented here pave the way for a new generation of adaptable and steerable LLMs that can thrive even in the most resource-constrained settings.

국문 초록 (Abstract)

대규모 언어 모델(Large Language Model, LLM)은 자연어 처리 분야 및 인공지능 연구 전반의 지형을 크게 변화시켰다. 대규모 언어 모델은 뛰어난 텍스트 생성 성능을 보이지만, 초기에는 일반적인 목적에 맞춰 설계되어 특정 작업, 사용자 선호, 또는 도메인에 맞는 출력을 제어하고 조정하기 어려운 한계를 가진다. 때문에, 다양한 산업에서 대규모 언어 모델을 효과적이고 안전하게 응용하기 위해서는 대규모 언어 모델의 출력을 자유자재로 제어하는 기능은 매우 중요한 과제이다.

대규모 언어 모델을 제어하는 방법론들은 크게 학습이 필요 없는 방식과 후속 학습 기반 방식으로 구분된다. 학습이 필요 없는 방식은 대규모 언어 모델의 학습 가능한 파라미터를 변경하지 않고 제어를 시도하며, 프롬프트 엔지니어링, 퓨샷 학습, 제어적 생성, 검색 기반 생성(Retrieval-Augmented Generation, RAG)와 같은 방법을 포함한다. 이러한 방식은 구현이 간단하고 자원이 적게 소모되지만, 제어 수준이 제한적이고 프롬프트의 문구나 문맥 길이에 민감한 문제를 가진다.

후속 학습 기반 방식은 대규모 언어 모델의 학습 가능한 파라미터를 직접 변경함으로써 보다 정밀한 제어를 가능하게 한다. 지도학습(Supervised Fine-Tuning, SFT)은 원하는 행동을 나타내는 라벨링된 데이터를 사용하여 모델을 추가 학습시킨다. 강화학습(Reinforcement Learning, RL)은 정답이 아닌 피드백을 기반으로 모델을 최적화하며, 인간 피드백 기반 강화학습(RL with Human Feedback, RLHF)은 인간의 선호도를 반영한 보상 신호를 극대화하는 방향으로 모델을 학습시킨다. 최근에 제안된 검증 가능한 보상(RL with Verifiable Rewards, RLVR)을 사용하는 방법은 명확한 정답 기준이 존재하는 과제에서 주로 활용된다. 이러한 후속 학습 방식은 높은 수준의 제어력을 가지지만 계산 자원이 많이 소모된다는 단점을 가진다. 본 논문은 자원 제한적 환경에서도 대규모 언어 모델의 제어를 가능하게 하기 위하여, 자원을 많이 활용하지 않는 다양한 후속 학습 프레임워크를 제안하고 그 효과를 검증한다.

첫째, DynaInst는 반복적인 재학습 없이도 지식을 축적할 수 있는 학습 프레임워크를 제안한다. DynaInst는 파라미터 정규화와 과거 데이터를 일부 재활용하는 experience replay를 통해 파괴적 망각(catastrophic forgetting)을 완화한다. DynaInst는 기존 공동 학습과 유사한 성능을 유지하면서도 일반화 능력을 효율적으로 향상시킨다. 이 프레임워크는 반복적인 재학습 없이도 대규모 언어 모델의 능력을 지속적으로 확장할 수 있는 가능성을 제시한다.

둘째, 소형 오픈소스 대규모 언어 모델을 활용하여 특정 다운스트림 작업을 효과적으로 수행하는 방안을 제안한다. 이 연구는 로컬 컴퓨팅 환경에서도 가동 할 수 있는 소형 모델에 2단계 지도학습 기법을 적용하여, 작업 지향 대화 시스템(task-oriented dialogues, TOD)에서 API 인자 자동 채우기 성능을 향상시킨다. 실험 결과, 해당 기법을 적용한 소형 모델이 일부 대형 모델보다 더 우수한 성능을 보이는 것으로 나타난다. 이 연구는 특정 작업에 최적화된 대규모 언어모델을 효율적으로 개발할 수 있는 새로운 가능성을 제시한다.

셋째, HiCUPID 벤치마크는 대규모 언어 모델의 개인화 과정에서 요구되는 데이터 수집 비용과 인력 소모 문제를 해결한다. HiCUPID는 합성 대화 데이터셋과 자동 평가 모델로 구성되며, 개인화된 인공지능 비서 개발하고 평가하는 데 사용될 수 있다. 본 연구는 이 벤치마크를 활용하여, 4가지 추론 시점의 대규모 언어 모델 제어 기법과 3가지 파라미터 효율적 학습을 통한 대규모 언머 모델 제어 기법을 종합적으로 분석한다. 이 분석은 기존 효율적 학습 기법의 장단점을 파악하고, 개인화에 있어 효율적인 제어 방법을 이해하는 데 기여한다.

본 논문은 대규모 언어 모델의 후속 학습에 수반되는 데이터, 메모리, 연산 비용을 절감하면서도 효과적인 제어가 가능한 방법론들을 제안한다. 이 연구는 자원이 제한된 환경에서도 유연하고 적응력 있는 대규모 언어 모델을 개발할 수 있는 기반을 제공하며, 실용적인 대규모 언어 모델 제어 기술 발전에 기여한다.

목차 (Table of Contents)

• 제 1 장 Introduction 1
• 제 2 장 Background 9
• 제 3 장 Large-scale Lifelong Learning of In-context Instructions 29
• 제 4 장 LLM-based Frameworks for API Argument Filling in Task-oriented Conversational Systems 55
• 제 5 장 Exploring the Potential of LLMs as Personalized Assistants: Dataset, Evaluation, and Analysis 70
• 제 6 장 Conclusion 111