Behavioral Adaptation in Deep Learning-Based Generative Language Models = 딥러닝 기반 생성형 언어 모델의 동작 적응|RISS 상세보기

다국어 초록 (Multilingual Abstract)

This dissertation categorizes the generative capabilities of deep learning-based language models from low-level to high-level dimensions. First, the model must produce human-level, fluent text. Second, it should generate content that faithfully adheres to user-specified conditions while maintaining human-level fluency, which is a requirement central to controlled text generation. Third, its answers to user queries must be trustworthy and free from internal biases. Finally, the model should effectively utilize complex contextual information to generate reasoning grounded in context. For each of these generative capabilities, this dissertation studies the corresponding forms of model misbehavior and proposes methods that directly address them. We refer to these techniques, which guide a model toward more appropriate behavior by correcting undesirable tendencies, as behavioral adaptation.

To improve fundamental linguistic fluency, we address the well-known text degeneration phenomenon, in which a model produces repetitive and unnatural sequences. We link this misbehavior to deficiencies in the token unembedding process and propose Adaptive Gradient Gating (AGG), a method that enables the model to learn a more expressive unembedding matrix. By enriching the semantic structure of token representations and facilitating more discriminative unembedding, AGG reduces repetitive outputs and promotes diverse, fluent language generation.

For controlled text generation, we address the misbehavior wherein a model, when required to satisfy a specific condition, tends to produce less fluent output. We introduce the Score-based Progressive Editor (ScoPE), which guides the model toward controllable yet fluent text by externally intervening during generation. Trained using a score reflecting the target condition, the editor adjusts the model’s intermediate outputs such that the final text naturally complies with the intended constraint. This yields an efficient adaptation approach that enhances the controllability of diverse language models.

Regarding trustworthiness in question-answering settings, we study the overproduction of negative responses in binary decisions, a misbehavior we term the negative bias problem. We present Negative Attention Score Alignment (NASA), an attention-head–level framework that mitigates this bias. By identifying attention heads causing negative bias and applying parameter-efficient tuning specifically to them, NASA reduces unjustified negative responses and improves the reliability of model outputs.

Finally, for reasoning grounded in complex contexts, we address the misbehavior in which a model fails to utilize the provided information and instead produces incorrect inferences. We observe that certain orderings of contextual information hinder the model’s ability to recognize relevant details properly. To resolve this issue, we propose Context Repetition (CoRe), which reinforces the model’s grounding by repeatedly presenting the context in a structured manner. CoRe effectively targets and mitigates failures in context utilization, leading to more accurate reasoning.

Collectively, this dissertation demonstrates adaptation techniques that address major forms of misbehavior arising during text generation in deep learning–based language models. The adapted models generate fluent natural language, produce condition-aligned output, make more trustworthy decisions, and perform reasoning grounded in all relevant contextual information. Ultimately, this work provides a foundation for enabling language models to engage in meaningful discussions within specialized domains. It also serves as a stepping stone toward future directions, such as test-time scaling for deep reasoning and more effective agentic behaviors in language models.

번역하기

국문 초록 (Abstract)

본 학위논문은 딥러닝 기반 언어 모델에 요구되는 생성 능력을 저수준에서 고수준까지의 여러 차원에서 구분하여 체계적으로 탐구한다. 첫째, 언어 모델은 인간 수준의 자연스럽고 유창한 텍스트를 생성할 수 있어야 한다. 둘째, 모델은 사용자가 지정한 조건을 충실히 반영하면서도 자연스러운 유창성을 유지한 채 텍스트를 생성할 수 있어야 하며, 이는 제어형 텍스트 생성의 핵심 요구 사항이다. 셋째, 모델이 사용자 질의에 응답할 때는 내부 편향에 영향을 받지 않는 신뢰성 있는 내용을 생성해야 한다. 마지막으로, 모델은 복잡한 맥락 정보를 효과적으로 활용하여 맥락에 기반한 추론을 수행할 수 있어야 한다. 본 논문은 각 생성 능력에 대응되는 모델의 오동작을 분석하고, 이를 직접적으로 해결하기 위한 적응 방법론들을 제안한다.

기본적인 언어적 유창성을 향상시키기 위해, 본 논문은 언어 모델이 반복적이고 부자연스러운 문장을 생성하는 문제인 text degeneration 현상에 주목한다. 본 논문은 해당 문제를 언어 모델의 토큰 unembedding 과정의 한계와 연결짓고, 보다 표현력 있는 unembedding 행렬 학습을 가능하게 하는 Adaptive Gradient Gating (AGG)를 제안한다. 토큰 표현의 의미 구조를 풍부하게 하고 보다 구별력 있는 unembedding을 가능하게 함으로써, AGG는 반복적 출력 발생을 줄이고 다양하고 유창한 텍스트 생성을 촉진한다.

제어형 텍스트 생성 측면에서는, 특정 조건을 만족해야 하는 상황에서 모델이 유창성을 저해하는 문제를 다룬다. 본 논문은 생성 과정 중 외부에서 모델을 미세하게 조정하여 조건을 만족하면서도 유창한 텍스트 생성을 유도하는 Score-based Progressive Editor (ScoPE)를 제안한다. ScoPE는 목표 조건을 반영하는 점수(score)에 기반해 학습되며, 중간 생성 과정에서 모델 출력을 조정함으로써 최종 산출물이 자연스럽게 조건을 따르도록 한다. 이를 통해 다양한 언어 모델에서 제어 가능성을 효과적으로 향상시키는 효율적 적응 기법을 제시한다.

질의응답 상황에서의 신뢰성을 위해, 본 논문은 모델이 binary decision에서 부정적 응답을 과도하게 생성하는 부정적 편향 문제를 발견하고, 이를 완화하기 위한 어텐션 헤드 기반 프레임워크인 Negative Attention Score Alignment (NASA)를 제안한다. NASA 방법론은 일관되게 부정 편향에 관여하는 어텐션 헤드를 식별하고 해당 헤드에 한정된 파라미터 효율적 튜닝을 수행함으로써, 불필요한 부정 응답을 줄이고 모델 출력의 신뢰성을 향상시킨다.

복잡한 맥락 정보에 기반한 추론과 관련해서는, 모델이 주어진 정보를 제대로 활용하지 못하고 잘못된 추론을 생성하는 문제를 다룬다. 특히 특정 순서로 정보가 제시된 맥락이 모델의 정보 인식을 저해할 수 있음을 관찰한다. 이를 해결하기 위해 Context Repetition (CoRe) 기법을 제안하며, 구조적으로 반복된 맥락 제시를 통해 모델의 grounding 능력을 강화한다. CoRe는 맥락 활용 실패를 효과적으로 완화하고 보다 정확한 추론을 가능하게 한다.

종합적으로, 본 논문은 딥러닝 기반 언어 모델의 텍스트 생성 과정에서 발생하는 주요 오동작을 해결하기 위한 다양한 동작 적응 기법들을 제시한다. 이러한 방법들을 통해 적응된 모델은 유창한 자연어를 생성하고, 조건을 준수한 출력물을 만들어내며, 보다 신뢰할 수 있는 결정을 내리고, 주어진 맥락 전반을 활용한 정교한 추론을 수행할 수 있다. 궁극적으로 본 연구는 언어 모델이 특정 분야에서 의미 있는 논의를 수행하고 실제적인 조력자로 기능하는 데 필요한 기반을 제공한다. 본 연구는 향후 심층 추론을 위한 test-time scaling 및 LLM 에이전트의 동작과 같은 미래 연구 방향에 기여하는 발판으로 작용할 것으로 기대된다.

번역하기

본 학위논문은 딥러닝 기반 언어 모델에 요구되는 생성 능력을 저수준에서 고수준까지의 여러 차원에서 구분하여 체계적으로 탐구한다. 첫째, 언어 모델은 인간 수준의 자연스럽고 유창한 ...

목차 (Table of Contents)