Language Grounding to Vision and Robotics = 언어를 기반으로한 시각 및 로봇 학습에 대한 연구

다국어 초록 (Multilingual Abstract)

Recent advances in large vision-language models (VLMs) have opened new possibilities for grounding natural language into perception and action. Yet, effectively transferring linguistic understanding to visual reasoning and robotic control remains an open challenge. Existing fine-tuning and multimodal alignment techniques often degrade pre-trained representations or fail to generalize across diverse tasks. This thesis explores language grounding to vision and robotics through a series of studies focusing on efficient adaptation, contextual reasoning, and multitask generalization. First, we analyze how parameter-efficient fine-tuning (PEFT) techniques affect the pre-trained representation space of VLMs. We find that conventional methods such as LoRA and Adapter often distort the learned feature manifolds, leading to degraded generalization. To mitigate this, we propose Prefix-Tuned PEFT (PT-PEFT), a two-stage optimization framework that first preserves the representation space via prefix-tuning and subsequently refines model parameters using LoRA or Adapter methods. Experiments on image captioning and visual question answering demonstrate that PT-PEFT enhances performance while maintaining pre-trained semantic integrity. Second, we introduce a gradient-free hard prompt inversion pipeline that leverages an LLM prior with CLIP guidance to decode human-readable prompts token-by-token. This Visually Guided Decoding (VGD) formulation maximizes a CLIP-based image likelihood while regularizing by the language model, yielding interpretable prompts that support multi-concept composition and style transfer, and achieve strong CLIP-I scores and competitive BERTScores without any additional training. Third, we address embodied learning with a rank-adaptive fine-tuning method for vision-language-action (VLA) models. Spectral analyses reveal VLA adaptation requires much higher intrinsic rank than LLMs and is highly rank-sensitive. We therefore replace fixed-rank LoRA with LoRA-SP (Select–Prune): an SVD-style vector bank with a router that selects the minimal active set to meet an energy target and adds a spectral concentration loss. On real-robot manipulation with an unseen AgileX PiPER arm and two VLA backbones, this approach matches or exceeds full fine-tuning with far fewer trainable parameters and improves multi-task success by up to 31.6\% over standard LoRA. Taken together, these contributions chart a cohesive path from representation-preserving adaptation, to interpretable, controllable prompt grounding, to rank-adaptive embodied policies, advancing practical and scalable language grounding to vision and robotics.

국문 초록 (Abstract)

최근 대규모 비전-언어 모델(Vision-Language Models, VLMs)의 발전은 자연어를 지각(perception)과 행동(action)에 연결하는 새로운 가능성을 열었다.그러나 언어적 이해를 시각적 추론과 로봇 제어로 효과적으로 전이하는 것은 여전히 해결되지 않은 과제이다. 기존의 미세조정(fine-tuning) 및 다중모달 정렬(multimodal alignment) 기법들은 종종 사전학습된 표현(pre-trained representation)을 손상시키거나, 다양한 작업에 대해 일반화 능력이 부족한 문제를 보인다. 본 논문은 효율적 적응, 문맥적 추론, 그리고 다중 과제 일반화(multitask generalization)에 초점을 맞추어 언어의 시각 및 로봇으로의 그라운딩(language grounding to vision and robotics) 문제를 탐구한다. 첫 번째 연구에서는 매개변수 효율적 미세조정(Parameter-Efficient Fine-Tuning, PEFT) 기법이 사전학습된 VLM 표현 공간에 미치는 영향을 분석하였다. LoRA나 Adapter와 같은 기존 방법들은 학습된 특징 공간(feature manifold)을 왜곡시켜 일반화 성능을 저하시킨다는 점을 발견하였다. 이를 해결하기 위해 Prefix-Tuned PEFT (PT-PEFT)라는 2단계 최적화 프레임워크를 제안한다. 이 방법은 우선 prefix-tuning을 통해 사전학습 표현 공간을 보존하고, 이후 LoRA 또는 Adapter를 이용해 모델 파라미터를 정교하게 조정한다. 이미지 캡셔닝과 시각적 질의응답(VQA) 실험 결과, PT-PEFT는 사전학습된 의미적 일관성을 유지하면서도 성능 향상을 달성하였다. 두 번째 연구에서는 CLIP 기반의 시각적 유도(visual guidance)와 LLM 사전학습 모델을 결합한 gradient-free hard prompt inversion 파이프라인을 제안한다. 이 Visually Guided Decoding (VGD) 기법은 언어 모델의 정규화를 유지한 채 CLIP 이미지 가능도(image likelihood)를 최대화하여, 사람이 읽을 수 있는 텍스트 프롬프트를 토큰 단위로 복원한다. 이 방식은 추가적인 학습 없이도 다중 개념 조합(multi-concept composition)과 스타일 전이(style transfer)를 지원하며, 높은 CLIP-I 점수와 경쟁력 있는 BERTScore를 달성하였다. 이를 통해 시각적 특징으로부터 해석 가능한 프롬프트를 재구성함으로써, 대규모 비전-언어 모델의 내재적 표현 구조를 드러내고 제어할 수 있음을 보여준다. 세 번째 연구에서는 비전-언어-행동(Vision-Language-Action, VLA) 모델의 랭크 적응형(rank-adaptive) 미세조정 방법을 통해 실체화된(embodied) 학습 문제를 다룬다. 스펙트럼 분석 결과, VLA의 적응 과정은 LLM보다 훨씬 높은 내재 랭크(intrinsic rank)를 요구하며, 이에 따라 랭크 선택에 매우 민감한 것으로 나타났다.이에 우리는 고정된 랭크를 사용하는 LoRA를 대체하여 LoRA-SP (Select–Prune)를 제안한다. 이는 SVD 기반 벡터 뱅크와 라우터(router)를 사용하여 입력별·레이어별로 필요한 최소 활성 벡터 집합을 선택하고, 스펙트럼 집중 손실(spectral concentration loss)을 통해 에너지 기준을 만족시킨다. AgileX PiPER 로봇 팔과 두 가지 VLA 백본(π₀, SmolVLA)을 이용한 실제 조작 실험에서, LoRA-SP는 훨씬 적은 학습 파라미터로도 완전 미세조정(full fine-tuning)에 필적하거나 그 이상의 성능을 보였으며, 표준 LoRA 대비 다중 작업 성공률을 최대 31.6\% 향상시켰다. 이 세 연구는 표현 보존형 적응(representation-preserving adaptation)에서부터 해석 가능하고 제어 가능한 프롬프트 그라운딩, 그리고 랭크 적응형 정책 훈련(rank-adaptive embodied policy training) 에 이르는 일관된 연구 경로를 제시한다. 이를 통해 본 논문은 시각 및 로봇 환경에서의 언어 그라운딩을 위한 실질적이고 확장 가능한 접근법을 제시하였다.

목차 (Table of Contents)

• Abstract i
• Contents iii
• List of Tables vii
• List of Figures ix
• Introduction 1
• Preserving Pre-trained Representation Space: On Effectiveness of Prefix-tuning 4
• Visually Guided Decoding: Gradient-Free Hard Prompt Inversion with Language Models 39
• Adaptive Capacity Allocation for Vision Language Action Fine-tuning 72
• Conclusion 93
• Abstract (In Korean) 112
• 감사의 글 115