Action Relevant Attention Heads in Vision Language Action Models: Mechanistic Interpretability and Safe Pruning = 비전 언어 액션 모델의 행동 관련 어텐션 헤드 분석: 기전적 해석과 안전한 가지치기

다국어 초록 (Multilingual Abstract)

Despite recent progress in Vision Language Action (VLA) models, but their transformer back-
bones largely remain black boxes, limiting safety, debuggability, and resource-aware deployment.
This thesis presents an action-centric mechanistic analysis of a modern VLA policy, ω0-FAST,
trained on LIBERO tabletop manipulation tasks, with the goal of uncovering the internal circuit
that decodes multimodal context into continuous robot actions.
We first study feedforward value vectors to locate where in depth the model allocates ca-
pacity to promote action tokens versus preserve the pretrained semantic backbone. Next, we
group tokens by modality and role (images, text instructions, proprioceptive state, and previ-
ous actions) and measure modality-wise attention patterns and head-output magnitudes. This
reveals early visual and instruction preprocessing heads, mid-layer heads that integrate visual,
state, and action-history signals, and late heads that format representations into action logits,
together forming an action-decoding circuit.
To directly link individual heads to control behavior, we introduce a KNN-based head–action
attribution score that evaluates how well each head’s representation predicts decoded contin-
uous action chunks, both globally and for specific motion and contact factors. Combining this
geometric signal with head-output norms and attention mass, we define an Action Relevance
Score (ARS) and a Hybrid Importance Score (HIS) that act as head-importance metrics for
identifying components that are functionally necessary for action decoding.
As a concrete downstream application of this circuit view, we use ARS/HIS to drive safe head
pruning. Pruning only the lowest-scoring heads under ARS/HIS preserves almost all LIBERO
performance at moderate pruning ratios, whereas magnitude-, attention-, or geometry-only cri-
teria quickly collapse control. These results show that VLA policies organize into structured
sensorimotor circuits at the head level, and that circuit-based importance scores provide a prac-
tical handle for safe head pruning, FLOP-aware compression, and future interpretability-driven
steering and safety interventions in embodied AI systems.

국문 초록 (Abstract)

비전 언어 액션(Vision Language Action, VLA) 모델은 이미지와 언어 지시를 입력받아 로봇의 저수준 제어 신호로 직접 매핑하는 엔드투엔드 정책이지만, 트랜스포머 백본의 내부 연산은 여전히 블랙박스에 가깝게 남아 있어 안전성, 디버깅, 연산 자원 제약을 고려한 배치 측면에서 한계를 드러낸다. 본 학위논문에서는 LIBERO 테이블탑 조작 과제에서 학습된 최신 VLA 정책인 $\pi_0$-FAST를 대상으로, 멀티모달 컨텍스트가 연속 로봇 액션으로 디코딩되는 내부 회로 구조를 밝히기 위한 액션 중심 기계적 해석을 수행한다.

먼저 뉴런 단위의 분석을 통해, 모델이 깊이 방향으로 어느 지점에서 액션 토큰을 강하게 증폭시키는지 확인한다. 이어서 토큰을 모달리티와 역할(이미지, 텍스트 지시, 고유수용감각 상태, 이전 액션)에 따라 그룹화하고, 모달리티별 어텐션 패턴과 헤드 결과의 크기를 측정한다. 이를 통해 초기 층에서는 시각 및 지시 정보를 전처리하는 헤드, 중간 층에서는 시각–상태-지시문–액션 히스토리를 통합하는 헤드, 마지막 층에서는 표현을 액션 로짓으로 포맷팅하는 헤드가 함께 작동하며 액션 디코딩 회로를 형성함을 보인다.

개별 헤드를 제어 행동과 직접적으로 연결하기 위해, 디코딩된 연속 액션 청크를 얼마나 잘 예측하는지를 평가하는 KNN 기반 헤드–액션 어트리뷰션 점수를 도입한다. 이 점수는 전체 청크 수준뿐 아니라 특정 이동/접촉 요소에 따라 분해하여 계산함으로써, 각 헤드 표현이 어떤 움직임 요인에 민감한지를 정량화한다. 나아가 이 기하학적 신호를 헤드 결과의 노름 및 어센션 크기와 결합하여, 액션 디코딩에 기능적으로 필수적인 헤드를 식별하기 위한 Action Relevance Score(ARS)와 Hybrid Importance Score(HIS)를 정의한다.

마지막으로, 이러한 회로 관점의 구체적인 다운스트림 응용으로 ARS/HIS를 이용한 안전한 헤드 가지치기를 연구한다. ARS/HIS 점수가 가장 낮은 헤드만을 제거하면, 중간 수준의 가지치기 비율에서도 LIBERO 성능이 거의 유지되는 반면, 단순한 크기 기반, 어텐션 기반, 혹은 기하학(KNN) 기반 기준만으로 가지치기을 수행할 경우 제어 성능이 빠르게 붕괴됨을 보인다. 이는 VLA 정책이 헤드 수준에서 구조화된 센서모터 회로로 조직되어 있음을 시사하며, 회로 기반 중요도 점수가 안전한 헤드 가지치기, 계산량 관점의 경량화, 그리고 향후 해석학 기반의 스티어링 및 안전 개입을 위한 실질적인 수단을 제공함을 보여준다.

목차 (Table of Contents)

• 1 Introduction 6
• 2 Related Works 10
• 2.1 Vision Language Action Models 10
• 2.2 Attention head in Multi-modal Large Language Model 12
• 2.3 Mechanistic Interpretability and Robotics Policies 13
• 3 Preliminary 14
• 3.1 VLA Background and Notations 14
• 3.2 Multi-Head Attention 16
• 3.3 Feed-Forward Layers and Value Vectors 16
• 4 Single-Neuron and Attention Analyses for Action Decoding 18
• 4.1 Experiment Setup 18
• 4.1.1 Manipulation Benchmark 18
• 4.1.2 Model Selection and Configuration 19
• 4.2 Single Neuron Analysis 19
• 4.3 Token Grouping and Metrics for Modality-Wise Attention Analysis 23
• 4.4 Modality-Specific Head Roles and Attention Dynamics in VLA 24
• 4.5 Consistent Attention Pattern Across Tasks 28
• 5 Action Decoding Circuit Discovery 30
• 5.1 KNN-based Head–Action Attribution 32
• 5.2 Discovery of Functionally Specialized Heads 34
• 5.2.1 Universal Heads with Consistent Control Signatures 34
• 5.2.2 Task-Specific Motion Statistics and Difficulty 36
• 5.3 Action-Aware Head Importance Scoring 39
• 5.3.1 Complementarity of Metrics 39
• 5.3.2 Hybrid Importance Score 40
• 5.4 Application: Safe Head Pruning 41
• 6 DISCUSSION 45
• 6.1 Modular Sensorimotor Organization in VLA Models 45
• 6.2 Design Implications for VLA Architectures and Training 45
• 6.3 Interpretable Head-Level Pruning and Compression 46
• 6.4 Limitations and Future Directions 46
• 7 CONCLUSION 48
• 8 초록 53