A Slice Discovery Method for Object Detection Models via Sparse Autoencoder = 희소 오토인코더를 활용한 객체 탐지 모델의 슬라이스 발견 기법

다국어 초록 (Multilingual Abstract)

Sparse Autoencoders (SAEs) offer a powerful way to disentangle high-dimensional neural rep-
resentations, yet their use for diagnosing failures in object detection has remained limited.
Transformer-based detectors generate hundreds of object queries per image, but these features
are highly entangled, making it difficult to identify which visual attributes lead to failures such
as localization errors, occlusions, or misclassification.
In this thesis, we propose a sparse-representation-driven framework for discovering systematic
failure slices in object detection. We extract large-scale object queries from a DETR-family model
trained on the BDD100K autonomous driving dataset and train a Top-K Sparse Autoencoder
to obtain disentangled latent factors. These factors align with key visual attributes—such as
object size, occlusion patterns, viewpoint, and lighting—revealing detector-specific behaviors
not captured by conventional feature embeddings.
Using these latents as tags, we apply a hierarchical Apriori-style search to discover fine-
grained failure slices. This enables the identification of nuanced and previously unknown error
modes that are difficult to describe using text or VLM-based annotations. We further project
slice activations to the image level, allowing targeted sample selection for model repair.
Experiments show that SAE-derived slices uncover more detailed failure patterns than feature
clustering or VLM-tag-based methods, and that fine-tuning on slice-targeted samples improves
detector robustness

국문 초록 (Abstract)

희소 오토인코더는 고차원 신경망 표현을 분해하여 잠재 요인을 분리하는 강력한 방법론이지만,
객체 탐지 모델의 오류를 진단하는 데 활용된 사례는 아직 제한적이다. 트랜스포머 기반 객체 탐지
모델은 이미지당 수백 개의 오브젝트 쿼리를 생성하지만, 이 특징 표현들은 다양한 시각적 요인이
뒤섞여 있어 위치 오차, 가림, 잘못된 분류와 같은 실패를 유발하는 속성을 명확히 식별하기 어렵다.
본 학위논문에서는 희소 표현 기반의 접근법을 통해 객체 탐지 모델의 체계적인 실패 슬라이스
를 발견하는 방법을 제안한다. 이를 위해 BDD100K 자율주행 데이터셋으로 학습된 DETR 계열
모델에서 대규모 오브젝트 쿼리를 추출하고, Top-K 희소 오토인코더를 학습하여 분리된 잠재 요인
을 얻는다. 이렇게 얻은 잠재 요인은 객체의 크기, 가림 양상, 시점, 조도와 같은 핵심 시각적 속성과
정렬되며, 기존의 피처 임베딩으로는 포착하기 어려운 탐지기 특유의 행동을 드러낸다.
이 잠재 요인들을 태그로 사용하여, 계층적 탐색을 수행함으로써 세밀한 실패 슬라이스를 자동
으로 발견한다. 이를 통해 기존 텍스트 기반 또는 VLM 기반 주석만으로 기술하기 어려운 새로운
형태의 오류 모드를 발견할 수 있다. 또한 슬라이스 활성도를 이미지 단위로 투영하여, 모델 수정을
위한 고가치 샘플을 선택하는 데 활용한다.
실험 결과, 희소 오토인코더 기반으로 발견된 슬라이스는 단순 피처 클러스터링 또는 VLM 태
깅 기반 기법보다 훨씬 정교한 실패 패턴을 포착하며, 해당 슬라이스에 기반하여 선택된 데이터로
파인튜닝을 수행할 경우 탐지기의 강건성이 향상됨을 확인하였다.

목차 (Table of Contents)

• Chapter 1. Introduction 5
• 1-1. Introduction 5
• Chapter 2. Related Work 7
• 2-1. Diagnosing Failures in Object Detection 7 2-2. Error Slice Discovery 7
• Chapter 3. Preliminary 9
• 3-1. Object Detection and Transformer-Based Detectors 9 3-2. Sparse Autoencoders (SAEs) 10 3-3. Error Taxonomy in Object Detection 12 3-4. Notation Summary 12
• Chapter 4. Method 14
• 4-1. Slice Discovery Pipeline 14 4-1-1. Sparse Autoencoders for Disentanglement 14 4-1-2. SAE Latent-wise Slice Discovery 15 4-1-3. Slice-Based Failure Forecasting and Repair 17
• Chapter 5. Experiments 18
• 5-1. Experimental Setup 18 5-2. Can SAE Learn Disentangled and Meaningful Latents? 20 5-3. Discovering Error Slices from Latents 21 5-4. Model Repair 23
• Chapter 6. DISCUSSION 24
• 6-1. Comparison with VLM Tag-Based Slice Discovery 24 6-2. Implications for Error Analysis and Model Debugging 25
• Chapter 7. CONCLUSION 27