GA-VQ: Enhancing Local Feature Representation in VQ-VAE through Genetic Algorithm-based Token Optimization = GA-VQ: 유전 알고리즘 기반 토큰 최적화를 통한 VQ-VAE에서의 지역 특징 표현 강화

국문 초록 (Abstract)

본 논문에서는 GA-VQ라는 파인튜닝 프레임워크를 소개합니다. 이 프레임본 논문에서는 GA-VQ라는 새로운 파인튜닝 프레임워크를 제안한다. 이 프레임워크는 유전 알고리즘 기반의 최적화 기법을 통해 사전 학습된 Vector Quantized Variational Autoencoders (VQ-VAE)의 local feature 표현 능력을 향상시킨다. VQ-VAE 모델은 복잡한 데이터 분포를 모델링하기에 적합한 이산 잠재 표현 학습에서 유망한 성과를 보여주었으나, codebook 내 토큰의 활용도가 낮아 특히 국소 특징을 인코딩하는 토큰이 충분히 사용되지 못한다는 문제가 있었다. 이러한 미사용 토큰은 특징 포착을 불완전하고 불균형하게 만들어, 재구성 성능 및 후속 과제 수행에 제약을 가져온다.

이 문제를 해결하기 위해, 본 연구에서는 Codebook Genetic Algorithm (CGA)라는 모듈을 제안한다. CGA는 미활용 토큰을 선별적으로 개선하기 위해 유전 알고리즘 연산(교차, 변이, fitness 기반 선택 및 대체)을 적용하는 최적화 장치이다. 이 연산들은 자주 사용되는 토큰의 성능을 해치지 않으면서, 활용도가 낮은 토큰의 표현 능력을 강화하도록 설계되었다. CGA 프레임워크는 codebook 벡터 중 사용률이 낮은 항목을 식별한 뒤, 교차·변이·선택·대체 과정을 반복하여 보다 의미 있고 풍부한 잠재 벡터가 형성되도록 유도한다. 이를 통해 입력 데이터의 미세한 지역적 특성을 보다 정확히 포착할 수 있다.

여러 데이터셋에 대한 실험 결과, 본 기법이 계산 효율성과 안정성을 유지하면서도 local feature 표현을 크게 개선함을 확인하였다. 이는 codebook 이용의 균형을 맞추고 재구성 품질을 눈에 띄게 향상시킨다.

또한 CGA의 범용성과 일반화 가능성을 검증하기 위해, 이를 VQ-Diffusion 프레임워크에 통합하여 생성 모델에도 적용하였다. 이 통합 과정에서는 CGA로 개선된 codebook을 학습 및 샘플링 단계에 그대로 사용하되, 원래의 diffusion 구조는 변경하지 않는다. 이를 통해 토큰 표현력이 강화된 codebook이 생성 성능에도 그대로 반영되도록 하였다.

도전적인 비주얼 데이터셋에 대한 실험 평가 결과, CGA 적용은 생성된 이미지의 지각적 품질과 세부 묘사 충실도를 높일 뿐만 아니라, Frechet Inception Distance (FID) 등 정량 지표에서도 일관된 개선을 가져오는 것으로 나타났다. 이러한 결과는 CGA가 재구성 및 생성 과제 모두에서 효과적이고 폭넓게 활용될 수 있는 유용한 도구임을 입증한다.

다국어 초록 (Multilingual Abstract)

This dissertation introduces GA-VQ, a novel fine-tuning framework that enhances the local feature representation capabilities of pre-trained Vector Quantized Variational Autoencoders (VQ-VAE) \cite{van2017neural} through an optimization scheme based on genetic algorithms. While VQ-VAE models have demonstrated significant promise in learning discrete latent representations suitable for modeling complex data distributions, their representational power is often hindered by the underutilization of tokens in the codebook, particularly those responsible for encoding local features. This underutilization leads to incomplete and imbalanced feature capture, limiting the effectiveness of the model in reconstruction and downstream tasks.

To address this issue, we propose the Codebook Genetic Algorithm (CGA), a targeted optimization module that selectively refines underutilized tokens by applying a series of genetic algorithm operations. These operations are carefully designed to enhance the representation capacity of neglected tokens while preserving the integrity and performance of frequently used ones. The CGA framework identifies low-usage codebook vectors and systematically evolves them through operations such as crossover, mutation, fitness-based selection and replacement, ultimately promoting the formation of more meaningful and expressive latent vectors that better capture subtle local characteristics within the input data.

Experimental results across multiple datasets demonstrate that our approach significantly improves the representation of local features while maintaining computational efficiency and stability. This results in more balanced codebook utilization and notable gains in reconstruction quality.

To further assess the versatility and generalizability of the CGA approach, we extend its application to generative modeling by integrating it into the VQ-Diffusion framework \cite{gu2022vector}. In this integration, CGA-enhanced codebooks are used during both training and the sampling process, without altering the underlying diffusion architecture. This enables the model to leverage improved token representations for enhanced generative performance.

Our experimental evaluation on challenging visual datasets confirms that the use of CGA not only improves perceptual quality and detail fidelity in generated images but also leads to consistent improvements in quantitative metrics, such as Frechet Inception Distance (FID). These results highlight the effectiveness and broad applicability of CGA across both reconstruction and generation tasks, establishing its value as a general tool for enhancing representation learning and high-quality image synthesis.

목차 (Table of Contents)

• Abstract i
• Chapter 1 Introduction 1
• 1.1 Background 1
• 1.1.1 Representation Learning Through Autoencoders: From AE to VQ-VAE 1
• 1.1.2 Codebook Token Utilization Challenges 6
• 1.1.3 Exploring Genetic Algorithms for Latent Space Optimization 8
• 1.1.4 Motivation 9
• 1.2 Contributions 11
• 1.3 Organization of the Dissertation 12
• Chapter 2 Related Work 16
• 2.1 Reconstruction and Generation through VQ-VAE models 16
• 2.2 Codebook collapse in VQ-VAEs 23
• 2.3 Metaheuristic Algorithms in Deep Neural Networks 27
• Chapter 3 Codebook Genetic Algorithm for Improved Local Feature Reconstruction 32
• 3.1 VQ-VAE with Codebook Genetic Algorithm Module 33
• 3.1.1 Learning Objective and Loss Function 36
• 3.1.2 Codebook Genetic Algorithm(CGA) 40
• 3.1.3 Genetic Algorithm Operations in CGA 45
• 3.1.4 Local Search Strategy 49
• 3.1.5 Token Update Strategy 51
• 3.2 Experiment Result 53
• 3.2.1 Enhanced Token Utilization Analysis 54
• 3.2.2 MNIST Evaluation 57
• 3.2.3 Evaluation on Complex Visual Data 59
• 3.2.4 Ablation Study 62
• 3.3 Discussion 65
• Chapter 4 Enhancing Generative Quality via CGA-Augmented VQ-Diffusion 71
• 4.1 CGA-Enhanced VQ-Diffusion Framework 71
• 4.1.1 Overview of VQ-Diffusion Architecture 72
• 4.1.2 Modified Training and Inference Strategy 75
• 4.2 Experiment Result 79
• 4.2.1 Qualitative Comparison of Generated Samples 79
• 4.2.2 Quantitative Evaluation 89
• 4.3 Discussion 93
• Chapter 5 Conclusion 96
• 5.1 Limitation 96
• 5.2 Summary 97
• 5.3 Future Work 98
• Appendix A Appendix 100
• 요약 114