계층적 이중 어텐션을 활용한 비전 트랜스포머 구조 개선 연구 = Improving Vision Transformer with Hierarchical Dual-Attention

국문 초록 (Abstract)

ViT는 장기 의존성 학습에 강점을 지니며, 지난 10년간 시각 인식 분야를 주도해 온 CNN을 대체할 잠재력을 보여주었다. 그러나 귀납적 편향을 최소화한 ViT의 설 계 특성은 대규모 데이터 없이 일반화 성능이 저하되는 한계를 동반한다. 이를 보 완하기 위해 다양한 계층적, 지역적 구조의 ViT 변형이 제안되었지만, 지역성 강화 시 전역 문맥 표현이 약화되거나 전역 관계 학습 시 세밀한 정보가 손실되는 상충 문제가 존재한다.
본 연구에서는 이러한 한계를 해결하기 위해 지역성과 전역성을 통합적으로 학습 하는 HDViT(Hierarchical Dual-attention Vision Transformer)를 제안한다. HDViT는 Loc al Clustering Attention(LCA)를 통해 픽셀-토큰 간 지역 정보를 추출하고, Global SelfAttention(GSA)으로 장기 의존성을 학습한다. 이후 Feature Back-Projection(FBP)를 통 해 두 수준의 정보를 결합한 특징 맵을 복원하여 일관된 다중 스케일 표현을 형성 한다.
실험 결과, HDViT는 이미지 분류에서 기존 모델 대비 우수한 성능을 보이며 제 안 구조의 효과성을 입증하였다.

다국어 초록 (Multilingual Abstract)

Vision Transformers (ViTs) demonstrate strong capability in modeling long-range dependenci es and have shown the potential to replace CNNs, which have dominated visual recognition f or the past decade. However, the design philosophy of ViTs, which minimizes inductive bias, leads to degraded generalization performance when trained without large-scale data. Although various hierarchical and local ViT variants have been proposed to mitigate this issue, they still suffer from a trade-off: strengthening locality often weakens global contextual modeling, where as enhancing global relations tends to cause the loss of fine-grained spatial details.
To address these limitations, this paper proposes HDViT (Hierarchical Dual-attention Vision Transformer), a model that jointly learns local and global representations in an integrated man ner. HDViT employs Local Clustering Attention (LCA) to extract local pixel–token interactions and Global Self-Attention (GSA) to capture long-range dependencies. It further reconstructs fea ture maps by combining these two levels of information through Feature Back-Projection (FB P), resulting in coherent multi-scale representations.
Experimental results demonstrate that HDViT achieves superior performance compared to exi sting models of similar scale in image classification, validating the effectiveness of the propos ed architecture.

목차 (Table of Contents)

• 1장 서론 1
• 1.1 연구배경 1
• 1.2 연구 목적 및 내용 2
• 2장 기존연구 3
• 2.1 합성곱 신경망 3
• 2.2 비전 트랜스포머 3
• 2.2.1 계층적 구조 4
• 2.2.2 공간적 연속성 및 평행이동 등가성 4
• 2.2.3 토큰의 표현력 강화 5
• 3장 제안하는 방법 7
• 3.1 사전지식 7
• 3.1.1 계층적 비전 트랜스포머 7
• 3.1.2 Self-Attention 8
• 3.1.3 Attention과 클러스터링 9
• 3.2 Hierarchical Dual-Attention 10
• 3.2.1 Local Clustering Attention (LCA) 11
• 3.2.2 Global Self-Attention (GSA) 13
• 3.2.3 Feature Back-Projection (FBP) 13
• 3.2.4 HD-Attention의 계산복잡도 14
• 3.3 Hierarchical Dual-Attention Vision Transformer (HDViT) 16
• 3.3.1 Convolutional Stem 16
• 3.3.2 Hierarchical Dual-Attention Transformer(HDT) Block 16
• 3.3.3 Stage Downsampling 17
• 3.3.4 모델 구성 17
• 4장 실험 및 결과 20
• 4.1 이미지 분류 실험 20
• 4.1.1 데이터셋 20
• 4.1.2 실험 환경 20
• 4.1.3 실험 결과 21
• 4.1.4 학습 과정 분석 22
• 5장 결론 26
• 참고 문헌 27
• Abstract 30