UniQK-Attention : 쿼리-키 통합 기반 효율적 어텐션 구조

국문 초록 (Abstract)

Transformer 는 자연어 처리(NLP)와 컴퓨터 비전 등 다양한 분야에서 탁월한 성능을 보이지만, 그 핵심 구성 요소인 다중 헤드 셀프 어텐션(Multi-Head Self-Attention, MHSA)은 쿼리(Wq)와 키(Wk)를 별도로 투영하는 과정에서 구조적 중복성과 계산 비효율성을 내포하고 있다. 이러한 중복 자유도는 불필요한 파라미터 증가와 연산 낭비를 초래하며, 모델의 최적화 공간을 과도하게 확장시켜 학습 효율과 확장성을 저해한다. 본 연구에서는 이러한 근본적 비효율을 해결하기 위해, UniQK-Attention 을 제안한다. UniQK-Attention 은 기존의 두 투영 행렬 Wq와 Wk을 하나의 학습 가능한 단일 행렬 Wu로 대체하여, WqWk⊤ 형태의 활성화 계산 없이도 동일한 표현력을 보장하는 단일 선형 변환 구조를 구현한다. 이를 통해 MHSA 의 본질적 메커니즘을 유지하면서도, 중복된 계산과 파라미터를 제거한 구조적 단순화와 계산 효율성을 동시에 달성한다.
본 논문에서는, 이론적으로 Wu가 WqWk⊤와 동일한 표현 공간을 포괄함을 보이며, 이를 바탕으로 다양한 아키텍처(BERT, GPT-2, RoBERTa, T5)에서 동일한 수준의 표현력과 학습 안정성을 실험적으로 검증하였다. 또한, 어텐션 패턴 시각화 결과를 통해 UniQK-Attention 이 기존 MHSA 와 유사한 어텐션 분포(attention distribution) 를 형성함을 확인하였으며, 이는 헤드 간 표현 다양성과 기능적 특화가 효과적으로 보존됨을 뒷받침한다.
효율성 측면에서 UniQK-Attention은 어텐션 블록의 파라미터를 약 25% 절감하고, 전체 모델 차원에서는 약 6%의 파라미터 감소 및 3–7%의 속도 향상을 달성하였다. 더 나아가, 제거된 중복 파라미터를 FFN(Feed-Forward Network) 에 전략적으로 재배치함으로써, 동일한 파라미터 예산 내에서 오히려 더 높은 성능을 달성할 수 있음을 실험적으로 입증하였다.
결과적으로, UniQK-Attention 은 단순한 경량화 접근을 넘어, 현대 대규모 언어모델(LLM) 내에서 불필요한 파라미터를 식별하고, 이를 구조적으로 더 효율적인 영역에 재배치함으로써 더 우수한 아키텍처를 설계할 수 있음을 보여준다. 본 연구는 셀프 어텐션의 본질적 계산 구조를 유지하면서 효율성과 표현력을 동시에 향상시키는 차세대 Transformer 설계 원리로서의 가능성을 제시한다.

다국어 초록 (Multilingual Abstract)

This paper introduces UniQK-Attention, a mechanism-preserving yet parameter-efficient alternative to the standard multi-head self-attention (MHSA).
The proposed approach identifies and eliminates the structural redundancy between the query (Wq) and key (Wk) projections by unifying them into a single learnable matrix (Wu), thereby simplifying the attention computation from WqWk⊤ without compromising its representational capacity. UniQK-Attention maintains the original attention dynamics—query–key similarity and softmax-based contextual aggregation—while remaining drop-in compatible with existing Transformer architectures.
Comprehensive experiments across BERT, GPT-2, RoBERTa, and T5, pretrained on OSCAR and OpenWebText2 and fine-tuned on GLUE/SuperGLUE, demonstrate consistent efficiency gains: approximately 6% fewer parameters, 8% reduction in FLOPs, and 3–7% faster training and inference, all while preserving or surpassing baseline performance. Training dynamics and attention pattern analyses confirm that convergence behavior and representational structures are maintained. Moreover, reallocating the saved parameters to expand the Feed-Forward Network (FFN) further enhances downstream accuracy under equivalent parameter budgets. These results establish UniQK-Attention as a structurally efficient yet expressive attention formulation that achieves a balanced improvement in efficiency, scalability, and compatibility, offering a practical design principle for next-generation Transformer architectures.

목차 (Table of Contents)

• 제 1 장 서 론 1
• 1.1. 연구 필요성 1
• 1.2. 연구 목표 및 기여 3
• 제 2 장 관련 연구 . 6
• 2.1. 셀프 어텐션 6
• 2.2. 효율적 어텐션. 7
• 2.3. 파라미터 효율화 . 8
• 제 3 장 제안 방법 . 9
• 3.1. Vanilla Attention 9
• 3.2. UniQK-Attention 11
• 3.3. 파라미터 효율성 및 구조적 확장성 14
• 제 4 장 실험 설계 및 데이터셋 16
• 4.1. 모델 아키텍처. 16
• 4.2. 데이터셋 및 학습 설정 . 17
• 4.2.1. 사전학습 데이터셋 17
• 4.2.2. 다운스트림 데이터셋 18
• 4.3. 파라미터 절감 및 재할당 19
• 제 5 장 실험 결과 및 분석 . 21
• 5.1. 사전학습 효율성 및 학습 동역학 분석 . 21
• 5.1.1. 학습 효율 및 수렴성 평가 22
• 5.1.2. 투영 행렬 구조적 표현 특성 분석 23
• 5.1.3. 투영 행렬 헤드별 다양성 분석. 25
• 5.2. 다운스트림 성능 및 효율성 평가 26
• 제 6 장 결론 및 향후 연구 . 31
• 제 7 장 한계점 34
• 참고 문헌 . 36
• 부 록 42
• Abstract 45