트랜스포머 모형에서 연결 방식을 활용한 위치 인코딩 제안 및 성능 분석 = Concatenation-based Positional Encoding for Transformer Models: Proposal and Performance Analysis

국문 초록 (Abstract)

트랜스포머(transformer) 모형은 다양한 분야에서 우수한 성능을 보이며, 핵심 구조인 멀티헤드 어텐션(multi-head attention)은 해석 가능성 측면에서도 주목받고 있다. 그러나 시계열 데이터처럼 순서 정보가 중요한 경우, 멀티헤드-어텐션의 순서 불변성(permutation invariant)으로 인해 예측 성능이 저하되는 문제가 발생한다. 이를 보완하기 위해 기존에는 위치인코딩(positional encoding)을 덧셈 방식으로 적용해 위치 정보를 입력에 추가해왔다. 하지만 이러한 방식은 의미 정보와 위치 정보가 혼합되어 정보 간 간섭이 발생할 수 있다는 한계가 있다.
본 연구는 이러한 문제를 해결하기 위해, 위치 정보를 입력 벡터에 병렬로 연결(concatenation)하는 방식의 위치인코딩 기법을 제안하였다. 특히 시계열 데이터와 언어 데이터를 대상으로 다양한 연결 방식의 구조를 설계하고, 기존의 덧셈 방식과 성능을 비교 분석하였다. 아울러 연결 방식이 멀티헤드 어텐션의 계산 메커니즘에 미치는 영향을 직관적으로 설명하였다.
실험 결과, 제안한 연결 방식의 위치인코딩은 두 데이터 유형 모두에서 기존 방식보다 안정적이며 우수한 성능을 보였다. 특히 의미 정보와 위치 정보를 분리된 차원으로 처리함으로써 정보 간 간섭을 줄이고, 위치 정보의 명확한 전달이 가능함을 확인하였다. 본 연구는 시계열 및 언어 처리 분야에서 보다 효과적인 트랜스포머 구조 설계에 기여할 수 있으며, 향후 다양한 데이터 유형과 학습 방식에 대한 확장 가능성을 시사한다.

다국어 초록 (Multilingual Abstract)

Transformer models have shown outstanding performance across various domains. However, their permutation-invariant attention mechanism poses limitations in time-series forecasting, where positional information is crucial. To address this, traditional positional encoding was introduced, but its element-wise addition to input embeddings can cause interference between semantic and positional information.
This study proposes a concatenation-based positional encoding method that places positional vectors alongside input embeddings, preserving distinct information dimensions. We evaluate this approach on time-series and language tasks, comparing it with the standard additive method.
Results show that the concatenation-based method yields stable and improved performance on both datasets by reducing interference and enhancing positional awareness. This method offers a promising alternative for improving Transformer models in sequence-sensitive applications.

목차 (Table of Contents)

• 1 서론
• 1.1 연구의 배경 및 목적
• 1.2 연구 방법 및 논문 구성
• 2 이론적 고찰
• 2.1 트랜스포머와 위치 인코딩 개요
• 2.2 연결 방식의 정의 및 이론적 특성
• 3 실험 설계 및 분석
• 3.1 모형 설계
• 3.2 실험설계 및 데이터셋
• 3.3 결과 및 해석
• 4 결론
• 4.1 요약 및 시사점
• 4.2 한계점 및 향후 연구 방향