TransSkip : Leveraging Transformer based Attention Mechanisms for Multi-Scale Feature Fusion

국문 초록 (Abstract)

의료 영상 분할 분야의 효과적이고 정확한 해결책을 찾기 위해 다양한 연구가 진행되어 왔다. 전통적인 영상처리 방법에서 복잡한 합성곱 신경망(CNN)까지 다양한 방법이 제안되었다. 최근, Transformer의 셀프어텐션 메커니즘 및 Transformer와 CNN의 조합에서 비롯된 혼합 네트워크가 주된 방법으로 떠올랐다. 일반적으로 해당 모델은 계층적 인코더-디코더 아키텍처로 구성되어 있다. 이런 구조들은 간단한 잔차 연결을 사용하여 인코더에서 디코더로 중요한 공간 정보를 전송한다. 본 논문에서는 어떤 계층적 인코더 디코더 네트워크에서도 간단한 잔차 연결을 대체할 수 있는 TransSkip이라는 새로운 트랜스포머 기반 잔차 연결 아키텍처를 제안한다. 이는 교차 어텐션과 다중 해상도 상관 관계를 활용하여 전역 종속성 및 다양한 해상도에서의 정보를 효과적으로 포착한다. 간단한 잔차 연결을 제안된 향상된 스킵 연결로 대체함으로써 안정적인 네트워크를 구축하여 고도로 다양한 의료 데이터를 처리할 수 있다. 또한 TransSkip을 통해 최신 기술의 네트워크를 강화할 때 성능이 명확하게 향상되는 것을 방대한 실험 결과를 통해 확인할 수 있다.

다국어 초록 (Multilingual Abstract)

Significant research has been conducted to create efficient and accurate solutions to the very in demand problem of medical image segmentation. From handcrafted solutions to complex convolutional neural networks (CNNs), a variety of approaches have been looked into. One of these is the self-attention mechanism of the Transformer and the resulting hybrid networks of a combination of CNNs and the Transformer. Among these, the hierarchical encoder-decoder architecture has remained the state of the art. Generally, these models have simple skip connections transferring vital spatial information from the encoder to the decoder. In this thesis, a novel transformer-based skip connection architecture called TransSkip is proposed that can replace simple skip connections in any hierarchical encoder decoder network. This is carried out by utilizing cross attention and multi-scale correlations to efficiently capture global dependencies and information from different resolutions. Replacing simple skip connections with proposed enhanced skip connections can help construct robust networks that can deal with the highly varying medical data. This is also confirmed through extensive experimental results that show a clear boost in performance when state of the art networks are enhanced through TransSkip.

목차 (Table of Contents)

• Ⅰ. Introduction 1
• Ⅱ. Background 8
• Ⅲ. Literature Review 15
• 1. Architectural Diversity in Transformer-Based Networks 15
• 1) Pure Transformer Architectures 15
• 2) CNN and Transformer Hybrid Architectures 16
• 2. Attention Mechanisms in Transformer-Based Networks 20
• 1) Simple Self-Attention in Transformers 20
• 2) Novel Modifications to Attention Mechanisms 21
• 3. Scale Strategies in Transformer-Based Networks 24
• 1) Single-Scale Approaches 24
• 2) Multi-Scale Strategies 25
• 4. Networks that utilize Transformers in Skip Connections 26
• Ⅳ. Methodology 28
• 1. U-Net 30
• 2. TransSkip Connections 31
• 3. Complexity 38
• V. Experimentation 40
• 1. Dataset Description and Preprocessing 40
• 2. Experimentation Strategy 42
• Ⅵ. Results 46
• 1. Performance Comparison: TransSkip vs. Simple Skip Connections in State-of-the-Art Networks 46
• 2. Ablation Study: Analyzing TransSkip Components 52
• 3. Limitations 57
• Ⅶ. Conclusion 60
• References 62
• Appendix 70
• Abstract in Korean(국문요지) 73