Deep learning enhancements in object detection, segmentation, and tracking : detection strategies for improved precision across multi-sensors imagery

다국어 초록 (Multilingual Abstract)

Object detection and segmentation in complex environments remain challenging tasks, particularly when dealing with multimodal data and small object detection. This dissertation presents a series of novel approaches to improve detection accuracy across different domains, including maritime surveillance, handwritten character recognition, nanoparticle detection, and pedestrian detection in low-light conditions. The research primarily focuses on multimodal fusion and anchorless detection frameworks, offering advanced solutions tailored to each scenario.

First, an efficient multimodal fusion method is introduced for ship detection and tracking in electro-optical (EO) and infrared (IR) imagery. By leveraging paired sequence frames and refining the fusion process, the model enhances detection robustness in challenging maritime conditions. Next, Gaussian heatmap-based object localization is explored in the domain of handwritten character recognition, demonstrating how anchor-free approaches can improve detection precision for complex scripts.

The study further extends to nanoparticle detection in microscopy images, addressing small object detection challenges through advanced feature extraction techniques. Finally, a refined fusion and anchorless detection framework is applied to pedestrian detection in near-infrared (NIR) and depth imagery, improving detection accuracy in low-light and occluded environments.

Throughout this work, we introduce novel augmentation techniques, multimodal feature fusion strategies, and anchorless detection models that significantly enhance object detection performance. Experimental results across multiple datasets confirm the effectiveness of the proposed approaches compared to state-of-the-art methods. The findings contribute to the broader field of computer vision by advancing detection methodologies in diverse and challenging imaging scenarios.

국문 초록 (Abstract)

복잡한 환경에서의 객체 탐지 및 분할은 특히 다중 모달 데이터와 소형 객체 탐지의 경우 여전히 어려운 과제입니다. 본 논문에서는 다중 모달 융합(multi-modal fusion) 및 앵커리스(anchorless) 탐지 프레임워크를 중심으로, 해상 감시, 필기 문자 인식, 나노입자 탐지 및 저조도 환경에서의 보행자 탐지와 같은 다양한 분야에서 탐지 정확도를 향상시키기 위한 새로운 접근 방식을 제안합니다.
먼저, 전자광학(EO) 및 적외선(IR) 영상에서의 선박 탐지 및 추적을 위한 효율적인 다중 모달 융합 기법을 제안합니다. 연속적인 프레임을 활용하고 융합 과정을 개선하여 해상 환경에서의 탐지 성능을 향상시켰습니다. 다음으로, 필기 문자 인식 분야에서 가우시안 히트맵(Gaussian heatmap) 기반의 객체 위치 탐지 기법을 활용하여, 앵커리스 접근 방식이 복잡한 문자 구조에서도 높은 탐지 정확도를 제공할 수 있음을 입증하였습니다.
또한, 현미경 영상에서의 나노입자 탐지를 연구하며, 소형 객체 탐지 문제를 해결하기 위해 고급 특징 추출(feature extraction) 기법을 적용하였습니다. 마지막으로, 근적외선(NIR) 및 깊이(depth) 영상에서의 보행자 탐지를 위해 개선된 융합 및 앵커리스 탐지 프레임워크를 도입하여, 저조도 및 가림(occlusion) 환경에서도 높은 탐지 성능을 달성하였습니다.

본 연구에서는 증강 기법, 다중 모달 특징 융합, 앵커리스 탐지 모델을 활용하여 객체 탐지 성능을 획기적으로 향상시키는 방법을 제안합니다. 다양한 데이터셋에서 실험한 결과, 기존 최신 기법(state-of-the-art)과 비교하여 제안된 방법이 높은 성능을 보임을 확인하였습니다. 본 연구는 다양한 환경에서의 탐지 방법론을 발전시킴으로써, 컴퓨터 비전 분야에 기여할 수 있을 것으로 기대됩니다.

목차 (Table of Contents)

• INTRODUCTION 17
• 1.1. Research context and background 17
• 1.2. Motivation and Challenges 18
• 1.3. Contributions of the Dissertation 21
• 1.4. Significance of the Research 23
• 1.5. Thesis Structure 24
• CHAPTER 2 BACKGROUND AND RELATED WORK AND METHODOLOGIES 27
• 2.1. Introduction to Computer Vision 27
• 2.2. Object Detection and Segmentation 28
• 2.3. Multimodal Imaging 30
• 2.4. Data Augmentation Techniques 32
• 2.5 Anchor-less detection Methodologies 32
• 2.6. Summary 41
• CHAPTER 3 IR/EO SHIP DETECTION AND TRACKING USING SIAMMASK (Anchor-less 2) 42
• 3.1. Ship detection and tracking 42
• 3.2. Methodologies overview 43
• 3.3. Experiments and Evaluations 47
• 3.4. Summary 52
• CHAPTER 4 HANDWRITTEN CHINESE CHARACTER DETECTOR WITH BLENDED REGION ATTENTION FEATURES AND LIGHT-WEIGHTED LEARNING (Anchor-less 1) 54
• 4.1. Introduction to Chinese character detection 55
• 4.2. Related works 56
• 4.3. Methodologies overview 57
• 4.4. Experiments 66
• 4.5. Summary 79
• CHAPTER 5 WELL-DEFINED HIGH ENTROPY-METAL NANOPARTICLES: DETECTION OF THE REMARKABLE ACTIVITY OF MULTI-ELEMENT ARTICLES BY DEEP LEARNING (Anchor-less 2) 81
• 5.1. Introduction to nano-particles detection 82
• 5.2. Experimental section 85
• 5.3. Summary 96
• CHAPTER 6 PDS-RAFFNET: NIR-D MULTI-PEDESTRIAN DETECTION WITH REFINED ATTENTION FEATURE ENHANCED FUSION (Anchor-less 1) 98
• 6.1. Introduction and motivations 99
• 6.2. Related Works 104
• 6.3. Methodology 106
• 6.4. Experiments 117
• 6.5. Summary 128
• CHAPTER 7 CONCLUSIONS 130
• References 132
• ABSTRACT 144
• Curriculum vitae 148
• Educations 148
• Research Interest 148
• Career 149
• Journal publications 150
• Conference Publications 151