MARRIS: Multimodal Feature Fusion for Precise Referring Image Segmentation in Complex Environments = MARRIS : 복잡한 환경에서 정밀한 객체 분할을 위한 멀티모달 특징 융합 기반 Referring Image Segmentation 방법 연구

국문 초록 (Abstract)

최근 컴퓨터 비전 분야에서 이미지 분할 기술은 객체의 위치뿐만 아니라 형태 정보를 픽셀 단위로 제공할 수 있다는 점에서 산업 검사, 의료 영상 분석, 자동화 시스템 등 다양한 응용 분야에서 중요한 역할을 하고 있다. 그러나 일반적인 분할 방법은 주로 사전에 정의된 클래스 정보를 기반으로 예측을 수행하므로, 사용자의 의도에 따라 특정 목표 객체를 선택적으로 분할하는 데 한계가 있다. 이에 따라 자연어 지시 표현을 활용하여 이미지 내 목표 객체를 분할하는 Referring Image Segmentation（RIS）의 필요성이 증가하고 있다.
Referring Image Segmentation（RIS）은 자연어 지시 표현에 따라 이미지 내 목표 객체를 픽셀 단위로 분할하는 과제로 제안되었다. 그러나 기존 RIS 방법들은 복잡한 환경에서 명시적인 시각-언어 정렬 정보의 활용이 부족하고, 전역 문맥 정보와 공간 구조 정보의 활용이 제한적이며, 최종 분할 결과의 경계 세밀화 측면에서도 한계를 보인다.
본 연구에서는 복잡한 환경에서 RIS 성능을 향상시키기 위한 MARRIS를 제안한다. 제안 방법은 먼저 Depth 정보를 활용하여 RGB 이미지에서 부족할 수 있는 공간 구조 정보를 보완함으로써 복잡한 환경이나 가림이 존재하는 장면에서 목표 영역의 구분 능력을 향상시킨다. 이후 시각 정보와 텍스트 정보 사이의 대응 관계를 명시적으로 반영하여 cross-modal 정렬을 강화하고, 각 모달 특징 간의 전역적 관계를 모델링함으로써 모달 간 전역 문맥 정보가 효과적으로 전달되도록 설계하였다. 마지막으로 최종 분할 단계에서 경계 영역을 세밀하게 정제하여 더욱 정확한 분할 마스크를 생성하도록 하였다.
제안 방법의 성능을 검증하기 위해, 본 연구에서는 OCID-VLG, RefCOCO 오픈 데이터 셋과 Manufactory, Logistic Site, Home 환경으로 구성된 GripRef 자체 구축 데이터 셋으로 기존 벤치마크 방법들과 성능 비교 실험을 진행하였다. 실험 결과, 제안한 MARRIS는 RIS 벤치마크 방법인 CRIS, ETRIS, ASDA, DETRIS와의 비교에서 전반적으로 우수한 성능을 보였으며, 특히 높은 IoU 임곗값 조건에서도 GripRef의 Manufactory 환경에서 DETRIS 대비 Pr@80은 12.80%, Pr@90은 6.91% 향상되어, 제안 방법이 목표 객체 분할 마스크의 경계 품질을 개선하는 데 효과적임을 확인하였다.
또한 Ablation Study를 통해 시각-언어 정렬 강화, 전역 문맥 정보 전달, Depth 정보 활용, 마스크 정제 요소가 각각 최종 분할 성능 향상에 기여함을 확인하였다. 구체적으로 각 요소는 목표 객체와 지시 표현 간의 대응 관계 보완, 복잡한 환경 내 전역 문맥 정보 전달, 목표 객체와 배경 간의 공간적 구분 강화, 경계 영역의 예측 품질 향상에 효과적으로 작용하였다. 이를 통해 본 연구는 기존 RIS 방법의 주요 한계를 보완하고, 복잡한 환경에서 자연어 지시 표현 기반 목표 객체 분할 성능을 향상시켰다는 점에서 의미가 있다.

다국어 초록 (Multilingual Abstract)

Recently, in the field of computer vision, image segmentation has played an important role in various application areas such as industrial inspection, medical image analysis, and automated systems, as it can provide not only the location of objects but also their shape information at the pixel level. However, general segmentation methods mainly perform prediction based on predefined class information, which limits their ability to selectively segment a specific target object according to the user’s intention. Accordingly, the need for Referring Image Segmentation （RIS）, which segments a target object in an image using natural language referring expressions, has been increasing. RIS was proposed as a task that segments a target object in an image at the pixel level according to a natural language referring expression. However, existing RIS methods have limitations in complex environments, including insufficient use of explicit vision-language alignment information, limited utilization of global contextual information and spatial structural information, and insufficient boundary refinement in the final segmentation results. In this study, we propose MARRIS to improve RIS performance in complex environments. The proposed method first utilizes depth information to supplement spatial structural information that may be insufficient in RGB images, thereby improving the ability to distinguish target regions in complex scenes or scenes with occlusion. It is then designed to strengthen cross-modal alignment by explicitly reflecting the correspondence between visual and textual information, and to effectively transmit global contextual information between modalities by modeling global relationships among multimodal features. Finally, in the final segmentation stage, the boundary regions are refined in detail to generate more accurate segmentation masks. To evaluate the performance of the proposed method, this study conducted comparative experiments with existing benchmark methods on the public datasets OCID-VLG and RefCOCO, as well as the self-constructed GripRef dataset, which consists of Manufactory, Logistic Site, and Home environments. The experimental results show that the proposed MARRIS generally achieved superior performance compared with RIS benchmark methods, including CRIS, ETRIS, ASDA, and DETRIS. In particular, under high IoU threshold conditions, MARRIS improved Pr@80 by 12.80% and Pr@90 by 6.91% over DETRIS in the Manufactory environment of GripRef, confirming that the proposed method is effective in improving the boundary quality of target object segmentation masks. In addition, the Ablation Study confirmed that vision-language alignment enhancement, global contextual information transmission, depth information utilization, and mask refinement each contributed to the improvement of final segmentation performance. Specifically, each component effectively contributed to complementing the correspondence between the target object and the referring expression, transmitting global contextual information in complex environments, strengthening the spatial distinction between the target object and the background, and improving the prediction quality of boundary regions. Through this, this study is meaningful in that it complements the major limitations of existing RIS methods and improves the performance of target object segmentation based on natural language referring expressions in complex environments.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• Chapter 2. Related Work 7
• 1. Referring Image Segmentation Methods 7
• 1.1 RIS Using Two-Stage Models 9
• 1.2 RIS Using CNN-Based One-Stage Models 11
• 1.3 RIS Using Transformer-Based One-Stage Models 13
• 2. Key Techniques Related to the Proposed Method 15
• 2.1 Vision-Language Alignment 16
• 2.2 Global Context-Based Visual Feature Enhancement 18
• 2.3 Use of Depth Information 20
• 2.4 Boundary Refinement and Fine-Grained Mask Enhancement 21
• Chapter 3. Proposed Method 23
• 1. Overview of the Proposed Method 23
• 2. Encoder: Multimodal Feature Extraction 25
• 2.1 RGB Visual Feature Extraction 26
• 2.2 Text Feature Extraction 28
• 2.3 Depth Feature Extraction 29
• 3. Adapter-Based Feature Fusion 30
• 3.1 Feature Fusion Adapter (FFA) 30
• 3.2 Text Adapter (TA) 36
• 4. Decoder 37
• 4.1 Cross-Modal Neck 38
• 4.2 Visual-Language Decoder 39
• 4.3 Projector 40
• 5. PointRend: Mask Refinement 41
• 6. Loss Function 42
• Chapter 4. Experimental Setup 44
• 1. Dataset 44
• 1.1 Data Preprocessing 45
• 1.2 Dataset Split 47
• 2. Experimental Environment 48
• 3. Evaluation Metrics 49
• 3.1 Object-Expression Pair-Level Evaluation Metrics 49
• 3.2 Overall Pixel-Level Evaluation Metrics 50
• Chapter 5. Experimental Results and Analysis 53
• 1. Comparison with Benchmark Methods 53
• 2. Ablation Study 58
• 3. Inference Speed Analysis 63
• 4. Qualitative Analysis 64
• Chapter 6. Conclusion 68
• References 70