TA-OSDet: 텍스트 융합을 이용한 Optical-SAR 회전객체 검출 기법 = TA-OSDet: Text Fusion for Optical-SAR Rotated Object Detection

국문 초록 (Abstract)

광학 위성 영상(Optical)과 합성개구레이더(SAR)를 함께 사용하는 다중소스 객체 검출 연구가 활발히 진행되고 있으나 대부분은이미지 특징 융합에만 집중하여 클래스 의미 정보를 충분히 활용하지 못한다. M4-SAR[1]는 정렬된 Optical-SAR 쌍과 대규모 회전 박스 주석으로 구성된 대표 벤치마크이다. 본 연구에서는 E2E-OSDet[1]에 비전-언어 모델(VLM)의 텍스트 임베딩을 결합한TA-OSDet를 제안하고 클래스별 텍스트 프로토타입과 이미지 컨텍스트를 검출 헤드의 분류 로짓과 융합하는 Text FusionModule을 도입하였다. TA-OSDet는 AP@0.5 = 85.7%, AP@0.75 = 71%, mAP@0.5:0.95 = 61.7%을 달성하며 비전-언어 기반텍스트 융합의 효과를 확인하였다.