딥러닝을 이용한 드론 영상 의미론적 분할 : 불법 건물 모니터링을 중심으로 = Semantic segmentation of drone images using deep learning : focusing on illegal building monitoring

국문 초록 (Abstract)

최근 개발제한구역에 대한 규제가 완화되고 신도시 개발에 대한 기대감이 상승하면서 불법 건축물 적발 건수가 지속해서 증가하고 있다. 기존에는 각 지방자치단체에서 불법 건축물 모니터링을 포함한 도시 관리 업무를 수행할 때 현장 답사, 유인항공기 영상 촬영 및 판독 등과 같은 방법을 이용하였다. 그러나 한정된 인원으로 광범위한 영역을 관리하기에는 여러 가지 한계가 있어 불법 건축물 모니터링 수행에 많은 어려움이 있다. 이러한 어려움을 극복하기 위하여 각 지방자치단체는 새로운 사진측량 플랫폼으로 주목받고 있는 드론을 도입하고 있다. 드론을 이용하면 유인항공기에 비해 작은 영역을 저비용, 고해상도로 촬영할 수 있기 때문이다. 따라서 불법 건축물 모니터링 뿐만 아니라 여러 가지 도시 관리 업무에 드론을 도입하려는 시도가 이루어지고 있다. 드론을 이용한 사진측량은 유인항공기에 비해 여러 가지 장점이 있지만, 영상으로부터 불법 건축물을 찾는 것은 여전히 담당자의 육안에 의존하고 있어 많은 시간과 비용이 발생하고 있다. 드론을 이용한 불법 건축물 모니터링을 더욱 효율적으로 수행하기 위해서는 드론 영상으로부터 불법으로 의심되는 건물을 자동으로 탐지하는 방법을 연구할 필요가 있다.
본 연구는 드론 영상에서 불법으로 의심되는 건물, 즉 드론 영상에는 존재하지만 기 구축된 GIS 데이터베이스에는 없는 건물을 자동으로 탐지하는 방법을 제안하고 이를 검증하는 데 그 목적이 있다. 구체적으로는 영상을 픽셀 단위로 분류하는 딥러닝 기반 의미론적 분할(Semantic Segmentation)을 통해 드론 영상으로부터 건물 지도를 만들고, 기 구축된 GIS 데이터베이스의 건물 지도를 차분하여 미등록 건물을 추출한다. 위와 같이 처리한 드론 정사집성영상을 딥러닝 모델에 입력하여 건물 지도를 자동으로 생성한 후 이를 기 구축된 GIS 데이터베이스상의 건물 지도와 비교하여 미등록 건물을 추출하였다. 미등록 건물은 픽셀 기반 혹은 객체 기반 방법을 통해 추출하였다.
본 연구에서 제시한 방법을 통해 대규모 항공사진 데이터셋에 대해 수작업으로 라벨링 작업을 수행하지 않고도 최대 86%의 정확도를 발휘하는 딥러닝 모델을 구축할 수 있었다. 드론 영상으로부터 자동으로 미등록 건물을 탐지할 수 있었다. 또한 본 연구에서 제시된 방법은 불법 건축물 모니터링 뿐만 아니라 불법 용도/형질변경, GIS 데이터베이스 갱신 등에 활용할 수 있을 것으로 기대된다.

다국어 초록 (Multilingual Abstract)

Recently, the number of illegal buildings in green belt areas are increasing due to deregulation of the green belt laws and expectations toward new city development. Local governments in Korea have traditionally conducted illegal building monitoring through on-site inspection or interpretation of airborne aerial images. However, local governments are trying to exploit drones because it is difficult to monitor a wide area with a limited number of monitoring officers. Drone is a new and emerging platform in terms of photogrammetry and remote sensing field because it is possible to survey small areas with higher image resolution and lower cost compared to manned aircraft. Although drone has a lot of advantages, it is still costly and time-consuming to find illegal buildings from drone images since the interpretation of drone images still relies on manual efforts. Therefore, developing an automatic system for detecting buildings which are suspected to be illegal is an important research topic.
This research mainly focuses on developing and evaluating a method for detecting buildings which are not registered on an existing GIS database. Specifically, we train a deep learning model to semantically segment a given drone image into a building map using national geospatial data and compare the new building map generated by the deep learning model with the existing GIS database to extract unregistered buildings. In order to extract unregistered building accurately, it is important to train a deep learning model to segment drone images accurately, and it is also essential to perform image registration between the drone images and the existing GIS database. Hence, this research includes experiments that compare deep learning models with various configuration of training datasets and performing aerial triangulation with consideration of image registration.
Through the experiment, we could train deep learning model to perform up to 86% of accuracy without any manual effort of annotation large-scale aerial image dataset. We could detect unregistered buildings from drone images automatically using the proposed method. We also expect that our method can be used not only for monitoring illegal buildings but also monitoring illegal land use change or update of GIS databases.

목차 (Table of Contents)

• 제1장 서론 1
• 제1절 연구배경 1
• 제2절 선행연구 3
• 제2장 이론적 배경 6
• 제1절 딥러닝을 이용한 영상 인식 6
• 제2절 건물 변화탐지 8
• 제3장 연구 방법 11
• 제1절 연구 개요 11
• 제2절 학습 데이터 구축 13
• 제3절 딥러닝 모델 학습 18
• 제4절 드론 영상 취득 및 처리 24
• 제5절 미등록 건물 탐지 25
• 제4장 실험 및 결과 27
• 제1절 실험 개요 27
• 제2절 딥러닝 모델 학습 28
• 1. 실험 개요 28
• 2. 데이터셋 및 실험 환경 29
• 3. 시험 데이터셋을 이용한 평가 35
• 제3절 드론 영상 취득 및 처리 53
• 1. 실험 개요 53
• 2. 비행 및 촬영 54
• 3. 드론 정사집성영상 생성 57
• 제4절 미등록 건물 탐지 성능평가 60
• 1. 실험 개요 60
• 2. 기존 데이터 구축 61
• 3. 학습된 모델을 이용한 건물 탐지 64
• 4. 전체 건물 탐지 성능평가 69
• 5. 미등록 건물 탐지 성능평가 72
• 제5장 결론 81
• 참고문헌 83
• ABSTRACT 87
• 감사의 글 89