영상품질별 학습기반 알고리즘 폐색영역 객체 검출 능력 분석

이정민,함건우,배경호,박홍기 한국지리정보학회 2019 한국지리정보학회지 Vol.22 No.3

The importance of spatial information is rapidly rising. In particular, 3D spatial information construction and modeling for Real World Objects, such as smart cities and digital twins, has become an important core technology. The constructed 3D spatial information is used in various fields such as land management, landscape analysis, environment and welfare service. Three-dimensional modeling with image has the hig visibility and reality of objects by generating texturing. However, some texturing might have occlusion area inevitably generated due to physical deposits such as roadside trees, adjacent objects, vehicles, banners, etc. at the time of acquiring image Such occlusion area is a major cause of the deterioration of reality and accuracy of the constructed 3D modeling. Various studies have been conducted to solve the occlusion area. Recently the researches of deep learning algorithm have been conducted for detecting and resolving the occlusion area. For deep learning algorithm, sufficient training data is required, and the collected training data quality directly affects the performance and the result of the deep learning. Therefore, this study analyzed the ability of detecting the occlusion area of ​​the image using various image quality to verify the performance and the result of deep learning according to the quality of the learning data. An image containing an object that causes occlusion is generated for each artificial and quantified image quality and applied to the implemented deep learning algorithm. The study found that the image quality for adjusting brightness was lower at 0.56 detection ratio for brighter images and that the image quality for pixel size and artificial noise control decreased rapidly from images adjusted from the main image to the middle level. In the F-measure performance evaluation method, the change in noise-controlled image resolution was the highest at 0.53 points. The ability to detect occlusion zones by image quality will be used as a valuable criterion for actual application of deep learning in the future. In the acquiring image, it is expected to contribute a lot to the practical application of deep learning by providing a certain level of image acquisition. 정보화 사회로 진입하면서 공간정보의 중요성은 급격하게 부각되고 있다. 특히 스마트시티, 디지털트윈과 같은 Real World Object의 3차원 공간정보 구축 및 모델링은 중요한 핵심기술로 자리매김하고 있다. 구축된 3차원 공간정보는 국토관리, 경관분석, 환경 및 복지 서비스 등 다양한 분야에서 활용된다. 영상기반의 3차원 모델링은 객체 벽면에 대한 텍스처링을 생성하여 객체의 가시성과 현실성을 높이고 있다. 하지만 이러한 텍스처링은 영상 취득 당시의 가로수, 인접 객체, 차량, 현수막 등의 물리적 적치물에 의해 필연적으로 폐색영역이 발생한다. 이러한 폐색영역은 구축된 3차원 모델링의 현실성과 정확성 저하의 주요원인이다. 폐색영역 해결을 위한 다양한 연구가 수행되고 있으며, 딥러닝을 이용한 폐색영역 검출 및 해결방안에 대한 연구가 수행되고 있다. 딥러닝 알고리즘 적용한 폐색영역 검출 및 해결을 위해서는 충분한 학습 데이터가 필요하며, 수집된 학습 데이터 품질은 딥러닝의 성능 및 결과에 직접적인 영향을 미친다. 따라서 본 연구에서는 이러한 학습 데이터의 품질에 따라 딥러닝의 성능 및 결과를 확인하기 위하여 다양한 영상품질을 이용하여 영상의 폐색영역 검출 능력을 분석하였다. 폐색을 유발하는 객체가 포함된 영상을 인위적이고 정량화된 영상품질별로 생성하여 구현된 딥러닝 알고리즘에 적용하였다. 연구결과, 밝기값 조절 영상품질은 밝은 영상일수록 0.56 검출비율로 낮게 나타났고 픽셀크기와 인위적 노이즈 조절 영상품질은 원본영상에서 중간단계의 비율로 조절된 영상부터 결과 검출비율이 급격히 낮아지는 것을 확인할 수 있었다. F-measure 성능평가 방법에서 노이즈 조절한 영상품질 변화가 0.53으로 가장 높게 나타났다. 연구결과로 획득된 영상품질별에 따른 폐색영역 검출 능력은 향후 딥러닝을 실제 적용을 위한 귀중한 기준으로 활용될 것이다. 영상 취득 단계에서 일정 수준의 영상 취득과 노이즈, 밝기값, 픽셀크기 등에 대한 기준을 마련함으로써 딥러닝을 실질적인 적용에 많은 기여가 예상된다.

엄밀 정사영상 제작을 위한 가시고도 기반의 폐색영역 탐지

윤준희(Youn Junhee),김기홍(Kim Gi Hong) 대한토목학회 2008 대한토목학회논문집 D Vol.28 No.3D

전통적인 정사영상 제작기법으로는 이중 투영으로 인한 원치 않는 구조물의 중복이 정사영상 안에 생길 수 있다. 특히 고층 빌딩이 밀집된 도심지역에서는 고도의 변화가 심하여 이러한 현상이 자주 발생한다. 이러한 문제들로 인하여 도심지역의 폐색영역 탐지는 정확한 엄밀 정사영상(true orthophoto)의 제직에 있어서 매우 중요한 문제이다. 본 논문은 항공영상과 LiDAR로부터 가시고도 기반의 폐색영역 탐지기법을 다루고 있다. 본 논문에서는 LiDAR의 포인트 클라우드 데이터로부터 격자형태의 수치표고모형(DSM)을 제작한 후, DSM과 항공영상의 촬영점을 이용한 가시고도 기반의 폐색영역 탐지기법을 제안하였다. 마지막으로 만들어진 DSM과 전 과정에서 만들어진 폐색맵을 이용한 엄밀 정사영상의 제작과정을 기술하였다. 제안된 알고리즘은 미국 인디애나 주의 퍼듀 캠퍼스 지역에 적용되었다. With standard orthorectification algorithms, one can produce unacceptable structure duplication in the orthophoto due to the double projection. Because of the abrupt height differences, such structure duplication is a frequently occurred phenomenon in the dense urban area which includes multi-history buildings. Therefore, occlusion area detection especially for the urban area is a critical issue in generation of true orthophoto. This paper deals with occlusion area detection with visible height based approach from aerial imagery and LiDAR. In order to accomplish this, a grid format DSM is produced from the point clouds of LiDAR. Next, visible height based algorithm is proposed to detect the occlusion area for each camera exposure station with DSM. Finally, generation of true orthophoto is presented with DSM and previously produced occlusion maps. The proposed algorithms are applied in the Purdue campus, Indiana, USA.

R-CNN 기법을 이용한 건물 벽 폐색영역 추출 적용 연구

김혜진,어양담,이정민,배경호 한국국토정보공사 2018 지적과 국토정보 Vol.48 No.2

For constructing three-dimensional (3D) spatial information occlusion region problem arises in the process of taking the texture of the building. In order to solve this problem, it is necessary to investigate the automation method to automatically recognize the occlusion region, issue it, and automatically complement the texture. In fact there are occasions when it is possible to generate a very large number of structures and occlusion, so alternatives to overcome are being considered. In this study, we attempt to apply an approach to automatically create an occlusion region based on learning by patterning the blocked region using the recently emerging deep learning algorithm. Experiment to see the performance automatic detection of people, banners, vehicles, and traffic lights that cause occlusion in building walls using two advanced algorithms of Convolutional Neural Network (CNN) technique, Faster Region-based Convolutional Neural Network (R-CNN) and Mask R-CNN. And the results of the automatic detection by learning the banners in the pre-learned model of the Mask R-CNN method were found to be excellent. 3차원 공간정보 구축을 위해 건물 텍스처를 촬영하는 과정에서 폐색영역 문제가 발생한다. 이를 해결하기 위해선 폐색영역을 자동 인식하여 이를 검출하고 텍스처를 자동 보완하는 자동화 기법 연구가 필요하다. 현실적으로 매우 다양한 구조물 형상과 폐색을 발생시키는 경우가 있으므로 이를 극복하는 대안들이 고려되고 있다. 본 연구는 최근 대두되고 있는 딥러닝 기반의 알고리즘을 이용하여 폐색지역 패턴화하고, 학습기반 폐색영역 자동 검출하는 접근을 시도한다. 영상 내 객체 추출에서 우수한 성과를 발표하는 Convolutional Neural Network (CNN) 기법의 향상된 알고리즘인 Faster Region-based Convolutional Network (R-CNN)과 Mask R-CNN 2가지를 이용하여, 건물 벽면 촬영 시 폐색을 유발하는 사람, 현수막, 차량, 신호등에 대한 자동 탐지하는 성능을 알아보기 위해 실험하고, Mask R-CNN의 미리 학습된 모델에 현수막을 학습시켜 자동탐지하는 실험을 통해 적용이 높은 결과를 확인할 수 있었다.

가상 환경에서의 딥러닝 기반 폐색영역 검출을 위한 데이터베이스 구축

김경수,황성호,이재인,곽석우,강원율,신대영 유공압건설기계학회 2022 드라이브·컨트롤 Vol.19 No.3

This paper proposes a method for constructing and verifying datasets used in deep learning technology, to prevent safety accidents in automated construction machinery or autonomous vehicles. Although open datasets for developing image recognition technologies are challenging to meet requirements desired by users, this study proposes the interface of virtual simulators to facilitate the creation of training datasets desired by users. The pixel-level training image dataset was verified by creating scenarios, including various road types and objects in a virtual environment. Detecting an object from an image may interfere with the accurate path determination due to occlusion areas covered by another object. Thus, we construct a database, for developing an occlusion area detection algorithm in a virtual environment. Additionally, we present the possibility of its use as a deep learning dataset to calculate a grid map, that enables path search considering occlusion areas. Custom datasets are built using the RDBMS system.

가상 건설환경에서의 딥러닝 기반 폐색영역 검출을 위한 데이터 베이스 구축

김경수(K. S. Kim),이재인(J. I. Lee),곽석우(S. W. Gwak),강원률(W.R. Kang),신대영(D.Y. Shin),황성호(S. H. Hwang) 유공압건설기계학회 2021 유공압건설기계학회 학술대회논문집 Vol.2021 No.11

In this paper, a method for constructing and verifying datasets used in deep learning technology is proposed to prevent safety accidents in the construction environment. The virtual construction simulator was developed to implement various construction environments, and custom data in the virtual environment was set to diversify the location and parameters of the sensors. A database for real-time deep learning models was built and detected at the pixel level to detect uneven roads and objects in the construction site. When deep learning-based detection is performed, it may interfere with the accurate judgment due to occlusion areas hidden by other objects. Therefore, the database for developing the occlusion area detection algorithm in virtual environments was constructed and verified.