Research on a Point Cloud Registration Method of Mobile Laser Scanning and Terrestrial Laser Scanning

Bori Cong,Qingying Li,Rufei Liu,Fei Wang,Danyang Zhu,Jiben Yang 대한토목학회 2022 KSCE Journal of Civil Engineering Vol.26 No.12

Mobile laser scanning can quickly and dynamically obtain a wide range of urban scene point clouds. However, due to factors such as occlusion and field of view limitation, it needs to be supplemented by terrestrial laser scanning. The acquisition methods and data quality of mobile point clouds and terrestrial point clouds are quite different, the target of urban scene point clouds is complex and diverse, and the corresponding feature is difficult to extract, so the point cloud fusion is difficult. To this end, a point cloud registration method of mobile and terrestrial scanning based on the target features of artificial ground objects is proposed. Firstly, the data features of mobile laser scanning point clouds and terrestrial laser scanning point clouds are analyzed, and the point clouds are diluted with equal density. Then, the artificial ground objects are extracted as the registration primitives to reduce the scene complexity, and the features of urban scenes and the features of point cloud eigenvalues and principal curvature attributes are analyzed. Combined with the octree voxel index, the multi-scale key point extraction method is constructed to extract the multi-scale key points of registration primitives. Finally, the key point constraint is used to improve the deficiencies of 4PCS (4-Points Congruent Sets) algorithm and ICP (Iterative Closest Point) algorithm to complete the registration of mobile and terrestrial point clouds in different road scenes. Experiments show that the point cloud registration accuracy can reach 2.6 cm, which provides a feasible method for high precision fusion of multi-platform laser point clouds.

Mobile Mapping System Point Cloud를 활용한도로주변 시설물 DB 구축 및 위치 정확도 평가

김재학,이홍술,노수래,이동하 한국지리정보학회 2019 한국지리정보학회지 Vol.22 No.3

Technology that cannot be excluded from 4th industry is self-driving sector. The self-driving sector can be seen as a key set of technologies in the fourth industry, especially in the DB sector is getting more and more popular as a business. The DB, which was previously produced and managed in two dimensions, is now evolving into three dimensions. Among the data obtained by Mobile Mapping System () to produce the HD MAP necessary for self-driving, Point Cloud, which is LiDAR data, is used as a DB because it contains accurate location information. However, at present, it is not widely used as a base data for 3D modeling in addition to HD MAP production. In this study, MMS Point Cloud was used to extract facilities around the road and to overlay the location to expand the usability of Point Cloud. Building utility poles and communication poles DB from Point Cloud and comparing road name address base and location, it is believed that the accuracy of the location of the facility DB extracted from Point Cloud is also higher than the basic road name address of the road, It is necessary to study the expansion of the facility field sufficiently. 최근 자율주행 분야가 4차 산업혁명 시대에 맞이하여 주요한 기술분야로 각광받고 있다. 자율주행 분야는 4차 산업의 핵심 기술의 집합체라고 볼 수 있는데, 이 중 자율주행 지원을 위한 정밀도로 지도 및 도로시설물 구축을 위한 DB 분야가 필수적인 부분이다. 기존 2차원 자료형식으로 제작되고 관리되던 지도 DB가 3차원으로 급격히 변화하고 있으며, 더불어 이러한 정밀도로 지도를 구축을 위한 핵심기술로 Mobile Mapping System(MMS)가 활발히 이용되고 있다. 특히 MSS에서 획득되는 다양한 자료 중에서 LiDAR를 통해 취득되는 정밀 Point Cloud는 정확한 위치 정보를 포함하고 있어, 정밀도로 지도 구축 및 도로시설물 관리 등을 위한 다양한 관련 DB 구축에 활용되고 있다. 하지만 현재는 정밀도로 지도 제작 시 3D 모델링을 위한 기반 데이터로만 활용되는 것으로만 국한되어 그 사용 범위가 넓지 않은 문제가 있다. 본 연구에서는 MMS 취득자료의 활용성을 높이기 위하여 MMS LiDAR Point Cloud를 활용하여 도로 주변 시설물을 추출하고, 그 위치를 현장조사 성과와 중첩하여 비교․분석하여 그 위치 정확도에 기준한 도로시설물 분야 활용성을 확인하고자 하였다. Point Cloud로부터 전신주와 통신지주 DB를 구축하고 도로명주소기본도와 위치 비교를 수행한 결과, Point Cloud에서 추출한 시설물 DB의 위치 정확도는 도로명주소기본도 보다 높은 것으로 확인되었다. 이를 통해 MMS Point Cloud 자료를 도로시설물 관리 분야에 충분히 활용하는 것이 가능하며, 추후 이를 통해 도로시설물 지도 확대 구축하고, 도로대장 관리 등에 적용하는 연구가 필요 할 것으로 판단된다.

A Point Clouds Fast Thinning Algorithm Based on Sample Point Spatial Neighborhood

Jiaxing Wei,Maolin Xu,Hongling Xiu 한국정보처리학회 2020 Journal of information processing systems Vol.16 No.3

Point clouds have ability to express the spatial entities, however, the point clouds redundancy always involvessome uncertainties in computer recognition and model construction. Therefore, point clouds thinning is an indispensablestep in point clouds model reconstruction and other applications. To overcome the shortcomingsof complex classification index and long time consuming in existing point clouds thinning algorithms, thispaper proposes a point clouds fast thinning algorithm. Specifically, the two-dimensional index is established inplane linear array (x, y) for the scanned point clouds, and the thresholds of adjacent point distance differenceand height difference are employed to further delete or retain the selected sample point. Sequentially, the indexof sample point is traversed forwardly and backwardly until the process of point clouds thinning is completed. The results suggest that the proposed new algorithm can be applied to different targets when the thresholds arebuilt in advance. Besides, the new method also performs superiority in time consuming, modelling accuracyand feature retention by comparing with octree thinning algorithm.

무인항공기 영상을 위한 영상 매칭 기반 생성 포인트 클라우드의 후처리 방안 연구

이수암,김한결,김태정,Rhee, Sooahm,Kim, Han-gyeol,Kim, Taejung 대한원격탐사학회 2022 大韓遠隔探査學會誌 Vol.38 No.6

In this paper, we propose a post-processing method through interpolation of hole regions that occur when extracting point clouds. When image matching is performed on stereo image data, holes occur due to occlusion and building façade area. This area may become an obstacle to the creation of additional products based on the point cloud in the future, so an effective processing technique is required. First, an initial point cloud is extracted based on the disparity map generated by applying stereo image matching. We transform the point cloud into a grid. Then a hole area is extracted due to occlusion and building façade area. By repeating the process of creating Triangulated Irregular Network (TIN) triangle in the hall area and processing the inner value of the triangle as the minimum height value of the area, it is possible to perform interpolation without awkwardness between the building and the ground surface around the building. A new point cloud is created by adding the location information corresponding to the interpolated area from the grid data as a point. To minimize the addition of unnecessary points during the interpolation process, the interpolated data to an area outside the initial point cloud area was not processed. The RGB brightness value applied to the interpolated point cloud was processed by setting the image with the closest pixel distance to the shooting center among the stereo images used for matching. It was confirmed that the shielded area generated after generating the point cloud of the target area was effectively processed through the proposed technique.

머신러닝 기반 MMS Point Cloud 의미론적 분할

배재구 ( Jaegu Bae ),서동주 ( Dongju Seo ),김진수 ( Jinsoo Kim ) 대한원격탐사학회 2022 大韓遠隔探査學會誌 Vol.38 No.5

자율주행차에 있어 가장 중요한 요소는 차량 주변 환경과 정확한 위치를 인식하는 것이며, 이를 위해 다양한 센서와 항법 시스템 등이 활용된다. 하지만 센서와 항법 시스템의 한계와 오차로 인해 차량 주변 환경과 위치 인식에 어려움이 있다. 이러한 한계를 극복하고 안전하고 편리한 자율주행을 위해서 고정밀의 인프라 정보를 제공하는 정밀도로지도(high definition map, HD map)의 필요성은 증대되고 있다. 정밀도로지도는 모바일 매핑 시스템(mobile mapping system, MMS)을 통해 획득된 3차원 point cloud 데이터를 이용하여 작성된다. 하지만 정밀도로지도 작성에 많은 양의 점을 필요로 하고 작성 항목이 많아 수작업이 요구되어 많은 비용과 시간이 소요된다. 본 연구는 정밀도로지도의 필수 요소인 차선을 포함한 도로, 연석, 보도, 중앙분리대, 기타 6개의 클래스로MMS point cloud 데이터를 유의미한정보로 분할하여 정밀도로지도의 효율적인 작성에 목적을 둔다. 분할에는 머신러닝 모델인 random forest (RF), support vector machine (SVM), k-nearest neighbor (KNN) 그리고 gradient boosting machine (GBM)을 사용하였고 MMS point cloud 데이터의 기하학적, 색상, 강도 특성과 차선 분할을 위해 추가한 도로 설계적 특성을 고려하여 11개의 변수를 선정하였다. 부산광역시 미남역 일대 5차선도로 130 m 구간의 MMS point cloud 데이터를 사용하였으며, 분할 결과 각 모델의 평균 F1 score는 RF 95.43%, SVM 92.1%, GBM 91.05%, KNN 82.63%로 나타났다. 가장 좋은 분할 성능을 보인 모델은 RF이며 클래스 별 F1 score는 도로, 보도, 연석, 중앙분리대, 차선에서 F1 score가 각각 99.3%, 95.5%, 94.5%, 93.5%, 90.1% 로 나타났다. RF 모델의 변수 중요도 결과는 본 연구에서 추가한 도로 설계적 특성의 변수 XY dist., Z dist. 모두 mean decrease accuracy (MDA), mean decrease gini (MDG)가 높게 나타났다. 이는 도로 설계적 특성을 고려한 변수가 차선을 포함한 여러 클래스 분할에 중요하게 작용하였음을 뜻한다. 본 연구를 통해 MMS point cloud를 머신러닝 기반으로 차선을 포함한 여러 클래스로 분할 가능성을 확인하고 정밀도로지도 작성 시 수작업으로 인한 비용과 시간 소모를 줄이는데 도움이 될 것으로 기대한다. The most important factor in designing autonomous driving systems is to recognize the exact location of the vehicle within the surrounding environment. To date, various sensors and navigation systems have been used for autonomous driving systems; however, all have limitations. Therefore, the need for high-definition (HD) maps that provide high-precision infrastructure information for safe and convenient autonomous driving is increasing. HD maps are drawn using three-dimensional point cloud data acquired through a mobile mapping system (MMS). However, this process requires manual work due to the large numbers of points and drawing layers, increasing the cost and effort associated with HD mapping. The objective of this study was to improve the efficiency of HD mapping by segmenting semantic information in an MMS point cloud into six classes: roads, curbs, sidewalks, medians, lanes, and other elements. Segmentation was performed using various machine learning techniques including random forest (RF), support vector machine (SVM), k-nearest neighbor (KNN), and gradient-boosting machine (GBM), and 11 variables including geometry, color, intensity, and other road design features. MMS point cloud data for a 130-m section of a five-lane road near Minam Station in Busan, were used to evaluate the segmentation models; the average F1 scores of the models were 95.43% for RF, 92.1% for SVM, 91.05% for GBM, and 82.63% for KNN. The RF model showed the best segmentation performance, with F1 scores of 99.3%, 95.5%, 94.5%, 93.5%, and 90.1% for roads, sidewalks, curbs, medians, and lanes, respectively. The variable importance results of the RF model showed high mean decrease accuracy and mean decrease gini for XY dist. and Z dist. variables related to road design, respectively. Thus, variables related to road design contributed significantly to the segmentation of semantic information. The results of this study demonstrate the applicability of segmentation of MMS point cloud data based on machine learning, and will help to reduce the cost and effort associated with HD mapping.

딥 러닝(Deep Learning)을 이용한 포인트클라우드 분류

정동기(Chung, Dong Ki),이임평(Lee, Im Pyeong) 한국측량학회 2017 한국측량학회 학술대회자료집 Vol.2017 No.4

Point Cloud의 자동분류는 Point Cloud 데이터의 출현 이후 지속적으로 연구되어 온 도전과제다. 지속적인 연구에도 불구하고, 용량이 크고 불규칙적인 데이터의 특성상 자동으로 분류를 수행하더라도 결국 사람이 수동으로 개입해야 하는 부분이 존재해 왔으며, 이는 데이터 처리의 효율성을 현저하게 떨어트리는 결과를 초래하였다. 본 연구에서는 최근 사람만이 할 수 있는 영역에서 인간과 유사하거나 혹은 더 나은 성과를 내고 있는 딥 러닝을 이용해, 수동적인 개입이 필요한 분류 절차를 개선하고자 한다. 이를 위해 먼저 Point Cloud 데이터를 딥 러닝에 적용할 수 있는 Voxel 데이터로 변환하고, 딥뉴럴 네트워크를 이용해 분류과정을 수행함으로써 Point Cloud 분류에 딥 러닝 적용 가능성을 확인하였다. Automatic Point Clouds Classification is the challenging subject since appearance of Point Cloud data continuously. But despite continuous study, there have been some process that human had to be involved because of Point Cloud’s irregularity and large size. In this paper, we proposed automatic classification process using Deep Learning to improve the part that human has to be involved. First we voxelized Point Cloud to input to Deep Neural Network, and conducted classification with sample data according to our proposed process. As a result, we could confirm the applicability of Deep Learning to Point Cloud classification.

포인트 클라우드 데이터 기반 군집형 솔리드 건물 모델 자동 생성 기법

김한결 ( Han-gyeol Kim ),황윤혁 ( Yunhyuk Hwang ),이수암 ( Sooahm Rhee ) 대한원격탐사학회 2020 大韓遠隔探査學會誌 Vol.36 No.6

최근 스마트 시티, 디지털 트윈 등에 실제 3차원 좌표를 취득할 수 있는 이점에 따라 포인트 클라우드를 이용한 모델 생성에 관한 연구가 늘어나고 있으며, 건물 형상 및 텍스처의 수정이 용이한 솔리드 모델에 대한 요구가 늘어나고 있다. 이에 따라 본 논문에서는 포인트 클라우드 데이터를 기반으로 군집형 솔리드 건물 모델을 생성하는 방법을 제안한다. 제안하는 방법은 총 다섯단계로 구성된다. 첫 단계에서는 포인트 클라우드의 평면성 분석을 통해 지면을 제거하였다. 두 번째 단계에서는 지면이 제거된 포인트 클라우드에서 건물 영역을 추출 하였다. 세 번째 단계에서는 건물의 세부 구조물 영역을 추출하였다. 네 번째 단계에서는 추출된 영역에 3차원 좌표정보가 부여된 3차원 건물 모델의 형상을 생성하였다. 마지막 단계에서는 건물 모델 형상에 텍스처를 부여하여 3차원 건물 솔리드 모델을 생성하였다. 제안하는 방법의 검증을 위하여 상용 소프트웨어를 이용해 무인항공기 영상으로부터 포인트 클라우드를 추출하여 실험하였다. 그 결과, 포인트 클라우드 내에 존재하는 일정 높이 이상의 모든 건물에 대하여 포인트 클라우드 대비 위치오차 1 m 내외의 3차원 건물 형상을 생성하고, 원본영상 해상도 대비 2배 이내의 해상도를 갖는 텍스처링이 수행된 3차원 모델이 생성되는 것을 확인하였다. In recent years, in the fields of smart cities and digital twins, research on model generation is increasing due to the advantage of acquiring actual 3D coordinates by using point clouds. In addition, there is an increasing demand for a solid model that can easily modify the shape and texture of the building. In this paper, we propose a method to create a clustered solid building model based on point cloud data. The proposed method consists of five steps. Accordingly, in this paper, we propose a method to create a clustered solid building model based on point cloud data. The proposed method consists of five steps. In the first step, the ground points were removed through the planarity analysis of the point cloud. In the second step, building area was extracted from the ground removed point cloud. In the third step, detailed structural area of the buildings was extracted. In the fourth step, the shape of 3D building models with 3D coordinate information added to the extracted area was created. In the last step, a 3D building solid model was created by giving texture to the building model shape. In order to verify the proposed method, we experimented using point clouds extracted from unmanned aerial vehicle images using commercial software. As a result, 3D building shapes with a position error of about 1m compared to the point cloud was created for all buildings with a certain height or higher. In addition, it was confirmed that 3D models on which texturing was performed having a resolution of less than twice the resolution of the original image was generated.

트랜스포머를 이용한 거리함수 기반 포인트 클라우드 개선

김도훈,김철현 한국방송∙미디어공학회 2024 방송공학회논문지 Vol.29 No.3

3D 센서의 놀라운 발전에도 불구하고, 취득된 3차원 포인트 클라우드는 잡음, 낮은 밀집도, 그리고 비균일성과 같은 문제점을 나타내는 경향이 있다. 이러한 데이터를 이용해 3D 콘텐츠의 다양한 산업군에 적용했을 때, 성능이 저하되기 때문에 포인트 클라우드의품질을 향상시키는 것은 중요하다. 그러나 기존 네트워크 기반의 포인트 클라우드 품질 향상 기법은 신경망의 한계로 인하여 몇 가지의 문제가 있었다. 본 논문에서는 거리함수 기반의 트랜스포머 모델을 제안한다. 제안하는 모델은 실제 포인트 클라우드와 입력 포인트 클라우드 간 거리를 예측한다. 제안하는 방법은 기존 방법들보다 뛰어난 성능을 보였다. Chamfer distance (CD), Hausdorffdistance (HD), 그리고 ground truth mesh 데이터와 예측한 포인트 클라우드 간 거리를 나타내는 point-to-surface distance (P2F) 3가지 측정에서 모두 기존 Grad-PU보다 우수한 값을 보였다. Despite of the superior advancement of 3D sensors, raw 3D point clouds are poor quality including noisy, sparse, and irregularity. Because these point clouds cause performance degradation in various 3D applications, enhancing raw point clouds is important. However, existing learning-based point cloud super-resolution methods have some limitations in the architecture of neural networks. In this paper, we propose transformer-based model applying distance fields. Our network predicts the distance between input pointcloud and ground truth point cloud. Experiments demonstrate our method outperforms existing methods.It exhibited superior valuesin all three measurements: Chamfer Distance (CD), Hausdorff Distance (HD), and point-to-surface distance (P2F) when compared tothe existing Grad-PU, indicating a closer distance between the predicted point cloud and the ground truth mesh data.

Characteristic Analysis of Data Preprocessing for 3D Point Cloud Classification Based on a Deep Neural Network: PointNet

Hogeon Seo,Sungmoon Joo 한국비파괴검사학회 2021 한국비파괴검사학회지 Vol.41 No.1

Laser scanning is a noncontact and nondestructive technique that captures the three-dimensional (3D) shape of objects as point clouds. Deep neural networks have been widely used to classify the 3D shapes of point clouds. In applying deep learning on point clouds, point cloud preprocessing is the first step. This study was conducted to analyze 3D shape classification characteristics using a deep neural network, PointNet, with a point cloud dataset, ModelNet40, for four preprocessing cases: random, scaling, zero-mean, and normalization. For each preprocessing case, the minimum and maximum coordinates of the point clouds and 3D shape classification performance are investigated. The results show that normalization preprocessing exhibits the most significant improvement in classification performance, and the zero-mean method is particularly effective. The findings indicate that proper preprocessing, such as normalization, should be performed before deep learning when the mean coordinates and scale of the point clouds differ significantly.

스테레오 영상 간 관측 벡터에 기반한 다중 포인트 클라우드 통합

윤완상,김한결,이수암 대한원격탐사학회 2019 大韓遠隔探査學會誌 Vol.35 No.5

In this paper, we present how to create a point cloud for a target area using multiple unmanned aerial vehicle images and to remove the gaps and overlapping points between datasets. For this purpose, first, IBA (Incremental Bundle Adjustment) technique was applied to correct the position and attitude of UAV platform. We generate a point cloud by using MDR (Multi-Dimensional Relaxation) matching technique. Next, we register point clouds based on observation vectors between stereo images by doing this we remove gaps between point clouds which are generated from different stereo pairs. Finally, we applied an occupancy grids based integration algorithm to remove duplicated points to create an integrated point cloud. The experiments were performed using UAV images, and our experiments show that it is possible to remove gaps and duplicate points between point clouds generated from different stereo pairs. 본 연구에서는 여러 장의 무인항공기 영상을 사용하여 대상지역에 대한 포인트 클라우드를 생성하고, 데이터 세트 간 발생하는 이격과 중복점을 제거하는 방안에 대한 연구를 수행하였다. 이를 위해 사진 측량 기반의 IBA(Incremental Bundle Adjustment)기법을 적용하여 무인기의 위치/자세를 보정하고 스테레오 페어를 구성했다. 각각의 스테레오 영상으로부터 에피폴라 영상을 생성하고MDR(Multi-Dimensional Relaxation) 정합 기법을 적용하여 포인트 클라우드를 생성하였다. 다음으로 스테레오 영상 간 관측 벡터에 기반한 포인트 클라우드등록을 통해 서로 다른 스테레오 페어로부터 생성된 포인트 클라우드 간 이격을 제거하였다. 마지막으로 점유격자(Occupancy grid) 기반 통합 알고리즘을 적용하여 중복점이 제거된 하나의 포인트 클라우드를 생성하였다. 실험은 무인항공기에서 취득된 연직 촬영 영상을 사용하였으며, 실험을 통해 서로 다른 스테레오 페어로부터생성된 포인트 클라우드 간 이격 및 중복점 제거가 가능함을 확인하였다.