딥러닝을 이용한 위성 상대 위치/자세 추정 알고리즘 설계 및 검증

국문 초록 (Abstract)

본 논문에서는 카메라로 촬영한 위성 이미지로부터 위성간 상대 위치/자세를 추정하는 알고리즘을 개발한다. 실제 우주 공간에서의 활용을 위해 가상 이미지를 생성하여 추정 시스템을 구축하고 하드웨어 실험으로 검증한다. 딥러닝을 이용한 이미지 분석은 특정 센서나 패턴을 부착하지 않고 복잡한 배경을 가진 경우에도 적용 가능하다. 소프트웨어 시뮬레이션과 하드웨어 실험 결과 비교를 위하여 실험실을 모사한 가상 환경을 구현하고 다양한 상대 위치와 자세를 가진 관측 대상의 인공 이미지를 생성한다. 위성의 기하적 특징을 나타내는 랜드 마크들을 지정하고 딥러닝을 사용하여 위성 이미지 상에서 2차원 랜드마크의 좌표를 파악한다. 추정된 랜드마크 좌표로부터 비선형 최소 자승법에 기반하여 카메라와 관측 대상과의 상대 위치와 자세를 예측한다. 하드웨어 실험을 수행하고 실제 이미지에 알고리즘을 적용하여 동일한 상대 거리 조건의 인공 이미지를 이용한 소프트웨어 시뮬레이션과 비교한다. 본 연구를 통해 가상 이미지로 훈련시킨 딥러닝 모델을 이용해 실시간 상대 위치/자세 추정 시스템을 구축하고 실제 이미지에 적용할 수 있음을 실험으로 검증하였다. 지구 저궤도를 공전하는 인공위성 영상의 소프트웨어 시뮬레이션을 수행하여 실제 추정 오차를 예측하고 알고리즘을 적용할 수 있는 거리 범위를 제안하였다. 소프트웨어 시뮬레이션과 하드웨어 실험의 추정 오차 결과가 유사함으로 소프트웨어 시뮬레이션으로부터 하드웨어 실험의 결과를 예측할 수 있음을 보였다.

다국어 초록 (Multilingual Abstract)

In this paper, an algorithm for estimating the relative position/attitude(pose) between spacecraft using optical images is developed. For actual space utilization, a software using virtual images is created to build an estimation system, and verified by hardware experiments. Image analysis using deep learning is applicable even when a specific sensor or pattern is not attached and an optical image has a complex background. For comparison between software simulations and hardware experimental results, a virtual environment simulating a laboratory is implemented, and artificial images of observation objects(spacecraft) with various relative positions and attitudes are generated. Landmarks representing the geometrical features of the spacecraft are designated and the coordinates of the 2D landmark are identified on the observation objects(spacecraft) image using deep learning. The relative pose of the object is predicted based on the nonlinear least squares method from the estimated landmark coordinates. Hardware experiments are performed, and the developed algorithm is applied to actual images to compare the hardware results with them using software simulations with the same relative distance conditions. Through this study, it is verified that a real-time relative pose estimation system can be constructed and applied to actual images using a deep learning model trained with virtual images. Software simulation of spacecraft images orbiting the Earth were conducted to predict actual estimation errors and propose a distance range to which algorithms can be applied. It has been shown that the results of the hardware experiment can be predicted from the software simulations because the estimation errors of the software simulations are similar to those of hardware experiments.

목차 (Table of Contents)

• 그림 차례 v
• 표 차례 viii
• 제 1 장 서론 1
• 1.1 연구의 배경 1
• 1.2 연구 목적 및 의의 3
• 1.3 연구 방법 5
• 1.4 논문의 개요 7
• 제 2 장 가상 환경 구축 및 이미지 생성 8
• 2.1 가상 환경 구축 10
• 2.1.1 시뮬레이터 모델 및 랜드 마크 설정 10
• 2.1.2 3차원 시뮬레이션 프로그램: Unreal Engine4 12
• 2.1.3 가상환경 설정 13
• 2.1.4 블루프린트를 이용한 이미지 생성 14
• 2.2 랜드 마크 계산 및 이미지 처리 16
• 2.2.1 관측 모델: 카메라 투시 투영법(camera projection) 17
• 2.2.2 훈련 데이터 향상을 위한 이미지 처리 20
• 2.2.3 훈련을 위한 인공 이미지들의 정보 23
• 제 3 장 랜드마크 좌표 추정 및 상대 위치/자세 계산 25
• 3.1 딥러닝 모델 및 변수 설정 25
• 3.1.1 High-Resolution Network 25
• 3.1.2 입력 데이터 및 변수 설정 28
• 3.2 딥러닝 훈련 결과 29
• 3.3 가중 비선형 최소 자승법 31
• 제 4 장 소프트웨어 실험 35
• 4.1 랜드 마크 추정 37
• 4.2 상대 위치/자세 추정 결과 39
• 4.3 소프트웨어 실험 결과 분석 41
• 4.3.1 상대 거리와 자세에 따른 오차 분석 42
• 4.3.2 랜드마크 오차에 따른 거리/자세 오차 분석 45
• 제 5 장 하드웨어 실험 47
• 5.1 전체 하드웨어 테스트 베드 구성 47
• 5.2 카메라 모델 및 캘리브레이션 50
• 5.3 데이터 송수신 및 네트워크 구성 52
• 5.4 실험 결과 분석 53
• 5.4.1 소프트웨어 시뮬레이션과 하드웨어 실험 결과 비교 61
• 5.4.2 학습용 데이터의 흑백 노이즈에 따른 실험 결과 비교 63
• 제 6 장 우주공간 가상 환경에서의 인공위성을 이용한 소프트웨어 시뮬레이션 66
• 6.1 인공위성 모델과 가상 환경 구현 및 데이터 생성 67
• 6.1.1 인공위성 모델 및 랜드마크 설정 67
• 6.1.2 가상 환경 구성 및 데이터 생성 68
• 6.2 딥러닝 모델 훈련 및 상대 위치와 자세 추정 70
• 6.3 인공위성 소프트웨어 실험 결과 분석 73
• 제 7 장 결론 77
• 참고문헌 82
• ABSTRACT 85