무인항공기의 자동 착륙을 위한 LSM 및 CPA를 활용한 영상 기반 장애물 상태 추정 및 충돌 예측

이성봉 ( Seongbong Lee ),박천만 ( Cheonman Park ),김혜지 ( Hyeji Kim ),이동진 ( Dongjin Lee ) 한국항행학회 2021 韓國航行學會論文誌 Vol.25 No.6

무인항공기의 영상 기반 자동 정밀 착륙 기술은 착륙 지점에 대한 정밀한 위치 추정 기술과 착륙 유도 기술이 요구된다. 또한, 안전한 착륙을 위하여 지상 장애물에 대한 착륙 지점의 안전성을 판단하고, 안전성이 확보된 경우에만 착륙을 유도하도록 설계되어야 한다. 본 논문은 자동 정밀 착륙을 수행하기 위하여 영상 기반의 항법과 착륙 지점의 안전성을 판단하기 위한 알고리즘을 제안한다. 영상 기반 항법을 수행하기 위해 CNN 기법을 활용하여 착륙 패드를 탐지하고, 탐지 정보를 활용하여 통합 항법 해를 도출한다. 또한, 위치 추정 성능을 향상시키기 위한 칼만필터를 설계 및 적용한다. 착륙 지점의 안전성을 판단하기 위하여 동일한 방식으로 장애물 탐지 및 위치 추정을 수행하고, LSM을 활용하여 장애물의 속도를 추정한다. 추정한 장애물의 상태를 활용하여 계산한 CPA를 기반으로 장애물과의 충돌 여부를 판단한다. 최종적으로 본 논문에서 제안된 알고리즘을 비행 실험을 통해 검증한다. Vision-based autonomous precision landing technology for UAVs requires precise position estimation and landing guidance technology. Also, for safe landing, it must be designed to determine the safety of the landing point against ground obstacles and to guide the landing only when the safety is ensured. In this paper, we proposes vision-based navigation, and algorithms for determining the safety of landing point to perform autonomous precision landings. To perform vision-based navigation, CNN technology is used to detect landing pad and the detection information is used to derive an integrated navigation solution. In addition, design and apply Kalman filters to improve position estimation performance. In order to determine the safety of the landing point, we perform the obstacle detection and position estimation in the same manner, and estimate the speed of the obstacle using LSM. The collision or not with the obstacle is determined based on the CPA calculated by using the estimated state of the obstacle. Finally, we perform flight test to verify the proposed algorithm.

GPS 음영지역에서 비전 센서를 이용한 드론의 자율 착륙

박채희,임지선,안성만 한국차세대컴퓨팅학회 2023 한국차세대컴퓨팅학회 논문지 Vol.19 No.5

Recently, as the need for drones to solve various social problems such as climate change, traffic congestion, and crime prevention increases, the need for drones is expanding to various industries and social services such as entertainment, energy, construction, transportation, and agriculture. In addition, research on autonomous landing of drones through convergence and integration with artificial intelligence in line with the 4th industrial revolution is also a major task. In accordance with this social trend, this study expanded the use of drones through artificial intelligence technology by using small drones and studied autonomous landing using deep learning object detection models in areas where GPS receivers are not available. In areas where GPS signal reception is difficult, autonomous landing is induced by recognizing the landing point from the image transmitted through the camera mounted on the drone instead of the location information received through the GPS receiver and descending to the target point using only the image information. Using SSD-MobileNet v2 and YOLOv4-tiny models, which are representative lightweight models during deep learning an optimization process was performed to detect an effective landing point, enabling real-time autonomous landing. Through this study, it is expected that the dependence on the GPS receiver and human control for drone landing can be reduced.

무인 항공기의 이동체 상부로의 영상 기반 자동 착륙 시스템

정성욱,구정모,정광익,김형진,명현 한국로봇학회 2016 로봇학회 논문지 Vol.11 No.4

Flight of an autonomous unmanned aerial vehicle (UAV) generally consists of four steps; take-off, ascent, descent, and finally landing. Among them, autonomous landing is a challenging task due to high risks and reliability problem. In case the landing site where the UAV is supposed to land is moving or oscillating, the situation becomes more unpredictable and it is far more difficult than landing on a stationary site. For these reasons, the accurate and precise control is required for an autonomous landing system of a UAV on top of a moving vehicle which is rolling or oscillating while moving. In this paper, a vision-only based landing algorithm using dynamic gimbal control is proposed. The conventional camera systems which are applied to the previous studies are fixed as downward facing or forward facing. The main disadvantage of these system is a narrow field of view (FOV). By controlling the gimbal to track the target dynamically, this problem can be ameliorated. Furthermore, the system helps the UAV follow the target faster than using only a fixed camera. With the artificial tag on a landing pad, the relative position and orientation of the UAV are acquired, and those estimated poses are used for gimbal control and UAV control for safe and stable landing on a moving vehicle. The outdoor experimental results show that this vision-based algorithm performs fairly well and can be applied to real situations.

Vision based Autonomous Landing of an Unmanned Aerial Vehicle on a Stationary Target

Vidya Sudevan,Amit Shukla,Hamad Karki 제어로봇시스템학회 2017 제어로봇시스템학회 국제학술대회 논문집 Vol.2017 No.10

The foremost, yet challenging problem of an Unmanned Aerial Vehicle (UAV) is the autonomous landing. This paper presents a solution for the independent landing of a quadrotor UAV on a stationary target. This method includes a searching and a landing part. The visual data is collected by the onboard camera of the AR Drone. Speeded Up Robust Features (SURF) method is used to detect and compute the keypoint descriptors and Fast Approximate Nearest Neighbor Search Library (FLANN) based descriptor matcher is utilized for the accurate matching of the template image with the captured images to determine the target position. The aim of this method is to minimize the distance between the drone and the target. A Proportional-Integral-Derivative (PID) controller is designed to generate the desired velocity signals for the drone. Also, in this work, the drone is directly navigating and landing on the target by adjusting the x , y and z velocities simultaneously. The method is tested and validated on a quadrotor with two different initial heights.

영상 기반 자동 착륙용 멀티로터 시스템 설계 및 개발

김규범,송승화,윤광준 한국인터넷방송통신학회 2012 한국인터넷방송통신학회 논문지 Vol.12 No.6

본 논문에서는 영상 기반 자동 착륙 시스템 개발과 이 시스템을 사용하는 멀티로터 플랫폼 개발에 대해서 소개 한다. 멀티로터 플랫폼은 뉴턴 오일러 개념을 근간으로 하는 강체 운동 모델링을 하였고, LQR 제어 기법을 통한 제어기 튜닝 및 시뮬레이션을 하였다. 영상기반 자동 착륙 시스템은 멀터로터 시스템에 탑재된 단일 카메라를 사용하여 추가적인 임무장비 없이 증강 현실 알고리즘을 사용하여 마커를 탐지하고 정밀한 착륙을 유도하도록 GCS와 연동 코드를 구현 하였다. This paper introduces development of multi-rotor system and vision based autonomous landing system. Multi-rotor platform is modeled by rigid body motion with Newton Euler concept. Also Multi-rotor platform is simulated and tuned by LQR control algorithm. Vision based Autonomous Landing system uses a single camera that is mounted Multi-rotor system. Augmented reality algorithm is used as marker detection algorithm and autonomous landing code is test with GCS for the precision landing.

무인 항공기의 자동 착륙 접근 알고리즘 설계 및 비행시험

정민정(Minjeong Jeong),류한석(Han-seok Ryu),박상혁(Sanghyuk Park) 한국항공우주학회 2013 韓國航空宇宙學會誌 Vol.41 No.6

본 논문에서는 무인 항공기의 활주로 자동 접근 알고리즘에 대해 기술하였다. 본 연구에서 자동 접근의 주요 목적은 야간에 항공기의 안전한 착륙을 돕기 위함이다. 자동 접근 기능을 사용하게 되면 항공기가 어느 위치에 있던 초기 위치를 기준으로 경로 명령이 생성된다. 경로 명령은 최단거리를 가지는 원호-직선-원호로 구성되어있다. 경로 명령을 통해 생성된 경로를 따라 이동한 다음 활주로에 접근하도록 알고리즘을 설계하였다. 항공기의 다양한 초기 위치에 대한 경로 생성 알고리즘의 시뮬레이션을 통해 1차 검증을 하였으며 이를 기반으로 실제 비행시험을 수행하여 본 연구에서 제안한 알고리즘의 타당성을 실증적으로 검증하였다. This paper presents an algorithm for autonomous landing approach of a unmanned aerial vehicle. The main purpose of the autonomous landing approach in this study is to help a safe landing at night. From any initial position of the aircraft when this function is engaged, a flight path command is generated from the initial position. The shortest combination of an initial circular arc, a straight line segment, and a final circular arc is chosen for the flight path that will lead the aircraft to one end of runway for a landing. The algorithm is initially validated through numerous simulations with various initial conditions of aircraft. Then it is successfully validated through a number of flight tests.

Study on Ellipse Fitting Problem for Vision-based Autonomous Landing of an UAV

Youeyun Jung,Dongjin Lee,Hyochoong Bang 제어로봇시스템학회 2014 제어로봇시스템학회 국제학술대회 논문집 Vol.2014 No.10

In this paper, we studied for the ellipse fitting problem when an unmanned aerial vehicle (UAV) reaches near a landing marker for vision-based autonomous landing. Due to limited field of view of a camera, the entire shape of the landing marker cannot be captured as the vehicle approaches it. Also, depending on the vehicle’s pose, the shape of the maker is shown distortedly. In order to overcome these problems, we designed the novel landing marker using concentric circles and the letter ‘H’. By calculating the conic parameters from portions of ellipse curves, we can estimate accurate relative navigation for the precise autonomous landing. Several basic image processing algorithms are employed to find the ellipse curves before estimating the ellipse parameters and the center of the marker using the direct least square method. From indoor experiments, we analyzed the ellipse fitting performance based on well-fitted and ill-fitted ellipses. Additionally, we studied how we can improve the ill-fitted case.

공유수면 매립지의 관할결정에 대한 헌법재판소의 권한쟁의 심판권 : 헌재2015헌라3 결정을 중심으로

정철(Chul Jung) 세계헌법학회 한국학회 2021 世界憲法硏究 Vol.27 No.2

헌법재판소는 2020. 7. 6. 당진･평택항 공유수면 매립지 관할결정에 관한 권한쟁의심판(2015헌라3결정: 대상결정)에서 청구인 충청남도 등의 심판청구를 모두 부적법 각하하는 결정을 내렸다. 2009. 4. 1. 지방자치법의 개정을 통해 입법자는 신규 공유수면 매립지의 관할을 결정하는 절차를 마련하여 행정안전부장관의 관할결정에 대해서 불복하는 경우 대법원에 행정소송을 제기하도록 하였다. 이에 따라 청구인은 행정안전부장관의 매립지 관할결정에 대해 대법원과 헌법재판소에 행정소송과 권한쟁의심판을 각 제기하였다. 헌법재판소는 행정소송의 판결 이전에 권한쟁의심판을 각하하면서 부적법각하 이유로 공유수면을 매립하여 새로이 토지가 생기는 경우 이 토지의 관할과 관련하여 모든 지방자치단체는 우선적 지위를 상호 주장할 수 없는 중립적 지위에 있다고 보았다. 그리고 지방자치법에 새로 규정된 신규 매립지 관할결정 절차에 따라 행정안전부장관이 내린 매립지 관할결정은 형성적 효력을 가진다고 보았다. 그러므로 장관의 매립지 관할결정으로 이 사건 청구인과 같은 관련 지방자치단체의 자치권에 대한 침해 혹은 침해의 위험은 없어 이 사건 권한쟁의심판은 부적법하다고 보았다. 그러나, 공유수면의 매립은 무에서 유를 창조하는 과정이 아니라 매립이 용이한 육지 쪽에서 매립을 시작하여 육지로 만드는 과정을 거친다는 점에서 공유수면에 대한 관할권을 가지는 인접 지방자치단체들의 협력을 통해 매립이 가능하고 매립에 의해 환경생태적･사회적･경제적 영향을 직접 받는 지방자치단체들이 있게 된다. 공유수면에 대한 지방자치단체의 자치권이 미친다는 점은 모두 인정하는 상황에서 육지에서 뻗어나간 공유수면 아래의 땅 위에 매립된 토지의 관할결정에 인접 육지 지방자치단체의 관할주장을 우선적으로 여기지 않고 관련 없는 지방자치단체들과 마찬가지로 중립적이라고 볼 수는 없다. 이런 관점이 공유수면 매립의 현실과도 부합한다. 그래서 지방자치법은 행정안전부장관의 매립지 관할결정에 대해 관련 지방자치단체의 장에게 대법원을 관할로 하는 행정소송을 제기할 수 있는 권리를 인정하고 있는 것이다. 결과적으로 헌법재판소는 지방자치법상의 행정소송이 권한쟁의심판이라는 헌법재판을 대체할 수 있음을 이번 사건에서 받아들였다고 여겨진다. 이는 1987년 현행 헌법이 새로이 국가기관과 지방자치단체 상호간 그리고 지방자치단체 상호간의 권한다툼을 헌법재판을 통해 해결하도록 한 취지를 저버리는 결과가 되었다. 지방자치의 보장은 헌법적 요청이고 현행 헌법은 명시적으로 이를 권한쟁의의 심판대상으로 포함하고 있는 이상 입법자가 이를 구체화할 수는 있을지언정 이를 형해화시킬 정도로 변경할 수는 없다고 보아야 한다는 점에서 이번 대상결정은 문제가 있다. Korean Constitutional Court made a decision of rejection on the jurisdiction disputes that was set by claimant Chungcheongnam-do Province on 6th July 2020(hereinafter referred to as ‘this case’). Legislator of Korea had already revised the Local Autonomy Act on 1th April 2009 to arrange the process for determination of jurisdiction on new public waters reclaimed land. According to the revised process, related local governments have the right to bring a lawsuit against the minster of Public Administration and Security who had decided the jurisdiction of newly reclaimed land. In this case, Chuncheongnam-do Province not only had brought this case to Supreme Court of Korea, but also to Korean Constitutional Court respectively. Korean Constitutional Court justified it s decision on the ground that all local governments have the equal positions on the newly reclaimed land of public waters because the jurisdiction of the reclaimed land is not determined until the minister of Public Administration and Security have decided it. Therefore, the court said that the decision of the minister on jurisdiction of the newly reclaimed land has the power to form a new jurisdiction of the land. So the court made a decision of rejection on the jurisdiction disputes because of there being no risk of infringement on autonomous authority of the claimant over the land. However, the reclamation of public waters begins from the area where land reclamation can be easily done. There is no possibility of reclaiming such pure waters that has no sea bed or land foundation like ocean waters of East Sea of Korea. So the related local governments around the reclaimed area who in common helps reclamation actor fill the waters have a reasonable interest in the jurisdiction of newly reclaimed land. In addition, the residents of related local governments around the reclaimed area are under direct environmental, ecological, and social effect. In this regard, the Local Autonomy Law grants the related local governments a standing to sue on the decision of jurisdiction by the minister. In conclusion, Korean Constitutional Court admitted that the administrative litigation that the Local Autonomy Law includes could replace the adjudication on jurisdiction disputes that is a kind of constitutional trials progressed by the Constitutional Court. This result can not be harmony with the Constitution which was revised in 1987 according to the intention that local autonomy should be strengthened without a break in Korea. Korean Constitutional Court should preserve and respect the spirit of the revised constitution. In this regard, the decision of this case has some problems.

이산 슬라이딩 모드 제어를 이용한 소천체 자율 착륙 기법

이주영(Juyoung Lee) 한국항공우주학회 2017 韓國航空宇宙學會誌 Vol.45 No.8

본 논문에서는 탐사선을 소천체에 착륙시키기 위한 자율 착륙 기법을 제시하였다. 제시된 기법은 탐사선이 스스로 착륙을 위한 위치 및 자세 프로파일을 생성하고 이를 추종하는 구조를 가지며, 위치 및 자세 추종을 위한 제어기를 설계함에 있어 소천체 및 탐사선의 환경 불확실성에 대해 강인한 특성을 갖는 이산 슬라이딩 모드 제어법칙을 바탕으로 하였다. 착륙을 위한 자율 항법 기법으로는 시각기반 관성항법을 적용하였으며, 제시된 착륙 기법은 다양한 불확실성이 존재하는 상황에서의 수치 시뮬레이션을 통해 검증되었다. This paper presents a robust method for autonomously landing on small bodies. Autonomous landing is accomplished by generating and following reference position and attitude profiles. The position and attitude tracking controllers are based on discrete sliding mode control, which explicitly treats the discrete and impulsive natures of thruster operation. Vision-based inertial navigation is used for autonomous navigation for landing. Numerical simulation is carried out to evaluate the performance of the proposed method in a realistic situation with environmental uncertainties.

무인기를 이용한 Last-Mile 서비스를 위한 배송 자동화 및 영상기반 착륙 알고리즘 연구

이한섭,정 훈 한국산업경영시스템학회 2023 한국산업경영시스템학회지 Vol.46 No.2

This study focuses on the development of a Last-Mile delivery service using unmanned vehicles to deliver goods directly to the end consumer utilizing drones to perform autonomous delivery missions and an image-based precision landing algorithm for handoff to a robot in an intermediate facility. As the logistics market continues to grow rapidly, parcel volumes increase exponentially each year. However, due to low delivery fees, the workload of delivery personnel is increasing, resulting in a decrease in the quality of delivery services. To address this issue, the research team conducted a study on a Last-Mile delivery service using unmanned vehicles and conducted research on the necessary technologies for drone-based goods transportation in this paper. The flight scenario begins with the drone carrying the goods from a pickup location to the rooftop of a building where the final delivery destination is located. There is a handoff facility on the rooftop of the building, and a marker on the roof must be accurately landed upon. The mission is complete once the goods are delivered and the drone returns to its original location. The research team developed a mission planning algorithm to perform the above scenario automatically and constructed an algorithm to recognize the marker through a camera sensor and achieve a precision landing. The performance of the developed system has been verified through multiple trial operations within ETRI.