하이브리드 딥러닝 기반 제스처 드론 제어 및 복부 진동촉각 피드백을 활용한 인간-드론 인터페이스 개발 = Development of a Human–Drone Interface Using Hybrid Deep Learning Based Gesture Control and Abdominal Vibrotactile Feedback

다국어 초록 (Multilingual Abstract)

Recently, drones have been widely used in various fields. However, safety incidents and mission failures still occur, mainly because manual piloting imposes a high cognitive workload. Conventional operation typically relies on dual-stick continuous control, combined with screen-based visual monitoring, which increases visual dependence and can degrade decision-making and reaction times. Therefore, an alternative interface is required that reduces both control complexity and visual reliance. This paper proposes an integrated human-drone interface that combines deep-learning-based hand gesture control with wearable vibrotactile feedback to enable intuitive closed-loop operation with reduced visual dependence.
In Chapter 2, a gesture-based drone controller is designed, including the command-gesture mapping and the configuration of the wearable IMU-based controller. IMU time series data are processed through a hybrid recognition model constructed using a GRU network as a temporal feature extractor and either an ECOC-SVM or an AHDT-SVM classifier. The recognized gesture labels are converted into drone commands. Additionally, the gesture controller is evaluated on a waypoint-following mission using a crossover protocol to compare gesture control with a dual-stick baseline.
In Chapter 3, a wearable 3×12 vibrotactile device and an encoding method are designed to convey the drone’s relative 3D position information without relying on visual cues. The proposed encoding allocates azimuth to directional actuator selection, altitude with row-wise activation across the vertical rows, and distance to vibration intensity. In addition, a user study is conducted where participants infer the presented position using only vibrotactile stimulation and submit responses through a GUI interface after a brief familiarization session.
In Chapter 4, the proposed gesture control and vibrotactile feedback are fully integrated and validated in real-flight forward position-holding experiments under disturbance. The experiments are conducted with blocked visual and auditory cues, and appropriate safety measures are implemented, confirming the practical feasibility of the proposed closed-loop human-drone interface.

목차 (Table of Contents)

• 제 1 장 서론 1
• 1.1 연구 배경 및 동향 1
• 1.2 연구 목적 및 내용 8
• 제 2 장 제스처 기반 드론 컨트롤러 설계 11
• 2.1 제스처 제어 개요 12
• 2.1.1 드론 제어 제스처 매핑 12
• 2.1.2 제스처 컨트롤러 하드웨어 구성 16
• 2.2 제스처 인식 모델 설계 18
• 2.2.1 데이터 수집 및 전처리 18
• 2.2.2 학습 모델 선정 21
• 2.2.3 하이브리드 딥러닝 모델 구조 및 학습 설정 26
• 2.2.4 제스처 인식 성능 평가 30
• 2.3 제스처 드론 컨트롤러 시뮬레이션 평가 34
• 2.3.1 실험 목적 및 방법 34
• 2.3.2 실험 결과 및 분석 37
• 제 3 장 위치 인식 진동촉각 피드백 장치 설계 41
• 3.1 진동촉각 피드백 설계 개요 42
• 3.1.1 3차원 위치 정보 인코딩 설계 42
• 3.1.2 진동촉각 피드백 장치 하드웨어 구성 44
• 3.1.3 진동촉각 피드백 장치 제어 알고리즘 구조 46
• 3.2 진동촉각 피드백을 활용한 3차원 위치 인식 실험 47
• 3.2.1 실험 목적 및 방법 47
• 3.2.2 실험 결과 및 분석 50
• 제 4 장 인간-드론 인터페이스 설계 및 실 기체 평가 54
• 4.1 통합 인터페이스 구성 55
• 4.2 인간-드론 인터페이스 실험 및 평가 57
• 4.2.1 실험 목적 및 방법 57
• 4.2.2 실험 결과 및 분석 62
• 제 5 장 결론 65
• 참고 문헌 67