Edge-server collaborative inference system based on masked autoencoders

국문 초록 (Abstract)

위험한 장소에서 작동하는 구조 드론과 같은 로보틱 엣지 디바이스는, 어려운 환경을 항해하며 (산불과 같은) 원격 이상 징후 탐지를 위해 이미지를 서버로 전송해야 한다. 이는 하나의 도전 과제가 되는데, 이러한 디바이스는 한정된 자원을 가지고 있으며 자율 주행과 같은 핵심적인 운영에 우선순위를 두어야 하므로 이미지 처리 작업에는 최소한의 용량만 남기 때문이다. 서버로 작업을 오프로딩하면 디바이스 내 처리 부담을 덜 수 있지만, 신뢰할 수 없는 네트워크 연결은 종종 추론의 정확도와 속도 모두를 저하시킨다. 본 논문은 이러한 이미지 기반 작업들을 위해 연산 효율성과 추론 정확도 사이의 균형점을 찾도록 설계된 혁신적인 오프로딩 프레임워크를 소개한다. 이 프레임워크는 (R1) 각각의 개별 카메라 센서의 처리 작업에 대해 기준선(baseline) 정확도를 보장하고, (R2) 전체 작업의 총 집계 정확도를 최적화하는 두 가지 핵심 요구사항을 충족하도록 설계되었다. 우리의 해결책은 이미지 재구성을 위한 협력적 엣지-서버 아키텍처를 기반으로 하며, 이는 선택적 처리를 위해 이미지를 패치로 분할하는 과정을 포함한다. R1과 R2 목표를 달성하기 위해, 우리는 (i) 자원 한계에 기반하여 패치 전송 우선순위를 지능적으로 관리하는 계층적 스케줄러와, (ii) 신뢰할 수 있는 오프로딩과 추론을 보장하기 위해 네트워크 변동성에 동적으로 적응하는 피드백 메커니즘이라는 두 가지 핵심 구성 요소를 구현했다. 우리의 실험에서 얻은 실증적 증거는, 제안하는 프레임워크가 상당한 네트워크 중단에 직면했을 때에도 성공적으로 높은 정확도를 유지하고 처리 마감 시간을 준수한다는 것을 보여준다.

다국어 초록 (Multilingual Abstract)

Robotic edge devices, such as rescue drones operating in hazardous locations, must concurrently navigate difficult environments and stream images for remote anomaly detection (e.g., wildfires). This creates a challenge, as these devices possess limited resources and must give precedence to critical operations like autonomous navigation, leaving minimal capacity for image-processing tasks. While offloading computation to a server can relieve the on-device processing load, unreliable network connectivity often compromises both the precision and speed of inference. This thesis introduces an innovative offloading framework designed to find an equilibrium between computational efficiency and inference accuracy for these image-based tasks. The framework is designed to meet two key requirements: (R1) guaranteeing the transmission of a minimum number of patches required to meet a baseline accuracy for each distinct camera sensor's processing task, and (R2) optimizing the aggregate accuracy across the entire sensor array. Our solution is built upon a collaborative edge-server architecture for image reconstruction, which involves splitting images into patches for selective processing. To fulfill the R1 and R2 objectives, we implement two core components: (i) a hierarchical scheduler to intelligently manage patch transmission priorities based on resource limitations, and (ii) a feedback mechanism that dynamically adjusts to network volatility to ensure dependable offloading and inference. Empirical evidence from our experiments shows that the proposed framework successfully sustains high accuracy and meets processing deadlines, even when faced with significant network disruptions.

목차 (Table of Contents)

• CHAPTER 1. INTRODUCTION 1
• CHAPTER 2. SYSTEM DESIGN 8
• CHAPTER 3. HIERARCHICAL SCHEDULER 11
• A. TASK MODEL 11
• B. INTRA-TASK SCHEDULER 15
• C. INTER-TASK SCHEDULER 18
• D. OVERALL WORKFLOW 21
• CHAPTER 4. FEEDBACK MECHANISM 23
• A. INFORMATION EXCHANGE 24
• B. FEEDBACK INTO HIERARCHICAL SCHEDULER 25
• CHAPTER 5. EVALUATION 28
• A. EXPERIMENT SETUP 28
• B. EVALUATION RESULT 29
• CHAPTER 6. CONCLUSION 37
• REFERENCE 38
• KOREAN ABSTRACT 42