Runtime Robust Edge Inference Architecture based on Cloud Assisted Training and Dynamically Reconfigurable FPGA = 동적 하드웨어 재구성 가능한 FPGA와 클라우드 학습을 이용한 런타임 점층 엣지 추론

국문 초록 (Abstract)

본 논문은 엣지 디바이스가 다양한 환경 변화와 입력 노이즈에도 불구하고 안정적으로 인공지능 추론을 수행할 수 있도록, 클라우드 기반 학습과 동적 하드웨어 재구성이 가능한 FPGA를 결합한 새로운 아키텍처를 제안한다. 기존 엣지 시스템은 온칩 플래시 메모리에 탑재된 정적 모델을 기반으로 동작하기 때문에 환경 변화에 적응하기 어렵고, 초기 학습에서 고려되지 않은 상황에서는 정확도 저하가 불가피하다. 이를 해결하기 위해, 제안된 구조는 클라우드에서 지속적으로 모델을 증분 학습(incremental learning)하고, 엣지 디바이스에는 필요에 따라 선택적으로 파라미터나 하드웨어 모듈을 부분적으로 갱신하는 기능을 제공한다.
FPGA의 동적 재구성 기능을 활용하여 추론 중에도 하드웨어 가속 모듈을 교체하거나 업데이트할 수 있으며, 이를 통해 통신 오버헤드를 최소화하면서도 실시간 응답성을 유지한다. 또한 클라우드와 엣지 간의 협력적 처리를 통해 연산 부하를 분산시키고, 데이터 전송량을 줄이는 동시에 학습 결과를 효율적으로 반영할 수 있다. 실험 결과, 본 논문에서 제안하는 방법은 기존 정적 구조 대비 정확도와 지연 시간 측면에서 우수한 성능을 보였으며, 엣지–클라우드 협력 환경에서 적응적이고 신뢰성 있는 AI 실행의 가능성을 입증하였다. 본 연구는 향후 다양한 IoT 및 실시간 서비스 환경에서 엣지 인공지능 시스템의 확장성과 유연성을 높이는 기반 기술로 활용될 수 있을 것으로 기대된다.

목차 (Table of Contents)

• 1. Introduction 1
• 1.1 Challenges in edge AI inference execution 1
• 1.2 Contributions and organization of the study 4
• 1.3 Design principles for runtime-robust edge AI 5
• 1.4 Scope and assumptions of the study 7
• 2. Backgrounds and Related Works 9
• 2.1 Backgrounds 9
• 2.1.1 AI Inference on edge device 9
• 2.1.2 Incremental learning and partial update 9
• 2.1.3 Cloud memory and code streaming 10
• 2.1.4 Cloud-assisted AI 11
• 2.1.5 FPGA as a training accelerator 12
• 2.1.6 Dynamic partial reconfiguration on FPGA 13
• 2.2 Related works 14
• 2.2.1 Edge-Cloud collaborative AI 14
• 2.2.2 FPGA vs GPU acceleration 16
• 2.2.3 Dynamic update mechanism 16
• 3. Proposed Architecture 19
• 3.1 Overall Architecture 21
• 3.2 Incremental Learning in the Cloud 24
• 3.3 Partial Parameter Update Mechanism 27
• 3.4 Cloud Memory-Based Code Streaming 29
• 3.5 FPGA-Based Reconfigurable Accelerator 33
• 3.6 Runtime Robust Execution Pipeline 37
• 3.6.1 Latency Analysis 39
• 3.6.2 Robustness Improvement 39
• 3.6.3 Adaptive Runtime Behavior 40
• 4. Experiment Results 41
• 4.1 Experimental Setup 42
• 4.1.1 Hardware Platform 42
• 4.1.2 Communication Model 44
• 4.1.3 Datasets and Preprocessing 44
• 4.1.4 Software Stack and Model Configuration 45
• 4.1.5 Evaluation Metrics 45
• 4.2 Communication Analysis 46
• 4.2.1 Latency Measurement 48
• 4.3 Accuracy Evaluation 50
• 4.3.1 Baseline Behavior Under Noise 51
• 4.3.2 Incremental Learning Results 53
• 4.3.3 Robustness Metric 53
• 4.3.4 Consistency and Stability 53
• 4.3.5 Summary 54
• 4.3.6 Energy Efficiency 54
• 5. Discussion 58
• 5.1 Runtime Robustness 58
• 5.2 Communication Efficiency 59
• 5.3 FPGA vs. GPU Acceleration 61
• 5.4 Scalability and Applicability 63
• 5.5 Limitations and Future Work 63
• 5.6 Real World Scenario 63
• 6. Conclusion 65
• References 69