Effective Logging and Monitoring Scheme in Heterogeneous Cloud Environments = 이기종 클라우드 환경을 위한 효과적인 로깅 및 모니터링 체계

다국어 초록 (Multilingual Abstract)

Title: Effective Logging and Monitoring Scheme in Heterogeneous Cloud Environments

As data is becoming more and more important, Internet of Things (IoT) devices are widely used to collect information and process data from various industries such as finance, autonomous driving, and smart factories. To ad- dress the limited computational power of IoT devices in processing real-time data, both edge computing, which utilizes nearby computers with greater com- putation capabilities, and cloud computing with even more processing power, are widely adopted solutions. As these systems have heterogeneous software and hardware configurations, it can be challenging to understand the behav- ior of the application from the perspective of different resources. This paper proposes an efficient logging and monitoring system in large-scale, heteroge- neous environments for IoT and edge applications. To do this, the proposed scheme first collects system resource usage data from each compute node us- ing the operating system’s native system analysis tool. Then, it consolidates the system resource usage information from multiple nodes into an integrated database which creates a comprehensive view of the system. Finally, this scheme provides global system resource information in terms of specific jobs and nodes, providing a comprehensive understanding of complex heteroge- neous hardware/software stacks. In evaluation, using IoT and Edge workloads in heterogeneous systems, demonstrates the efficiency of logging and monitor- ing schemes. The average network usage for Windows and Linux is 0.12KB and 1.29KB per second, respectively, resulting in minimal network overhead. In addition, the proposed scheme shows negligible overhead in terms of both runtime (up to 0.73%) and storage (0.0474%).

국문 초록 (Abstract)

데이터가 점점 더 중요해지면서 금융, 자율 주행, 스마트 공장과 같은 다양한 산업에서 정보를 수집하고 데이터를 처리하는 데 IoT(Internet of Things) 장치가 널리 사용된다. 실시간 데이터 처리의 제한된 계산 능력을 해결하기 위해 더 큰 계산 능력을 갖춘 근처 컴퓨터를 활용하는 엣지 컴퓨팅과, 더 큰 처리 능력을 갖춘 클라우드 컴퓨팅이 널리 채택되고 있다. 이러한 시스템은 서로 다른 소프트웨어와 하드웨어 구성을 갖추고 있기 때문에 다양한 리소스 관점에서 응용 프로그램의 동작을 이해하는 것이 어려울 수 있다. 본 논문에서는 IoT 및 엣지 응용 프로그램을 위한 대규모 이기종 환경에서 효율적인 로깅 및 모니터링 시스템을 제안한다. 이를 위해 먼저 운영 체제의 기본 시스템 분석 도구를 사용하여 각 컴퓨팅 노드에서 시스템 리소스 사용 데이터를 수집한다. 그런 다음, 여러 노드에서 시스템 리소스 사용 정보를 통합된 데이터베이스로 통합하여 시스템의 포괄적인 관점을 제공한다. 마지막으로, 본 논문에서는 특정 작업과 노드에 대한 전역 시스템 리소스 정보를 제공하여 복잡한 이기종 하드웨어/소프트웨어 스택에 대한 포괄적인 이해를 제공한다. 평가 결과, 이기종 시스템에서 IoT 및 엣지 워크로드를 사용한 로깅 및 모니터링 체계의 효율성을 입증한다. Windows 및 Linux의 평균 네트워크 사용량은 각각 초당 0.12KB와 1.29KB이며, 이로 인한 네트워크 오버헤드는 미비하다. 또한, 런타임(최대 0.73%) 및 저장(0.0474%)면에서 무시할 정도의 최소한의 오버헤드를 보인다.

목차 (Table of Contents)

• Abstract i
• List of Tables iv
• List of Figures v
• 1 Introduction 1
• 2 Background 5
• 2.1 IoT and Edge processing with Cloud 5
• 2.2 System analysis tools of cloud 7
• 3 DESIGN 8
• 3.1 Overall Architecture 8
• 3.2 Log collection module 11
• 3.3 Log processing module 13
• 3.4 Log analysis module 16
• 4 Evaluation 19
• 4.1 Experimental Setup 19
• 4.2 Single Node 20
• 4.3 Multiple Heterogeneous Node 23
• 4.3.1 Single node per OS 23
• 4.3.2 Multiple nodes per OS 24
• 4.4 Overhead analysis 26
• 4.4.1 Computation and storage overhead 26
• 4.4.2 Comparison with the existing logging scheme 27
• 4.4.3 Network overhead 28
• 5 Related Work 31
• 5.1 Logging on Heterogeneous architecture 31
• 5.2 Integration of distributed logs in Cloud 31
• 6 Limitation and Future Works 33
• 7 Conclusions 35
• 초록 43
• 감 사 의 글 44