http://chineseinput.net/에서 pinyin(병음)방식으로 중국어를 변환할 수 있습니다.
변환된 중국어를 복사하여 사용하시면 됩니다.
스파크 클러스터 환경에서의 대규모 로그 이상 패턴 분석
민시온(Sion Min),김유양(Youyang Kim),탁병철(Byungchul Tak) 한국컴퓨터정보학회 2024 韓國컴퓨터情報學會論文誌 Vol.29 No.3
본 연구는 Spark 클러스터 환경에서 대용량 로그를 분석하여 시스템 이상과의 연관성을 탐색한다. 로그를 활용한 이상 감지 연구는 증가하고 있으나, 클러스터의 다양한 컴포넌트의 로그를 충분히 활용하지 못하고 이상과 시스템의 연관성을 고려하지 않는다는 한계가 있다. 따라서 본 논문에서는 정상과 비정상 로그의 분포를 분석하고, 로그 템플릿의 출현 여부를 통해 이상 감지 가능성을 탐색한다. Hadoop과 Spark를 활용하여 정상과 비정상 로그 데이터를 생성하고, t-SNE와 K-means 클러스터링을 통해 비정상 상황에서의 로그 템플릿을 찾아 이상 현상을 파악한다. 결과적으로, 비정상 상황에서만 발생하는 고유한 로그 템플릿을 확인하며 이를 통해 이상 현상 감지의 가능성을 제시한다. This study explores the correlation between system anomalies and large-scale logs within the Spark cluster environment. While research on anomaly detection using logs is growing, there remains a limitation in adequately leveraging logs from various components of the cluster and considering the relationship between anomalies and the system. Therefore, this paper analyzes the distribution of normal and abnormal logs and explores the potential for anomaly detection based on the occurrence of log templates. By employing Hadoop and Spark, normal and abnormal log data are generated, and through t-SNE and K-means clustering, templates of abnormal logs in anomalous situations are identified to comprehend anomalies. Ultimately, unique log templates occurring only during abnormal situations are identified, thereby presenting the potential for anomaly detection.