이상적인 로그 템플릿 추출을 위한 NER의 활용 가능성 탐구 = Feasibility of Utilizing Named Entity Recognitionfor Ideal Log Template Extraction

국문 초록 (Abstract)

로그 메시지의 양이 증가함에 따라 수동 모니터링이 어려워지고 있다. 이에 데이터 마이닝 모델을 이용한 새로운 로그 분석 기술들이 도입되고 있으며, 대부분 모델은 정형화된 입력을 필요로 한다. 따라서 비정형 로그 메시지를 정형화된 형식인 로그 템플릿으로 변환하는 기술이 필요하다. 그러나 클러스터링 기반의 기존 기술들은 여러 개의 토큰으로 이루어진 개체를 감지할 수 없다는 어려움을 겪고 있다. 이 문제를 해결하기 위해 본 논문에서는 NER(Named Entity Recognition)을 활용한 로그 템플릿 추출의 가능성을 탐구한다. 구체적으로, 실험을 통해 기존 규칙 기반 파싱 기법의 한계를 보완하고 NER을 통해 개선할 수 있는 가능성을 검증하였으며, NER이 0.902의 F1-score로 로그의 객체를 유의미하게 인식할 수 있음을 확인하였다.

다국어 초록 (Multilingual Abstract)

Manual monitoring of a system is becoming difficult due to increasing amount of log messages. Accordingly, new log analysis techniques using data mining models are introduced, However most models require structured input. Therefore, a technique that can convert unstructured log messages into structured log templates is required. Existing clustering-based techniques suffer from an inability to detect entities made of multiple tokens. To address this problem, this paper explored the feasibility of extracting log templates using named entity recognition (NER). Specifically, through experiments, we verify the feasibility of NER to overcome the limitations of traditional rule-based parsing methods. The results demonstrate that NER can meaningfully identify log entities, achieving an F1-score of 0.902.