Can LLMs Compete on Tabular Classification and Anomaly Detection? = 정형 데이터 분류 및 이상 탐지에서의 대규모 언어 모델 성능 비교 및 분석 연구

국문 초록 (Abstract)

본 연구는 분류(Classification)와 이상 탐지(Anomaly Detection) 환경에서 대규모 언어 모델(LLM)의 성능을 분석한다. 실험 결과, 분류 환경에서는 샘플 크기가 작을 때 LLM이 높은 분류 성능을 기록했으나, 데이터의 규모가 커질수록 TabPFN과 같은 모델 및 전통적인 분류 모델의 성능이 상대적으로 우세하였다. 반면 이상 탐지 환경에서는 LLM이 기존 비지도(Unsupervised) 또는 준지도(Semi-Supervised) 방법론보다 우수한 성능을 보였다. 그러나 이러한 높은 성능에도 불구하고 학습에 상당한 시간이 소요된다는 한계가 확인되었다. 따라서 비용과 성능을 종합적으로 고려할 때, LLM을 전면적으로 활용하기보다는 문제 특성에 따라 선별적으로 활용하는 것이 바람직하다는 결론에 도달하였다.

다국어 초록 (Multilingual Abstract)

This study investigates the performance of large language models (LLMs) in classification and anomaly detection.
In classification, LLMs show strong performance when the sample size is small.
However, as the size of the dataset increases, TabPFN-based models and traditional classification models achieve better performance.
In contrast, for anomaly detection, LLMs outperform existing unsupervised and semi-supervised methods.
Nevertheless, this improved performance comes with a considerable increase in training time.
Therefore, when both cost and performance are taken into account, our results suggest that LLMs should be used selectively depending on the characteristics of the problem.

목차 (Table of Contents)

• Abstract i
• 1 Introduction 1
• 2 Classification 4
• 2.1 Problem Formulation 4
• 2.2 Traditional Models 6
• 2.2.1 Logistic Regression [Cox, 1958] 6
• 2.2.2 Random Forest [Breiman, 2001] 7
• 2.2.3 XGBoost [Chen and Guestrin, 2016] 8
• 2.2.4 Light GBM [Ke et al., 2017] 9
• 2.3 Transformer-based Models 11
• 2.3.1 TabPFN [Hollmann et al., 2022] 11
• 2.3.2 TabPFN v2 [Hollmann et al., 2025] 17
• 2.4 LLM-based Models 22
• 2.4.1 TabLLM [Hegselmann et al., 2023] 22
• 2.5 Experiments 26
• 2.5.1 Datasets 26
• 2.5.2 Compared Methods 28
• 2.5.3 Experimental Setup 29
• 2.5.4 Results and Analysis (Phase I) 31
• 2.5.5 Results and Analysis (Phase II) 34
• 3 Anomaly Detection 36
• 3.1 Problem Formulation 36
• 3.2 Traditional Models 37
• 3.2.1 PCA [Jackson and Mudholkar, 1979] 37
• 3.2.2 kNN [Ramaswamy et al., 2000] 38
• 3.2.3 Isolation Forest [Liu et al., 2008] 39
• 3.2.4 ECOD [Li et al., 2023] 40
• 3.3 Deep Learning-based Models 40
• 3.3.1 DeepSVDD [Ruff et al., 2018] 41
• 3.3.2 REPEN [Pang et al., 2018] 41
• 3.3.3 GOAD [Bergman and Hoshen, 2020] 42
• 3.3.4 RCA [Liu et al., 2021] 43
• 3.3.5 NeuTraL [Qiu et al., 2021] 44
• 3.3.6 ICL [Shenkar and Wolf, 2022] 44
• 3.3.7 SLAD [Xu et al., 2023] 45
• 3.3.8 DTE [Livernoche et al., 2024] 46
• 3.4 LLM-based Models 47
• 3.4.1 AnoLLM [Tsai et al., 2025] 48
• 3.5 Experiments 52
• 3.5.1 Datasets 52
• 3.5.2 Compared Methods 54
• 3.5.3 Experimental Setup 55
• 3.5.4 Results and Analysis 56
• 4 Conclusion 64
• Bibliography 66
• Abstract (in Korean) 71