북한의 스피어피싱 탐지 도구로서 GPT-4기반 ChatGPT의 문장 분석 능력 활용 가능성 탐색

국문 초록 (Abstract)

본 논문은 초대규모 언어 모델인 GPT-4를 기반으로 동작하는 ChatGPT의 북한의 스피어피싱을 탐지할 가능성을 파악하는 것에 목적이 있다. 북한에서 발송된 스피어피싱 이메일을 수집하여 학습용으로 분류한 이메일을 ChatGPT를 통해 GPT-4에 입력하였다. 이 과정에서, 뒤집힌 상호작용 패턴으로 도출된 필요 정보를 입력하는 것으로 스피어 피싱을 학습하고 분류할 수 있도록 설계하였다. 추가적인 학습이 없이 사전에 학습된 데이터만으로 분류의 성능을 측정한 결과 F1 점수는 0.58, AUC 값은 0.62로 나타났으며, 초기화 및 학습을 진행한 이후 스피어피싱 이메일을 재분류하였다. 학습 이후의 결과는 F1 점수가 0.80, AUC 값이 0.88로, 사전 데이터 기반의 GPT-4만을 사용한 경우보다 향상된 것을 알 수 있었다.

다국어 초록 (Multilingual Abstract)

This paper aims to assess the potential of ChatGPT, which operates based on the large-scale language model GPT-4, in detecting spear-phishing from North Korea. Spear-phishing emails sent from North Korea were collected and categorized for training purposes, and then inputted into GPT-4 via ChatGPT. During this process, a flipped interaction pattern was designed to input the necessary information for learning and classifying spear-phishing. The performance of classification, measured without any additional training and only using pre-trained data, resulted in an F1 score of 0.58 and an AUC value of 0.62. After initializing and undergoing training, the spear-phishing emails were reclassified. The post-training results showed an improved F1 score of 0.80 and an AUC value of 0.88, indicating enhancement over using only the pre-data based GPT-4.

목차 (Table of Contents)

• 요약
• ABSTRACT
• Ⅰ. 서론
• Ⅱ. 이론적 배경
• Ⅲ. 실험 설계
• Ⅳ. 실험 및 결과
• Ⅴ. 결론
• REFERENCES