IDF와 문자열 특징을 이용한 머신러닝 기반 악성 URL 탐지 = Machine learning-based malicious URL detection using IDF and string features

국문 초록 (Abstract)

피싱 공격은 매해 꾸준히 증가하고 있으며 그에 따라 피해 규모 역시 커지고 있다. 피싱은 개인뿐만 아니라 기업을 상대로 막대한 피해를 입히며 피싱 공격의 형태는 날로 진화되고 있다. 피싱의 증가에 맞서 피해를 최소화하기 위해서는 빠른 악성 URL 탐지가 중요하다.
본 논문에서는 상대적으로 응답 시간이 긴 타사 서비스를 제외한 URL 자체에서 추출한 특징만을 사용하여 악성 URL을 빠르게 탐지하는 것을 목표로 한다. 공격자들은 악성 URL인 것을 숨기기 위해 URL의 길이를 늘리는 경향이 있는데 그 중 path 부분을 늘리기도 한다. 본 연구에서는 악성 URL과 정상 URL의 path 패턴이 다르다는 것을 가정하고 IDF를 적용한 특징을 사용했다. Information gain을 통해 특징 중요도를 매긴 결과, IDF 특징은 특징 28개 중 상위 5위로 15.94%의 높은 중요도를 보였다.
URL 자체에서 추출한 문자열 기반 특징과 IDF 특징을 이용하여 악성 URL을 머신러닝으로 탐지한 결과, RF 분류기를 사용했을 때 정확도 92.66%, F1-score 92.65%, AUC 92.66%로 3가지 분류기 중에서 가장 좋은 분류 성능을 보였다.

다국어 초록 (Multilingual Abstract)

Phishing attacks are steadily increasing every year, and the scale of damage is also increasing accordingly. Phishing inflicts enormous damage not only to individuals but also to businesses, and the form of phishing attacks is evolving day by day. Rapid detection of malicious URLs is important to minimize damages against the increase in phishing.
In this paper, we aim to quickly detect malicious URLs using only features extracted from URLs themselves, excluding third-party services with relatively long response times. Attackers tend to lengthen the length of URLs to hide malicious URLs, and sometimes lengthen the path part. In this study, it was assumed that the path patterns of malicious URLs and normal URLs were different, and IDF-applied feature was used. As a result of ranking feature importance through information gain, the IDF feature was ranked in the top 5 among 28 features, showing a high importance of 15.94%.
As a result of machine learning detection of malicious URLs using string-based features and IDF features extracted from URLs themselves, when using the RF classifier, accuracy was 92.66%, F1-score 92.65%, and AUC 92.66%, which was the best classification among the three classifiers. showed performance.

목차 (Table of Contents)

• 제1장 서론 1
• 제1절 연구의 필요성 1
• 제2절 연구 개요 3
• 제2장 배경 지식 4
• 제1절 URL의 구조 4
• 제2절 TF-IDF 5
• 제3절 Information Gain 6
• 제3장 관련 연구 7
• 제1절 악성 URL 탐지 방법 7
• 제2절 URL 기반 특징 8
• 제3절 TF-IDF를 이용한 특징 10
• 제4장 악성 URL 탐지 시스템 11
• 제1절 악성 URL 탐지 시스템 구조 11
• 제2절 데이터셋 구성 방법 12
• 제3절 악성 URL 탐지를 위해 사용한 특징 12
• 제5장 실험 및 결과 15
• 제1절 실험 환경 15
• 제2절 실험 데이터 구성 15
• 제3절 평가지표 17
• 제4절 실험 내용과 결과 분석 19
• 제4.1절 IDF 특징의 여부에 따른 머신러닝 성능 21
• 제4.2절 IDF 특징과 TF-IDF 특징 비교 22
• 제4.3절 Information gain을 이용한 특징 개수 제한에 대한 성능 24
• 제6장 결론 및 향후 연구 28
• 제7장 참고 문헌 29