주식 시장의 예외적 거래 탐지를 위한 이미지 처리 기반의 딥러닝 예측 모델 연구 = A Study on Image Processing-Based Deep Learning Prediction Model for Detecting Exceptional Transactions in the Stock Market

국문 초록 (Abstract)

주식 시장의 예외적 거래 탐지를 위한 이미지 처리 기반의 딥러닝 예측 모델 연구 가톨릭관동대학교 일반대학원 경영학과 김기현 지도교수 전진호 COVID-19 팬데믹(pandemic)으로 대면 서비스에 대한 불안감이 증대되면 서 교육, 의료, 금융 등 여러 분야에서 비대면 기술(untact technology)이 빠 른 속도로 발전해 나갔다. 이에 따라 핀테크(비대면 금융 기술) 산업도 가속 화 되었지만 양면적으로 원격 거래의 취약성과 보안의 허점을 악용한 사기 (Fraud) 범죄가 급증해 문제가 되고 있다. 본 연구의 목적은 지속적으로 변화하는 금융 환경과 주식 시장의 다양한 거래 패턴에 대응할 수 있는 딥러닝 기술을 활용하여 예외적 거래 탐지 모 델을 제안하고 이를 통해 데이터 기반의 의사결정 과정을 강화하여 금융 시 장의 안정성과 투명성을 높이는 데 기여하고자 한다. 기존 연구를 살펴보면, 예외적인 거래 상황을 감지하기 위해 비정상 금융 거래 탐지 시스템(FDS)을 활용하였다. 이러한 시스템들은 주로 숫자 속성, 시간적 패턴, 블랙 리스트에 중점을 두고 있어 일부 특정한 상황에서는 유 용할 수 있지만, 복잡하고 다양한 금융 시장의 동향을 이해하고 예측하는 데는 한계를 가지고 있다. 따라서, 본 연구에서는 기존 연구의 한계를 극복하고자 시계열 데이터를 이미지 시퀀스로 변환하여 딥러닝 기술을 활용해 금융 시장의 복잡한 패턴 을 학습하고, 이를 바탕으로 예외적인 거래를 더욱 정확하게 탐지하는 모델 을 제안한다. 이를 통해, 금융 시장의 다양한 변화에 대응할 수 있는 더욱 강력하고 유연한 거래 탐지 시스템을 구축하는 것이 본 연구의 최종 목표이 다. 이러한 연구는 금융 기관들은 더욱 효과적으로 위험을 관리하고, 투자자 들은 더욱 안전하게 투자 활동을 수행할 수 있을 것이다. 본 연구에서 제안하는 모델이 실제 금융 시장에서 어떻게 작동하는지 평 가하기 위해 과거 10년치의 KOSPI 주가 데이터를 활용하여 이를 실증하고 모델의 성능을 확인하였다. 연구 결과, 본 연구에서 제안한 이미지 클러스터링 기반 기계 학습 예외 적 거래 탐지 모델과 이미지 하이브리드 기반 예외적 거래 탐지 모델은 기 존 연구에서 사용되었던 기계 학습 예외적 거래 탐지 모델에 비해 약 2배 정도 높은 성능을 보였다. 이는 본 연구에서 제안하는 모델이 더욱 정확하 게 예외적인 거래를 탐지할 수 있음을 보여준다. 또한, 제안 모델의 유효성을 확인 검증하기 위해 앞서 실험한 데이터와 동일한 길이의 실제 A 기업 주가 데이터를 활용하여 검증한 결과, 과거 주 가 데이터의 변동성을 효과적으로 학습해 일반적인 패턴과 다른 예외적인 급락 및 급등 지점을 정확하게 식별하는 능력을 보였다. 이는 새로운 데이 터에 대해서도 일반화가 가능하고 중요한 이벤트를 감지하는데 가치가 있음 을 의미한다. 본 연구는 주식 시장의 예외적 거래를 탐지하기 위한 이미지 처리 기반의 딥러닝 예측 모델을 제안하고 이를 실제 주식 시장 데이터에 적용하여 유효 성을 검증한 결과 다음과 같은 중요한 시사점을 제공한다. 첫째, 시계열 데이터를 이미지 시퀀스로 변환하여 딥러닝을 활용해 예외 적 거래를 탐지하는 새로운 방법론을 제시하였다. 이는 기존의 기계 학습 방법론에 비해 더 높은 성능을 보였다. 둘째, 본 연구에서 제안하는 모델을 실제 주식 시장 데이터에 적용한 결과, 높은 성능을 보여 딥러닝 기반의 예 외적 거래 탐지 모델은 금융 시장의 안전성과 효율성을 향상시키는데 기여 할 수 있음을 보여준다. 따라서, 본 연구는 딥러닝과 금융 기술의 융합이 가져올 수 있는 잠재적 인 가치와 가능성을 보여주며, 이를 바탕으로 더욱 발전된 금융거래 환경을 구축하는 데 기여할 수 있을 것으로 기대된다. 반면, 본 연구는 주식 시장의 예외적 거래 탐지를 위해 이미지 처리 기반 의 딥러닝 예측 모델을 제안하고 효과성을 검증하였지만, 아래와 같은 한계 점이 존재한다. 첫째, 본 연구에서 제안한 모델은 주식 거래 패턴을 자동으로 학습하고 예외적인 거래를 탐지하는 능력을 가지고 있지만, 이는 모델이 학습한 패턴 내에서의 예외적인 거래만을 감지할 수 있다는 것을 의미하기 때문에 모델 이 학습하지 못한 새로운 유형의 예외적인 거래를 감지하는 데는 한계가 있 다. 둘째, 복잡성이 증가할수록 모델의 내부 동작을 해석하기 어렵기 때문에 사용자가 모델에 대해 전문적인 지식과 도구 없이는 이해하기 어려운 결과 를 초래할 수 있어 딥러닝에 대한 전문적인 지식이 요구된다. 따라서, 이러한 한계점들을 극복하기 위한 추가적인 연구가 필요하다. 향 후 과제로는 저차원 및 단기 데이터에 대한 딥러닝 예측 모델의 성능을 향 상시키고 실시간 탐지의 한계를 극복하기 위해 전이 학습(transfer learning) 기법이나 고도화를 통한 후속 연구가 필요하며, 딥러닝 예측 모델의 복잡한 내부 동작을 좀 더 쉽게 이해하고 해석 가능성을 높이기 위해 API(Application Programming Interface) 또는 패키지 형태의 솔루션을 제 공할 수 있는 도구 개발이 요구된다. 또한, 제안한 모델을 금융 분야 외에도 의료, 제조, 신체 활동 모니터링 등 여러 데이터에 적용하여 활용 가능성을 탐구하고 모델의 안정성과 탐지에 대한 연구를 강화하여 실제 산업 및 개인 에게 신뢰성 있는 솔루션을 제공함으로써 본 연구를 확장해 나가고자 한다. 주제어: 주식 시장, 예외적 거래, 시계열, 기계 학습, 딥러닝, 이미지 처리

목차 (Table of Contents)

• Ⅰ. 서 론 ·1
• 1. 연구 배경 및 목적 1
• 2. 논문 구성 4
• Ⅱ. 이론적 배경 5
• 1. 주식 시장의 예외적 거래 및 이상치 탐지 5
• 2. 기존 연구 모델 9
• 2.1 통계적 기법(Statistical Methods) 9
• 2.2 기계 학습 기법(Machine Learning Methods) 13
• (1) 감독학습(Supervised Learning) 17
• ① 분류(Classification) ·17
• ② 회귀(Regression) 24
• (2) 비감독학습(Unsupervised Learning) 25
• ① 클러스터링(Clustering) 25
• ② 딥러닝 기법(Deep Learning Methods) 32
• 가. 딥러닝 개요 ·32
• 나. 딥러닝 알고리즘 33
• 3. 이미지 처리 43
• Ⅲ. 연구 설계 및 방법 48
• 1. 연구 설계 ·48
• 2. 실험 환경 구성 51
• 3. 데이터 로드 및 전처리 ·52
• (1) 데이터 로드 및 분할 52
• (2) 데이터 전처리 54
• Ⅳ. 연구 결과 59
• 1. 단기 시계열의 예외적 거래 탐지 결과 59
• 2. 중기 시계열의 예외적 거래 탐지 결과 72
• 3. 장기 시계열의 예외적 거래 탐지 결과 81
• 4. 모델 성능 비교 89
• 5. 유효성 확인 91
• Ⅴ. 결 론 93
• 1. 연구 결과 및 의의 93
• 2. 향후 연구 방향 97
• 참고문헌 99
• Abstract 110