포즈추정모델 기반 실시간 야구 스윙 자동 판정 시스템 = Real-time Baseball Swing Automatic Judgment System Based on Pose Estimation Model

국문 초록 (Abstract)

야구 경기에서 체크스윙 판정은 매년 논란을 일으키며, 일관성과 공정성에 대한 문제를 꾸준히 야기하고 있다. 체크스윙은 타자가 스윙을 멈춘 순간 배트의 위치에 따라 스트라이크 여부가 결정되는 동작이지만, 명확한 기준의 부재로 심판의 주관적 판단에 크게 의존하게 된다. 이러한 판정의 공정성을 높이기 위해 비디오 판독 및 자동화 판정 시스템이 도입되고 있으나, 특히 체크스윙과 같은 복잡한 동작 판정에는 여전히 어려움이 존재한다. 이에 본 연구는 실시간으로 체크스윙을 판정할 수 있는 포즈 추정 기반 시스템을 제안하여 주관적인 판정 오류를 줄이고, 신속하고 객관적인 경기 판정 지원을 목표로 한다. 제안 시스템은 BlazePose 포즈 추정 모델과 CatBoost 분류 모델을 결합하여 실시간으로 타자의 관절 움직임을 분석한다. 특히 BlazePose는 33개의 주요 관절 좌표를 X, Y, Z 축 데이터로 제공하며, 이를 통해 타자의 상체와 하체의 움직임을 입체적으로 분석할 수 있다. 추출된 좌표는 정규화와 결측치 처리 등의 전처리 과정을 거친 후 CatBoost 모델에 입력되어 스윙 여부를 분류한다. 시스템은 SwingAnalyzer 클래스를 중심으로 구성되어 있으며, 스윙 세션을 탐지하고 전환 시점을 마킹하며, 세션 종료 시 데이터를 저장하는 구조를 가진다. 추가적으로, 손목과 어깨의 움직임을 기반으로 스윙의 시작, 방향 전환, 종료를 자동으로 감지하는 알고리즘이 포함되어 있어, 스윙 세션 내의 프레임별 움직임을 세부적으로 분석할 수 있다. 연구 과정에서는 다양한 포즈 추정 모델과 분류 모델의 성능을 정밀도, 재현율, F1 score, ROC AUC score 지표를 통해 정량적으로 비교하였다. 실험 결과, BlazePose와 CatBoost 조합은 정확도 90%와 처리 속도 18.56ms , 지연시간 0.36ms를 기록하며 실시간 판정 요구에 가장 적합한 성능을 보여 최종 모델로 선정되었다. 특히, CatBoost는 체크스윙의 경계가 모호한 데이터에서도 높은 일반화 성능을 보였으며, Random Forest와 함께 상체와 하체의 특징을 고루 학습하는 경향을 보였다. 반면, Logistic Regression이나 SVM 모델은 손목과 상체에 지나치게 의존하며 체크스윙 판정에 필요한 전체적인 움직임을 반영하지 못하는 단점이 드러났다. 제안된 시스템은 실시간 테스트에서도 평균 90% 이상의 예측 정확도를 기록하였으며, 역시 평균 18ms의 처리 속도로 실시간 경기 상황에서도 안정적으로 작동할 수 있음을 입증하였다. 시스템 성능은 PCA 분석 및 특징 간 상관관계 히트맵을 통해 데이터의 구조를 시각화하고, 이를 기반으로 학습된 모델의 중요 특징을 분석함으로써 신뢰성을 높였다. 본 연구는 실시간 체크스윙 판정 시스템의 가능성을 입증하였고, 추후 KBO 경기 데이터를 기반으로 더욱 고도화하여 실전 도입 가능성을 높이고자 한다.

다국어 초록 (Multilingual Abstract)

Check swing judgment in baseball games has been a recurring source of controversy, raising persistent concerns about consistency and fairness. A check swing refers to the action where a batter halts their swing mid-motion, and the strike decision is determined by the position of the bat at that moment. However, the absence of clear criteria often leads to a heavy reliance on the subjective judgment of umpires. While video reviews and automated judgment systems have been introduced to enhance fairness, challenges remain, particularly in assessing complex motions like check swings. To address this issue, this study proposes a real-time, pose estimation-based system designed to minimize subjective errors in judgment and provide rapid and objective support for on-field decisions. The proposed system combines the BlazePose pose estimation model with the CatBoost classification model to analyze the batter's joint movements in real time. BlazePose generates 33 key joint coordinates in X, Y, and Z axes, enabling three-dimensional analysis of both upper and lower body movements. These extracted coordinates undergo preprocessing steps such as normalization and handling of missing values before being fed into the CatBoost model for swing classification. The system is structured around the SwingAnalyzer class, which detects swing sessions, marks transition points, and stores session data upon completion. Additionally, the system incorporates an algorithm that automatically detects the start, directional transition, and end of swings based on wrist and shoulder movements, allowing detailed analysis of frame-by-frame motion within a swing session. During the study, various pose estimation and classification models were evaluated quantitatively using metrics such as precision, recall, F1 score, and ROC AUC score. Experimental results demonstrated that the BlazePose and CatBoost combination achieved high predictive accuracy, fast processing speed, and low latency, making it the most suitable choice for real-time judgment. In particular, CatBoost exhibited robust generalization performance, even with ambiguous check swing data, and effectively learned both upper and lower body features alongside Random Forest. In contrast, Logistic Regression and SVM models overly relied on wrist and upper body features, failing to capture the overall motion necessary for check swing judgment. The proposed system achieved an average prediction accuracy of over 90% in real-time tests and demonstrated stable operation in live game scenarios with an average processing time of 18 milliseconds per frame. System performance was further validated through PCA analysis and a feature correlation heatmap, which visualized the data structure and highlighted key features used in model training, enhancing its reliability. This study substantiates the feasibility of automating check swing judgments in real-time and aims to refine the system further using data from KBO games to increase its potential for practical implementation.

목차 (Table of Contents)

• 차례 i
• 그림 차례 iii
• 표 차례 iv
• 국문요지 v
• 제 1 장 서 론 １
• 1.1. 연구 배경 １
• 1.2. 연구 내용 및 목적 ４
• 제 2 장 관련 연구 ７
• 2.1. 포즈 추정 모델 ７
• 2.2. 분류 모델 １１
• 2.3. 실시간 시스템 구현 환경 １６
• 제 3 장 야구 스윙 자동 판정 시스템 １８
• 3.1. 포즈 추정 모델 선정 １８
• 3.2. 데이터 셋 준비 및 전처리 １９
• 3.3. 분류 모델 선정 및 학습 ２１
• 3.4. 제안 시스템 ２４
• 제 4 장 성능 평가 ２９
• 4.1. 실험 환경 ２９
• 4.2. 스윙 판정 성능 ３０
• 4.3. 실시간 처리 성능 ３５
• 제 5 장 결론 및 향후 연구 ３８
• 5.1. 결론 ３８
• 5.2. 향후 연구 ４０
• 참고 문헌 ４１
• ABSTRACT ４２