다중 시점 객체탐지와 시계열 예측을 융합한 디지털 트윈 기반 지능형 한우 사육 관리 통합시스템 = Digital Twin-based Intelligent Integrated System for Cattle Management Fusing Multi-view Object Detection and Time-series Forecasting

국문 초록 (Abstract)

본 연구에서는 다중 시점 객체탐지와 시계열 예측 모델을 융합한 디지털트윈 기반 한우 지능형 사육 관리 통합시스템을 제안하였다. 본 시스템의 목적은 실제 축사 환경에서 수집된 영상과 생체·환경 데이터를 인공지능기반으로 실시간 분석하여, 한우 개체의 성장 상태와 이상행동을정량적으로 예측하고 이를 디지털 트윈 환경에 반영함으로써 축산 관리의자동화와 지능화를 실현하는 데 있다. 제안된 시스템은 객체탐지, 시계열예측, 디지털 트윈 시각화, 액티브러닝 기반 피드백 학습의 네 가지 기능모듈을 상호 연계하여, 자율 의사결정과 적응형 학습이 가능한순환형(Closed-loop) 관리 구조로 구현되었다. 객체탐지 모듈은 상단·좌측·우측의 세 방향 카메라를 활용한 다중 시점정합 구조를 통해 가림과 중첩이 빈번한 축사 환경에서도 안정적인 탐지성능을 확보하였다. YOLOv8(You Only Look Once, Version 8)과Mask-RCNN(Mask Region-Based Convolutional Neural Network)을삼각측량 기반으로 결합하여 개체의 위치를 3차원 공간에서 정밀하게추정하였으며, 단일 시점 대비 높은 정합 정확도를 달성하였다. 시계열예측 단계에서는 LSTM(Long Short Term Memory)과 트랜스포머(Transformer) 모델을 적용하여 체중 및 환경 데이터를 기반으로 성장 추세와 이상행동 발생 확률을 예측하였다. 트랜스포머 기반구조는 시계열 상의 장기 의존성을 효과적으로 학습하여 RMSE(RootMean Square Error)를 11.3% 감소시키고 결정계수(R²)를 0.971까지향상시켰다. 디지털 트윈 시각화 모듈은 Unity3D 엔진을 기반으로 구축되어, 실제축사 내 개체의 움직임·성장곡선·이상행동 탐지 결과를 3차원 가상공간에서 실시간으로 재현하였다. 평균 34FPS의 프레임 속도와 38ms의처리지연을 유지함으로써 실시간 운영 성능을 확보하였으며, 관리자는 가상환경에서 개체별 상태를 직관적으로 모니터링하고 급유량 조정이나 환경제어를 즉시 수행할 수 있었다. 또한 액티브러닝 기반 피드백 학습 구조를통해 관리자의 판단 정보를 재학습 데이터로 반영함으로써 모델의 지속적개선이 가능해졌으며, 예측 정확도는 1.1% 향상되고 이상행동 탐지정확도는 3.2%p 증가하였다. 이와 같은 통합적 접근을 통해 본 연구는 데이터 수집–예측–시각화–피드백–재학습으로 이어지는 자율형 디지털 트윈 관리구조를 완성하였다. 이를 통해 실제 축사 환경에서 인공지능 모델이실시간으로 작동 가능한 자가 학습형 축산 관리 시스템의 가능성을실증적으로 검증하였다. 본 연구에서 제안한 시스템은 향후 플라즈마 기반위생 제어, 다축종 확장, 클라우드·엣지 분산 처리 구조와의 융합을 통해발전될 수 있으며, 궁극적으로 지속가능하고 데이터 기반의 지능형 축산생태계 구축에 기여할 것으로 기대된다.

다국어 초록 (Multilingual Abstract)

This dissertation proposes an integrated intelligent livestock management system that fuses multi-view object detection, biometric time-series prediction, and digital twin technology to improve the precision and automation of Korean native cattle (Hanwoo) management. The system is designed to analyze real-time video, biometric, and environmental data collected from an actual cattle shed, predict individual growth trajectories and abnormal behaviors, and synchronize these results with a virtual twin model. The multi-view object detection module utilizes a tri-camera configuration—top, left, and right perspectives—to address frequent occlusion, illumination imbalance, and object overlap in complex barn environments. By integrating YOLOv8 and Mask-RCNN with triangulation-based 3D coordinate estimation, the system achieves high detection robustness and significantly improves spatial localization accuracy compared to single-view methods. For predictive modeling, LSTM and Transformer architectures are employed to analyze longitudinal biometric and environmental data. The Transformer model, in particular, demonstrates superior capability in capturing long-term dependencies, reducing RMSE by 11.3% and increasing R² to 0.971. These predictions enable early detection of abnormal behaviors, growth stagnation, and stress-induced anomalies. A real-time 3D digital twin environment, developed using Unity3D, visualizes cattle movements, growth curves, excretion patterns, and behavioral anomalies. Operating at an average of 34 FPS with a latency of 38 ms, the digital twin supports immediate managerial decisions, allowing the operator to adjust feeding levels and environmental controls. The system further integrates active learning to incorporate expert feedback into the prediction loop. Samples with high model uncertainty are selectively relabeled by a human supervisor and re-introduced into the training set, improving model adaptability. This mechanism enhances prediction accuracy by 1.1% and abnormal-behavior detection performance by 3.2 percentage points. Additionally, the system incorporates a plasma-based sanitation module for smart calf-feeding operations, enabling automatic water sterilization and hygiene management based on real-time contamination indicators. The overall framework forms a self-evolving, closed-loop management system encompassing data acquisition, prediction, visualization, feedback, and re-training. This research demonstrates the practical feasibility of a real-time, data-driven, and continuously learning smart livestock management system. The proposed approach is expected to contribute to the development of sustainable and intelligent cattle-farming ecosystems through future integration with multi-species expansions, distributed architectures, and advanced hygiene-control technologies, edge–cloud architectures, and advanced hygiene-control technologies.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1.1 연구 배경 1
• 1.2 연구 목적 및 범위 5
• 1.3 논문의 구성 9
• Ⅱ. 관련 연구 및 동향 11
• 2.1 객체탐지와 다중 시점 융합 기술 11
• 2.2 시계열 예측과 생체 데이터 분석 동향 16
• 2.3 디지털 트윈과 축산 스마트팜 24
• 2.4 인공포유 시스템과 위생 관리 기술 28
• Ⅲ. 연구 방법론 34
• 3.1 연구 개요 34
• 3.2 다중 시점 객체탐지 및 정합 구조 설계 35
• 3.3 시계열 예측 기반 성장 및 이상행동 분석 40
• 3.4 디지털 트윈 아키텍처 설계 45
• 3.5 스마트 인공포유 시스템 및 위생 관리 49
• 3.6 액티브러닝 기반 의사결정 지원 54
• Ⅳ. 시스템 설계 및 구현 59
• 4.1 시스템 설계 개요 59
• 4.2 데이터 수집 및 관리 62
• 4.3 데이터베이스 및 ERD 설계 68
• 4.4 데이터 처리 및 정규화 구조 72
• 4.5 시뮬레이션 및 시계열 예측 구조 77
• 4.6 디지털 트윈 기반 사용자 인터페이스 설계 81
• 4.7 시스템 흐름도 87
• 4.8 구현 환경 및 최적화 90
• Ⅴ. 분석 및 검증 95
• 5.1 분석 개요 95
• 5.2 데이터셋 구성 및 실험 환경 97
• 5.3 다중 시점 객체탐지 성능 분석 102
• 5.4 시계열 예측 성능 분석 104
• 5.5 디지털 트윈 통합 모듈 평가 107
• 5.6 액티브러닝 기반 의사결정 지원 111
• Ⅵ. 결론 및 향후 연구 114
• 6.1 연구 요약 및 기여 114
• 6.2 연구의 한계 116
• 6.3 향후 연구 방향 117
• 6.4 결론 119