조파식 마늘 파종기를 위한 YOLO11n 기반 실시간 작업 모니터링 및 맵핑 시스템 개발 = Development of a YOLO11n-Based Real-Time Monitoring and Mapping System for a Sowing-Type Garlic Planter

다국어 초록 (Multilingual Abstract)

Seeding is the first and one of the most critical operations in crop production, as it directly affects all subsequent field processes. This study proposes a real-time seeding monitoring and mapping system for a sowing-type garlic planter that detects seeding events—single seeding, missing seeding, and double seeding—during operation and visualizes their spatial distribution by integrating GNSS-based position information. A hardware platform consisting of an RGB camera, a GNSS receiver, and an embedded PC was developed, and a lightweight YOLO11n-based object detection model was implemented to perform real-time, row-wise detection of garlic seeding events. For seeding position estimation, an algorithm was proposed that integrates the longitudinal front offset between the camera detection point and the actual seed discharge location, row-wise lever arms derived from the planter geometry, and GNSS-derived position and heading information to estimate seeding locations in a local ENU coordinate frame. Detected seeding events and estimated positions were discretized into grid cells of 1 m × 0.14 m, enabling intuitive visualization of missing and double seeding patterns along the travel direction and across planter rows. The developed GUI displays real-time cumulative counts of single, missing, and double seeding events for each row during operation, and automatically generates CSV logs and seeding maps after completion, supporting both real-time monitoring and post-operation analysis. System performance was evaluated using field video data acquired during actual garlic seeding operations, including quantitative assessment of seeding event detection accuracy and validation of position estimation accuracy based on ground-truth measurements obtained after removing soil cover over an approximately 16 m test section of a single row. Among multiple YOLO families (YOLOv8/10/11/12) and model sizes evaluated, YOLO11n was selected as the final model, achieving real-time performance of 25.6 FPS on a Jetson TX2 while maintaining high precision and recall. In a camera-based validation test, the estimated seeding positions exhibited a mean deviation of −0.25 cm from the theoretical 100 cm spacing. The estimated in-row seeding spacing showed an MAE of 4.11 cm, an RMSE of 5.12 cm, and a correlation coefficient of r = 0.9819 compared with tape-measured ground truth. Furthermore, field evaluation over 384 bucket slots yielded F1-scores of 0.973 for single seeding and 0.954 for missing seeding, with an overall accuracy of 96.6%. In conclusion, the proposed real-time seeding monitoring and mapping system provides a practical framework for spatially quantifying garlic seeding quality by integrating vision-based event detection with GNSS-based position estimation, and demonstrates strong potential for future applications in planter setup optimization, operation history management, and precision agriculture decision support.

국문 초록 (Abstract)

파종은 농작업의 첫 번째 단계로, 이후 진행되는 모든 공정에 큰 영향을 미친다는 점에서 중요한 의미를 지닌다. 본 연구의 목적은 조파식 마늘 파종기의 작업 중 파종량, 결주, 2립 발생을 실시간으로 감지하고, 이를 GNSS 기반 위치 정보와 결합하여 공간 분포를 시각화할 수 있는 실시간 파종 모니터링 및 맵핑 시스템을 제안한다. 이를 위해 RGB 카메라, GNSS 모듈, 임베디드 PC로 구성된 하드웨어 플랫폼을 구축하고, YOLO11n 기반 경량 객체 인식 모델을 활용하여 마늘 파종 이벤트(단립, 결주, 2립)를 열(row)별로 실시간 검출하는 알고리즘을 구현하였다. 파종 위치 추정에서는 카메라 인식 시점과 실제 종자 토출 위치 간 전방 오프셋, 파종기 구조에 따른 열별 레버 암, GNSS로부터 획득한 위·경도 및 진행 방향 정보를 통합하여 ENU 평면 좌표계 상에서 파종 위치를 추정하는 알고리즘을 제안하였다. 검출된 파종 이벤트와 추정된 위치는 1 m × 0.14 m 크기의 격자로 이산화하여, 작업 진행 방향 및 파종기 폭 방향에 따른 결주 및 2립 분포를 한눈에 파악할 수 있는 파종 지도로 변환하였다. 개발한 GUI는 작업 중 각 열별 누적 파종량, 결주, 2립 발생 정보를 화면 하단에 실시간 표시하고, 작업 종료 후에는 CSV 로그와 파종 지도를 자동 생성하여 실시간 모니터링과 사후 분석을 동시에 지원하도록 설계하였다. 제안 시스템의 성능 평가는 실제 마늘 파종 작업 영상을 대상으로 한 파종 이벤트 검출 정확도 평가와, 단일 파종열 약 16 m 구간에서 복토를 제거해 계측한 기준 자료와의 비교를 통한 위치 추정 정확도 평가로 수행하였다. YOLOv8/10/11/12 계열과 다양한 모델 크기에 대해 YOLO 기반 객체 검출기를 비교·평가한 결과, Jetson TX2 임베디드 환경에서 정밀도와 재현율을 유지하면서 25.6 FPS의 실시간 성능을 달성한 YOLO11n을 최종 모델로 선정하였다. 파종 위치는 카메라 검출 검증 시험에서 이론적 간격 100 cm 대비 평균 편차 −0.25 cm를 보였다. 추정된 열내 파종 간격은 줄자 측정 기준값과 비교하여 MAE 4.11 cm, RMSE 5.12 cm, 상관계수 r = 0.9819를 나타냈다. 또한 384개 버킷 슬롯을 대상으로 한 현장 평가에서 단립과 결주의 F1-스코어는 각각 0.973과 0.954, 전체 정확도는 96.6%로 확인되었다. 종합하면, 본 연구에서 개발한 조파식 마늘 파종기용 실시간 파종 모니터링 및 맵핑 시스템은 영상 기반 파종 이벤트 검출과 GNSS 기반 위치 추정을 결합함으로써 마늘 파종 작업 품질을 공간적으로 정량화할 수 있는 프레임워크를 제시하였으며, 향후 파종기 세팅 최적화, 작업 이력 관리 및 정밀 농업 의사결정 지원 기술로 확장될 수 있는 가능성을 보여준다.

목차 (Table of Contents)

• 제 1 장 서론 1
• 제 1 절 연구배경 1
• 제 2 절 연구목적 5
• 제 3 절 문헌 조사 및 선행 연구 6
• 1. 광학 기반 시드 센서 기반 연구 6
• 2. 압전, 스트레인 센서 기반 연구 9
• 3. 파종 맵핑, 파종 깊이, 주간 거리 관한 연구 9
• 4. 결주 검출 및 작업 품질 요인 연구 11
• 5. 작물, 기종 특화 정밀 파종 기술 리뷰 11
• 6. 영상(딥러닝) 기반 연구 12
• 제 2 장 재료 및 방법 14
• 제 1 절 파종 모니터링 시스템 구성 14
• 1. 하드웨어 구성 14
• 2. 파종 작업 모니터링 시스템 워크플로우 17
• 제 2 절 데이터셋 구축 및 객체 인식 모델 19
• 1. 영상 데이터 수집 및 데이터 구축 19
• 2. 객체 인식 모델 구성 및 학습 24
• 제 3 절 파종 이벤트 검출 알고리즘 26
• 1. 프레임 단위 열별 검출 알고리즘 26
• 2. 비검출 구간 기반 파종 구간 분할 29
• 3. 파종 이벤트 단위 (단립/2립/결주) 분류 32
• 제 4 절 GNSS 기반 파종 위치 추정 및 맵핑 알고리즘 34
• 1. GNSS/IMU 융합 데이터 수신 및 전처리 35
• 2. 전역 좌표계를 로컬 좌표계로 변환 37
• 3. 파종기 기준점 및 열(row) 간 오프셋 보정 40
• 4. 파종 이벤트 기반 파종 지도 45
• 제 5 절 현장 평가 47
• 제 3 장 결과 및 고찰 49
• 제 1 절 객체 인식 모델 평가 49
• 1. YOLO 모델 별 비교 및 선정 49
• 제 2 절 파종 위치 추정 알고리즘 평가 51
• 1. 기계적 파종 간격 기반 전방 오프셋 검증 51
• 2. 파종 위치 추정 알고리즘 평가 53
• 제 3 절 파종 이벤트 검출 알고리즘 평가 56
• 제 4 절 파종 지도 생성 및 실시간 모니터링 60
• 제 4 장 결론 62
• 참고문헌 64
• Abstract 70