Cage-free Broiler Counting and Feeding and Watering Behavior Analysis based on Improved YOLOv5 and Deepsort = 개선된 YOLOv5와 Deepsort 기반의 방사형 육계의 계수와 사료 급이 및 음수 행동 분석

국문 초록 (Abstract)

지능형 육계 농장을 구추하기위해서는 육계의 수를 정확히 파악하는 것이 중요하다. 하지만 방사형 육계 농장은 면적이 넓고, 육계의 수가 많으며, 육계가 자유롭게 이동하기 때문에 육계의 수를 정확히 파악하는데 어려움이 있다. 또한, 육계의 성장과정을 보여주는 중요한 지표인 사료 급이 및 음수 행동 분석에 관한 연구가 부족한 실정이다. 따라서 개선된 YOLOv5 및 Deepsort를 기반으로 육계 계수 및 행동 분석 방법을 제안하고자 한다.
본 연구에서는 육계사 천장에 설치된 CCTV 카메라 2대를 이용하여 데이터 수집과 실시간 모니터링을 수행하였다. 영상 데이터의 다양성과 육계 모니터링의 신뢰성을 보장하기 위해 육계 성장 단계별로 다양한 영상을 수집하였으며, 모델 검증을 위해 새로운 데이터 세트도 확보하였다. 여러 멀티뷰 영상으로 구성된 파노라마 이미지를 사용하여 전체 육계사 영역을 커버하는 영상을 얻었다. 이는 다중 객체 추적을 기반으로 하는 육계 계수 방법과 비교하였을 때 육계의 이동성과 외관의 유사성으로 인해 발생하는 계수 오류를 크게 줄일 수 있었다. 또한, YOLOv5를 위한 선행 프레임워크를 설계하고, 슬라이딩 윈도우와 가중 병합 NMS를 적용하여 작은 물체에 대한 감지 성능을 향상시켰다. 개선된 방법을 적용한 육계 계수에 대한 테스트 결과는 Accuracy, Recall, F1-score가 각각 0.2%, 10.3%, 7.3% 향상되었음을 보여주었다. 특히 육계 계수 결과는 카메라로부터 멀리떨어져 있으며 비교적 좁은 공간에 많은 육계가 밀집해 있는 모서리 부분에서 정확도가 평균 17.5% 향상되었음을 보여주었다. 또한 YOLOv5와 Deepsort 알고리즘을 결합하여 육계의 다중 객체를 추적할 수 있었으며, 이를 기반으로 육계의 사료 급이 및 음수 행동을 분석하는 다중 매개 변수 융합 방법을 설계하였다. 또한, ShuffleNetV2를 사용하여 Deepsort 알고리즘의 특성 추출 모델 성능을 개선하였다. 그 결과 훈련 및 테스트 데이터 세트에서 정확도가 각각 0.05%와 4.93% 향상되었다.
육계의 계수 결과를 기반으로 육계의 밀도와 분포도를 분석하였다. 육계의 분포도는 육계사의 환경변화를 반영할 수 있으므로 육계의 분포도 분석을 통해 육계사의 환경 조성을 시의적절하게 조정할 수 있다. 육계의 성장 단계별로 사료 급이와 음수 행동을 분석하는 것은 육계의 성장과 건강 상태를 평가하는데 매우 유용하다. 육계가 성장할수록 육계의 사료 급이와 음수 기간은 증가하였으나, 사료 급이와 음수 빈도 수는 반대로 감소하였다
향후 멀티센서와 컴퓨터 비전 기술을 통합해 육계 모니터링 결과를 더욱 개선할 예정이다. 또한, 육계사 내부 환경 개선에 도움이 될 수 있도록 육계사 바닥 오염도를 정량화하여 농가 경영 효율성과 수익성을 높이고자 한다.

다국어 초록 (Multilingual Abstract)

Broiler counting is a crucial task to achieve intelligent broiler farming, which is especially difficult due to the large area of cage-free broiler farms, the large number of broilers, and the free movement of broilers. In addition, broilers' feeding and watering behavior as a significant indicator of the broiler growth process is lacking relevant research. Therefore, we propose a method for broiler counting and behavior analysis based on improved YOLOv5 and Deepsort.
In this study, we used two CCTV cameras mounted on the poultry farm ceiling for data acquisition and real-time monitoring. To ensure the diversity of the dataset and the reliability of broiler monitoring, we collected images of different broiler growth stages and produced a new broiler detection dataset and a broiler behavior analysis dataset. We used a panorama image stitched by multiple multi-view images to cover the whole farm area for broiler counting. Compared with the counting method based on multi-object tracking, this method greatly reduces the counting errors caused by the movement of broilers and the similarity of appearance features. Besides, we designed a new prediction head for YOLOv5 and applied sliding window detection and weighted merge NMS to enhance small object detection performance. The test results on our broiler dataset show that the improved algorithm's Accuracy, Recall, and F1-score improved by 0.2%, 10.3%, and 7.3%, respectively. The counting result shows that the small and crowded broiler detection accuracy at the corner of the panorama was improved by an average of 17.5%. We also combined YOLOv5 and Deepsort algorithm to achieve multi-object tracking of broilers. Based on the broiler multi-objective tracking results, we designed a multi-parameter fusion method to analyze broilers' feeding and drinking behavior based on bounding boxes. In addition, we use ShuffleNetV2 to improve the feature extraction model for the Deepsort algorithm. The results in an accuracy improvement of 0.05% and 4.93% on the training and test sets, respectively.
We also analyze the density and distribution information of the broiler based on broiler counting results. Broiler distribution analysis can reflect changes in the farm's environment so that farmers can adjust the farm's environment in time according to the results of the distribution analysis of broilers. Analysis of different ages of broilers' feeding and watering behavior can also further help farmers evaluate broilers' growth and health status. In addition, broiler age showed a strong positive correlation with broiler feeding and watering duration but a strong negative correlation with feeding and watering frequency.
In the future, we will integrate multi-sensor and computer vision technologies to improve broiler monitoring results further. In addition, we will quantify farm ground contamination to help improve the internal environment of poultry farms, thereby increasing farm management efficiency and profitability.

목차 (Table of Contents)

• Abstract 1
• 1. Introduction 3
• 1.1 Background 3
• 1.2 Literature Review 4
• 1.3 Objectives 9
• 2. Broiler Counting based on Object Detection using Stitched Panorama 10
• 2.1 Summary 10
• 2.2 Introduction 10
• 2.3 Materials and Methods 13
• 2.3.1 Hardware system 13
• 2.3.2 Single Shot Image Collection 17
• 2.3.3 Panorama Stitching and Optimization 17
• 2.3.4 Broiler Counting Algorithm 20
• 2.3.4.1 Advantage of YOLOv5 Algorithm 21
• 2.3.4.2 Improvement of Small Object detection ability using Slice Detection 23
• 2.3.4.3 Improvement of Candidate BBox Filter using Weight Merge-NMS 24
• 2.3.4.4 Training device and evaluation metrics 26
• 2.4 Results and Discussion 27
• 2.4.1 Broiler Detection Model Training Result 27
• 2.4.2 Broiler Counting Result 30
• 2.4.3 Analysis of Broiler Distribution and Density 32
• 2.5 Conclusions 32
• 3. Broiler Feeding and Watering Behavior Analysis 34
• 3.1 Summary 34
• 3.2 Introduction 34
• 3.3 Materials and Methods 36
• 3.3.1 Data Collection 36
• 3.3.2 Broiler Feeding and Watering Behavior Analysis Algorithm 40
• 3.3.3 Determination of Feeding and Watering behavior using Multi Parameter Fusion Method 45
• 3.4 Results and Discussion 47
• 3.4.1 Detection and Tracking Model Training Result 47
• 3.4.2 Comparison of Different Feature Extraction Models 48
• 3.4.3 Feeding and Watering Behavior Duration Analysis 51
• 3.5 Conclusions 54
• 4. Conclusion and Future Work 55
• 4.1 Conclusion 55
• 4.2 Future Work 56
• Reference 57
• 국문 초록 61
•