From Defensive Coloration to Pollinator Ecology: Evolutionary and Ecological Insights through Image-Based Deep Learning = 이미지 기반 딥러닝을 활용한 방어색 진화 분석 및 수분 매개자 모니터링

다국어 초록 (Multilingual Abstract)

Images serve as a rich source of biological information and are particularly useful for analyzing the morphology of organisms. With recent technological advances, it has become possible to classify and analyze substantial quantities of image data. Among various approaches, image-based deep learning models have shown remarkable capabilities in classifying and detecting target objects with both speed and accuracy. Prior studies have applied deep learning models to biological images, comparing the performance of different models. However, most of these studies have focused on morphological differences across taxonomic groups, while largely overlooking non-taxonomic features such as defensive coloration strategies.
Therefore, the first objective of this study was to examine whether deep learning models can accurately classify images based on defensive coloration strategies. Using butterfly images collected from North America and Europe, we manually annotated a subset into two categories—cryptic and conspicuous coloration. These annotated images were used to train and test multiple deep learning backbones. Among them, backbone ‘DenseNet201’demonstrated the highest classification performance, achieving a test accuracy exceeding 0.97. The model was then applied to classify the full image dataset, and the resulting coloration labels were used for phylogenetic analyses. Based on phylogenetic analyses, the most ancestral states differed between regions. While hidden coloration appeared to function as an intermediate stage in the transition from conspicuous to cryptic coloration in certain species, its role in the evolutionary pathway was less clear in European species.
While most applications of image-based deep learning in ecology have been limited to static images, with few studies evaluating model performance in continuous video frames. Applying deep learning to such data involves additional difficulties, including variation in image quality and the presence of background noise. Therefore, we additionally examined whether YOLOv8, which has shown strong performance in static images, could maintain its performance when applied to continuous frames. Results showed that model performance was generally lower in video frames than in static images. We further analyzed statistical metrics across taxa to evaluate how video-based monitoring can be optimized for field use. In some videos, applying a confidence score threshold effectively removed a substantial number of false positives. However, the optimal threshold varied across videos, and some true positives were also excluded by the threshold.
This study highlights factors that have been underexplored in the application of deep learning to ecological research. Through two independent studies, we tested the model’s ability to classify images based on non-taxonomic criteria and its robustness in noisy, real-world data such as video. Collectively, our findings suggest that deep learning has the potential to expand its applications within ecology, particularly in large-scale image analysis and automated classification.

국문 초록 (Abstract)

이미지는 생물의 형태를 분석하는 데 유용하며, 생물학적 정보를 풍부하게 담고 있는 중요한 자료원이다. 다양한 기술적 발전으로 인하여 최근에는 방대한 양의 이미지 데이터를 수집하고, 분석하는 것이 가능하다. 이 중에서, 이미지 기반 딥러닝 모델은 객체를 빠르고 정확하게 탐지 및 분류할 수 있어 활용도가 높다. 선행 연구에서는 생물학적 이미지를 분석하기 위해 딥러닝 모델을 적용하고, 여러 모델 간의 성능을 비교해왔다. 그러나 대부분의 연구는 분류군 간 형태적 차이에 초점을 맞추고 있어, 방어색과 같은 비(非)비분류군적 특성에 대해서도 딥러닝 모델이 적절히 분류할 수 있는지는 알려지지 않았다.
따라서 본 연구의 첫 번째 목적은, 딥러닝 모델이 방어색 전략을 기반으로 이미지를 정확하게 분류할 수 있는지를 검토하는 것이다. 북미와 유럽에 서식하는 나비를 '은폐색(cryptic)'과 '눈에 띄는 색(conspicuous)' 두 범주로 분류하였고, 이를 다양한 딥러닝 아키텍처의 학습 및 평가에 활용하였다. 그 결과, 'DenseNet' 모델이 가장 우수한 성능을 보였으며, 테스트 데이터에 대한 정확도(accuracy)는 0.97을 상회하였다. 이후 해당 모델을 전체 이미지 데이터에 적용하여 방어색 유형을 분류하고, 이를 바탕으로 다양한 계통 분석을 수행하였다. 계통 분석 결과, 지역에 따른 나비의 진화 양상의 유사점과 차이점을 파악할 수 있었으며, 특히 본 논무에서는 숨겨진 색채의 진화적 역할에 대해 고찰하였다. 두 지역에서 가장 원시적인 형질은 다르게 추정되었으며, 북미에서는 숨겨진 색채가 일부 종에서 경고색에서 위장색으로 진화하는 과정의 중간단계 역할을 수행하는 것으로 나타났다. 그러나 유럽에서는 진화적 경로에서 숨겨진 색채의 역할이 불분명하였다.
한편, 생태 분야의 이미지 기반 딥러닝 활용은 대부분 개별 이미지에 적용하는 것에 국한되어 있으며, 연속적인 영상 프레임에서의 적용 사례는 많지 않다. 영상 데이터는 프레임별 이미지의 품질 차이가 존재하며, 객체와 배경의 노이즈를 처리하는 것도 어렵다. 이에 본 연구의 두 번째 목적은, 객체 탐지에 우수한 성능을 보이는 YOLOv8 모델이 연속적인 프레임에서도 유사한 수준의 성능을 유지할 수 있는지를 평가하는 것이다. 이를 위해 생태적, 경제적 가치가 높은 수분 매개 곤충의 영상을 촬영하고, 두 조건(이미지와 영상 프레임)에서 탐지 및 분류 정확도를 분석하였다. 그 결과, 동영상 프레임에서는 전반적으로 모델의 성능이 감소하는 경향을 보였다. 또한, 우리는 영상 기반 모니터링이 생태 환경에서 어떻게 최적화될 수 있는지를 평가하기 위해, 분류군별 통계 지표를 추가로 분석하였다. 일부 동영상에서는 신뢰점수(confidence score)의 임곗값을 설정하여 거짓양성들을 상당수 제거할 수 있었으나, 동영상마다 이상적인 신뢰점수 임계점이 달랐으며, 진양성(true positive) 중 일부도 임곗값에 의해 제거될 수 있어서 한계가 존재하였다.
이 연구는 기존의 이미지 기반 딥러닝 연구를 생태학에 접목할 때 충분히 고려되지 않았던 요소들을 다루었다는 점에서 의의가 있다. 두 개의 독립된 연구를 통해 분류군 기반이 아닌 색채 특성에 따른 분류 가능성과, 실제 환경에서 발생하는 노이즈에 대한 모델의 견고성을 검증할 수 있었다. 이를 종합하면, 본 연구의 과정과 결과는 생태학 분야에서 딥러닝의 적용 범위를 확대함으로써, 활용 가능성을 한층 넓힐 수 있음을 시사한다.

목차 (Table of Contents)

• General Abstract ⅰ
• List of Tables ⅳ
• List of Figures v
• General Introduction 1
• Chapter 1. The Evolution for Wing Coloration in Butterflies 4
• Abstract 5
• Introduction 6
• Methods 9
• Results 16
• Discussion 28
• Supplementary 31
• Chapter 2. Automated Video Monitoring of Pollinators Using YOLOv8 82
• Abstract 83
• Introduction 84
• Methods 87
• Results 91
• Discussion 97
• Supplementary 100
• General Conclusion 101
• Bibliography 103
• 국문초록 113
• Acknowledgement 115