Quality Assessment of Shine Muscat Grapes Using Multimodal Large Language Model = 멀티모달 대형 언어 모델을 이용한 샤인 머스캣 포도의 품질 평가

국문 초록 (Abstract)

샤인머스캣의 최적 수확 시기 판단은 일반적으로 과실 표면의 색을 차트와 비교하여 수행된다. 생육 중 색 변화가 미묘하고 인간의 색각이 다양하기 때문에, 색만으로는 숙도를 판단하기에 신뢰할 수 없는 지표이다. 선행 연구 에서 ViT 기반 색 추정 모델은 97.2%의 정확도(±0.5 색 단계 이내)를 달성했으나, 2,289명 참가자의 설문 분석 결과 색과 향(r=0.057), 포도 맛의 깊이(r=0.017) 등 인지된 속성 간 약한 상관관계를 보였다. 이러한 결과는 색 기반 수확이 소비자가 인지하는 품질과 일치하지 않을 수 있음을 시사한다.
본 연구는 표준 카메라로 촬영한 포도 송이 이미지로부터 13개 품질 속성을 추정하는 모델을 제안한다. Janus Pro(SigLIP 인코더 + DeepSeek-LLM 디코더)를 파인튜닝하고, 교차 엔트로피 손실만으로는 최빈값 (“3”)을 예측하도록 유도하는 실패 모드를 해결한다. 따라서 수치 오차를 직접 페널티화하는 평균제곱오차 (MSE) 항을 추가한 복합 목적 함수를 도입한다.
3년간의 데이터(2022–2024; 2,289명 참가자)를 사용한 결과, F1은 10/13 속성에서 50%를 초과했고, 4개 속성에서 ≥ 70%에 도달했다(송이 전체 색 100.0, 향 79.1, 포도 맛의 깊이 76.8, 종합평가 및 추천도 79.3). 포도 맛의 깊이에서 복합 손실 모델은 AlexNet 대비 15.8 퍼센트 포인트, MSE 없는 Janus Pro 대비 38.0 포인트 향상되었다. 이러한 결과는 MSE 항을 통합하면 품질 평가를 위한 멀티모달 LLM의 수치 일관성을 개선할 수 있음을 나타낸다. 농장과 계절 간 견고성 검증은 향후 과제로 남는다.

다국어 초록 (Multilingual Abstract)

Determination of optimal harvest timing for Shine Muscat grapes is typically based on surface color compared with a chart. Because color changes during growth are subtle and human color perception varies, color alone is an unreliable proxy for ripeness. In prior work, a ViT-based color-estimation model achieved 97.2% accuracy (within ±0.5 color levels), yet analysis of questionnaires from 2,289 participants showed weak correlations between color and perceived attributes such as Aroma (r=0.057) and Depth of grape flavor (r=0.017). These findings suggest that color-based harvesting may not align with consumer-perceived quality.
This study proposes a model that estimates 13 quality attributes from standardcamera images of grape bunches. We fine-tune Janus Pro (SigLIP encoder + DeepSeekLLM decoder) and address a failure mode whereby cross-entropy loss alone encourages prediction of the modal value (“3”). We therefore introduce a composite objective that adds a mean squared error (MSE) term to penalize numeric error directly.
Using three years of data (2022–2024; 2,289 participants), F1 exceeded 50% for 10/13 attributes and reached ≥ 70% for four (Overall color 100.0, Aroma 79.1, Depth of grape flavor 76.8, Overall evaluation & recommendation 79.3). On Depth of grape flavor, the composite-loss model improved by 15.8 percentage points over AlexNet and 38.0 points over Janus Pro without MSE on our dataset. These results indicate that incorporating an MSE term can improve numeric consistency in multimodal LLMs for quality assessment; validating robustness across farms and seasons is left for future work.

목차 (Table of Contents)

• I. Introduction 1
• 1. Research Background and Objectives 1
• 2. Related Research 5
• 3. Research Overview 8
• 4. Structure of This Paper 11
• II. Deep Learning 14
• 1. Overview of Deep Learning 14
• 1.1. Deep Neural Network (DNN) 14
• 1.2. Activation Functions 16
• 1.3. Loss Functions 19
• 1.4. Learning Methods 21
• 1.5. Learning Techniques 25
• 2. Deep Learning Models 28
• 2.1. Convolutional Neural Network (CNN) 29
• 2.2. You Only Look Once (YOLO) 32
• 2.3. Vision Transformer (ViT) 40
• 2.4. Swin Transformer 46
• 2.5. Multimodal Large Language Models (MLLM) 51
• 2.6. Janus Pro 52
• III. Quality Assessment Method for Shine Muscat Grapes 62
• 1. Processing Flow of Quality Assessment 62
• 2. Bunch Detection 63
• 2.1. Training Data and Training Conditions for Bunch Detection 64
• 3. Quality Assessment 65
• 3.1. Setting Ground Truth Labels 66
• 3.2. Addressing Central Tendency Bias and Binary Classification 66
• 3.3. Training Data for Quality Assessment 67
• IV. Proposed Method 69
• 1. Configuration of Janus Pro 69
• 2. Problems in Initial Training 70
• 3. Learning Method Considering Numerical Error 71
• 3.1. Application of MSE 71
• 3.2. Design of Composite Loss Function 71
• 3.3. Reasons for Selecting MSE 72
• 4. Experimental Setup for Comparative Experiments 73
• 4.1. Baseline Models 73
• 4.2. Training Conditions 75
• 4.3. Evaluation Metrics 75
• 5. Experimental Results 76
• 5.1. Results for All Attributes 76
• 5.2. Effect of Proposed Method 79
• V. Conclusion 80
• 1. Summary of This Thesis 80
• 2. Future Prospects 83