Food ViTCoNER: A Hybrid Deep Learning Approach Combining Transformers and Convolutions for Precise Food Recognition and Dietary Assessment.

국문 초록 (Abstract)

음식 이미지 인식은 영양 중심 플랫폼에서 다양한 응용 가능성을 가진 계산 요리학(Computational Gastronomy)의 핵심 요소로 자리잡고 있다. 합성곱 신경망(CNN)은 지역적 계층적 특징을 효과적으로 포착할 수 있 지만, 장거리 의존성과 전역적 특징 추출에는 한계를 보인다. 이를 보완 하기 위해 최근에는 트랜스포머(Transformer) 기반의 아키텍처가 활용 되고 있다. 시각적 분석뿐만 아니라 사용자 생성 음식 관련 텍스트를 이 해하고, 지능형 맞춤형 식이 추천을 제공하는 것 또한 종합적인 영양 솔 루션에 있어 필수적인 요소이다. 본 연구는 이를 해결하기 위해 자연어 처리(NLP) 기술, 특히 개체명 인식(Named Entity Recognition, NER) 기 법과 맞춤형 추천 시스템을 통합한 접근 방식을 제안한다. 제안된 모델 은 CNN과 비전 트랜스포머(ViT)를 결합한 하이브리드 구조로, 지역 특 징 추출을 위해 ResNet50을 사용하고, 전역 특징 추출 및 분류는 멀티 헤드 어텐션과 사전 학습된 완전 연결층을 활용한 ViT 인코더를 통해 수행된다. 비정형 텍스트에서 음식 관련 개체를 추출하기 위해 어텐션 기반 양방향 LSTM(Attention-BiLSTM) 모델이 활용되었다. 또한, 본 연구는 사용자 건강 기록(예: 알레르기, 식이 제한, 만성 질환 등)과 영 양 정보를 바탕으로 콘텐츠 기반, 협업 기반, 지식 기반 필터링을 결합한 하이브리드 추천 시스템을 개발하여 개인 맞춤형 식단 추천을 제공하였 다. 다섯 개의 다양한 음식 이미지 데이터셋을 활용한 실험 결과, 제안된 모델은 기존 방법들에 비해 우수한 성능을 보였으며, 결합된 통합 데이 터셋에서도 뛰어난 일반화 성능과 견고성을 입증하였다. NER 모델은 비 정형 텍스트로부터 음식 관련 용어를 높은 정확도로 식별하였고, 추천 시스템은 사용자 선호도와 건강 정보를 반영한 맞춤형 레시피 추천에 효 과적이었다. 이 통합 시스템은 모바일 애플리케이션으로 배포되어 음식 인식, 영양 분석, 음성 기록, 맞춤형 식이 추천 기능을 지원한다. 본 연구 는 시각 및 텍스트 기반 딥러닝의 융합이 개인 맞춤형 영양 분야에서 가 지는 잠재력을 입증하였으며, 인공지능 기술이 영양 과학의 발전에 미치 는 혁신적 가능성을 강조한다.

다국어 초록 (Multilingual Abstract)

Food image recognition plays a vital role in computational gastronomy with numerous applications in nutrition-focused platforms. While Convolutional Neural Networks (CNNs) effectively capture local hierarchical features, they often fail in handling long-range dependencies and global feature extraction, prompting the use of transformer architectures. In addition to visual analysis, understanding user-generated food-related text and offering intelligent personalized dietary recommendations are essential for comprehensive nutritional solutions. To address this, the study integrates Natural Language Processing (NLP) techniques, specifically Named Entity Recognition (NER), and a personalized recommendation system. The proposed approach also combines CNNs and Vision Transformers (ViTs), using ResNet50 for local feature extraction and a ViT encoder for global feature extraction and classification via multi-head attention and pre-trained fully connected layers. An Attention-BiLSTM model was used for NER to extract food-related entities from unstructured text. A hybrid recommendation system, incorporating content-based, collaborative and knowledge-based filtering, was developed using nutritional information, and user health records (e.g., allergies, dietary restrictions, chronic conditions) to deliver personalized dietary recommendations. Experiments on five diverse food image datasets confirmed superior performance over existing methods, with enhanced generalizability and robustness on all plus our combined dataset. The NER model showed high accuracy in identifying food terms from unstructured text. The recommendation system effectively provided personalized recipe recommendations aligned with user preferences and dietary needs. The integrated system was deployed in a mobile app that supports food recognition, nutritional analysis, voice logging, and personalized diet recommendations. This research highlights the combined strength of visual and textual deep learning in advancing personalized nutrition and underscores the transformative potential of AI in nutritional science.

목차 (Table of Contents)

• List of Figuresiii
• List of Tables.iv
• Acknowledgmentv
• 국문초록 (Korean Abstract)vi
• ABSTRACTviii
• List of Scientific Papers.x
• Chapter I. Introduction 1
• 1 Overview 1
• 2 Motivation 5
• 3 Aim and Objectives 6
• 4 Research Questions. 8
• 5 Scope and Significance of the Study 8
• 6 Thesis Organization 9
• Chapter II. Background 10
• 1 The Importance of Food Recognition in Nutrition and Health. 10
• 2 Food Recognition Using Deep Learning 11
• 3 Supervised Learning Methods 11
• 4 Named Entity Recognition (NER) for Nutritional Data 12
• 5 Recommendation Systems in Personalized Nutrition 13
• Chapter III. Literature Review 14
• 1 Food Recognition 14
• 2 Name Entity Recognition 17
• 3 Recommendation systems 19
• Chapter IV. Materials, Method and Results 23
• 4.1 Data Preparation. 23
• 4.1.1 Dataset Selection and Preprocessing 23
• 4.2 Model Architecture 30
• 4.2.1 Vision Transformer (ViT) 30
• 4.2.1.1 Patch Embedding 31
• 4.2.1.2 Transformer Encoder. 32
• 4.2.1.3 Classification Head 34
• 4.2.2 Transfer Learning. 34
• 4.2.2.1 Pre-Trained Models Used. 35
• 4.2.2.2 Model Initialization with Pre-Trained Weights 37
• 4.2.2.3 Fine-Tuning Process. 38
• 4.2.3 Personalized Recommendation 42
• 4.2.3.1 User-Based Collaborative Filtering 43
• 4.2.3.2 Health Personalized Recommendation Method 45
• 4.2.3.3 Weekly Meal Planning. 46
• 4.2.3.4 Recipe Information 47
• 4.2.3.5 Dynamic Adaptation Features 47
• 4.3 Training Procedure 48
• 4.3.1 Distributed Training 49
• 4.3.2 Mixed Precision Training 49
• 4.3.3 Training Loop 49
• 4.4 Results and Discussion 50
• 4.4.1 Experimental Setup. 50
• 4.4.1.1 Environment 50
• 4.4.1.2 Evaluation Metrics 51
• Chapter V. Discussion and Conclusion. 60
• Chapter VI. Research Summary and Future Direction 62
• Bibliography 64