A novel plant disease recognition pipeline using object detection and image retrieval

Helin Yin,Dong Jin,Ri Zheng,Ji-Min Lee,Yeong Hyeon Gu 한국차세대컴퓨팅학회 2023 한국차세대컴퓨팅학회 학술대회 Vol.2023 No.12

Crop diseases and pests are one of the agricultural disasters that adversely affect the yield and quality of crops. To prevent and control them, many researchers have been working on deep learning-based disease and pest recognition. Most of these studies use classification techniques to output one class with the highest probability from a predefined list of pests. However, the accuracy of classification models is not perfect, and they can produce enough incorrect results to require additional aids. In this study, we proposed a novel disease and pest diagnosis pipeline that combines object detection with a similarity-based retrieval model. In our proposed pipeline, we first detect the damaged region in the image and then classify the class to which it belongs. In the similarity-based retrieval model, the detected region image can be used to further show the user the most similar damage symptom images to help them make a final decision. The pipeline proposed in this study was first applied to three diseases: fire blight, scab, and black necrotic leaf spot.

모바일 기반 농작물 병해충 진단 및 처방 시스템 설계

윤학림(Helin Yin),유성준(Seong Joon Yoo),강지연(Zhiyan Jiang),정원희(Won Hee Chung),박철호(Zhegao Piao),구영현(Yeong Hyeon Gu) 대한전자공학회 2016 대한전자공학회 학술대회 Vol.2016 No.6

지속적인 기후 변화 및 외래 병해충으로 인해 농작물의 손실이 날로 증가하고 있다. 그러나 이런 농작물 재배 현장형 병해충 진단 및 처방 정보를 제공하는 시스템이 많이 부족한 상황이다. 이러한 문제점을 해결하기 위해 본 논문에서는 재배 현장에서 바로 사용될 수 있는 병해충 진단 및 처방 시스템을 설계하였다. 설계한 시스템에서는 병해충 이미지를 자동으로 인터넷을 통해 수집하고 전문가가 참여하는 이미지 검수 시스템을 거쳐 해당 병해충 이미지들의 신뢰도를 향상시킨다. 그리고 이미지 유사도 기반 검색 시스템과 영상인식 기술 및 머신러닝 기법을 사용하여 해당 병해충 이미지의 인식 속도와 인식 정확도를 향상시킨다. 또한 이 모든 동작들은 앱(App)에서 실행할 수 있으며 이는 재배 현장에서 진단 및 처방 정보를 바로 가져올수 있다는 장점이 있다. 그리고 더 많은 농민들에게 보다 신속하고 정확한 병해충 정보를 제공해줌으로서 병해충에 의한 경제 손실을 최소화하는 효과를 기대할 수 있다.

유사도 기반 병해충 검색 모델에 대한 검증 연구

Ri Zheng,Dong Jin,Helin Yin,구영현,유성준 한국차세대컴퓨팅학회 2022 한국차세대컴퓨팅학회 학술대회 Vol.2022 No.05

농작물 병해충은 심각한 농업재해 중 하나로 농작물의 생산량과 품질에 큰 영향을 미치고 있다. 이는 병해충의 예방과 방제를 통해 농장에 대한 손해와 경제적 손실을 최소화할 수 있다. 병해충의 예방과 방제를 위해 최근 딥러닝 기반 병해충 인식 연구들이 많이 진행되고 있다. 그 중 대부분 연구에서는 분류(Classification) 기법을 주로 사용하고 있다. 분류 기법에서는 가장 확률이 높은 값을 가지는 하나의 클래스를 출력한다. 하지만 분류 모델의 성능이 100%가 아니기 때문에 충분히 잘못된 결과를 출력할 수 있다. 이러한 문제점을 해결하기 위해 Yin et al. [1]에서 여러 장의 병해충 이미지를 출력하는 유사도 기반 병해충 이미지 검색 모델을 제안했다. 본 연구에서는 Yin et al. [1]에서 제안한 병해충 이미지 검색 모델을 사과, 배추, 감귤 등 10종 작물, 50종 병해충 데이터 셋에 적용해 모델의 성능을 검증했다. 실험 측정 결과 병해충 이미지 검색 모델은 약 83.20%~99.71%의 유사 정확도를 보였다.

병해충 이미지의 데이터 셋과 증강에 대한 최근 동향 조사

이지민,YIN HELIN,Ri Zheng,Dong Jin,구영현,유성준 한국차세대컴퓨팅학회 2022 한국차세대컴퓨팅학회 학술대회 Vol.2022 No.05

병해충으로 인한 피해가 날이 갈수록 커지고 있다. 특히 고위험 문제 병해충의 피해를 최소화하기 위해서는 병해충의 빠른 진단은 필수이다. 최근 인공지능 기술의 발전으로 많은 병해충 진단 연구에서는 딥러닝 기술을 사용하고 있다. 하지만 병해충은 계절성을 띄고 있고 정확한 병해충 이미지를 수집하기 위해서는 전문가의 도움이 필요하기 때문에 정확한 병해충 이미지 수집에 한계가 있다. 부족한 병해충 이미지를 늘리기 위해 본 논문에서는 현재 제공되고 있는 병해충 이미지 데이터 셋과 최신의 데이터 증강(Data Augmentation) 연구를 조사했다.

Study on Image Augmentation of Leaf Images with Fire Blight Using Paired Dataset and CycleGAN

Ri Zheng,HeLin Yin,Dong Jin,JiMin Lee,Yeong Hyeon Gu,Seong Joon Yoo 한국차세대컴퓨팅학회 2022 한국차세대컴퓨팅학회 학술대회 Vol.2022 No.10

Fire blight is a kind of bacterial disease, which particularly gives serious damage to apples and pears. There is no clear cure for fire blight until now and its infectious speed is fast. Thus, damage due to fire blight should be minimized through early diagnosis. With the development of artificial intelligence in recent years, deep learning has been widely used in the agricultural field. As already known, a deep learning model needs a large number of training datasets. However, fire blight does not occur frequently. Thus, the number of their datasets is very insufficient. To increase this insufficient number of datasets, a data augmentation method in relation to fire blight has been previously conducted but it failed to accurately generate images of fire blight symptoms. In this study, CycleGAN was used to generate accurate fire blight leaf images, and an unpaired dataset, which was used previously by default, was converted into a paired dataset, in which leaves were placed in the same direction. As a result, accurate fire blight leaf images were still not generated when an unpaired dataset was used, but when a paired dataset was used, images with accurate fire blight symptoms were generated.

Mobile-DeepLabv3+를 이용한 과수화상병 및 유상 질병 진단

Dong Jin,Helin Yin,Ri Zheng,이지민(Ji-Min Lee),유성준(Seong Joon Yoo),구영현(Yeong Hyeon Gu) 대한전자공학회 2023 대한전자공학회 학술대회 Vol.2023 No.6

Fire blight is a highly contagious disease that currently lacks effective treatment. Therefore, prevention and early diagnosis are crucial to minimize damage. To enable efficient diagnosis of fire blight and similar diseases, a lightweight model called Mobile-DeepLabv3+ was utilized. Mobile-DeepLabv3+ is a model that replaces the ResNet-101 backbone of the DeepLabv3+ image segmentation model with MobileNetV2. A dataset comprising 1,257 images of fire blight and similar diseases, including black necrotic leaf spot and scab, was collected, and used to train the Mobile-DeepLabv3+ model. 1 The performance of the model was measured for each disease and compared with that of the Mask R-CNN and DETR models used in previous studies on fire blight image segmentation. The experimental results demonstrated that Mobile-DeepLabv3+ achieved the highest image segmentation performance (72.66% mIoU) among the three tested models, utilizing the least number of parameters.

농작물 병증 분할을 위한 Mask R-CNN 및 Detection Transformer의 성능 비교

Dong Jin,Helin Yin,Ri Zheng,이지민,구영현,유성준 한국차세대컴퓨팅학회 2022 한국차세대컴퓨팅학회 학술대회 Vol.2022 No.05

농작물의 병해충 피해는 농가에 위협을 주는 요인 중 하나로 발병 초기에 신속한 조치를 취하지 않으면 빠르게 확산해 막대한 피해를 초래할 수 있다. 스마트폰 보급률 증가와 딥러닝을 이용한 컴퓨터 비전의 발전으로 스마트폰 기반의 병증 진단 방법은 병해충 조기 진단 및 이를 통한 피해 최소화에 도움을 주고 있다. 본 연구에서는 이미지 분할 모델인 Mask R-CNN과 Detection Transformer의 병해충 병증 부위 분할 성능을 비교했다. 모델의 성능을 비교하기 위해 배의 과수화상병, 검은별무늬병, 잎검은점병 이미지 1,257장을 이용해 데이터 셋을 구축했다. 실험 결과 Mask R-CNN의 병증 분할 성능이 75.33%로 Detection Transformer보다 약 5.04% 높은 성능을 기록했다.

유의어 사전 기반 환경기술 검색 시스템 설계

PIAO XIANGHUA,YIN HELIN,구영현(Yeong Hyeon Gu),유성준(Seong Joon Yoo) 한국방송·미디어공학회 2020 한국방송공학회 학술발표대회 논문집 Vol.2020 No.7

국가기후기술정보시스템은 국내 환경기술과 국외의 수요기술 정보를 제공하는 검색 시스템이다. 그러나 기존의 시스템은 유사한 뜻을 가진 단일 단어와 복수 단어들을 모두 식별하지 못하기에 유의어를 입력했을 경우 검색결과가 다르다. 이런 문제점을 해결하기 위해 본 연구에서는 유의어 사전을 기반으로한 환경기술 검색 시스템을 제안한다. 이 시스템은 Word2vec 모델과 HDBSCAN(Hierarchical Density-Based Spatial Clustering of Application with Noise) 알고리즘을 이용해 유의어 사전을 구축한다. Word2vec 모델을 이용해 한국어와 영어 위키백과 코퍼스에 대해 형태소 분석을 진행한 후 단일 단어와 복수 단어를 포함한 단어를 추출하고 벡터화를 진행한다. 그 다음 HDBSCAN 알고리즘을 이용해 벡터화된 단어를 군집화 해주고 유의어를 추출한다. 기존의 Word2vec 모델이 모든 단어 간의 거리를 계산하고 유의어를 추출하는 과정과 대비하면 시간이 단축되는 역할을 한다. 추출한 유의어를 통합해 유의어 사전을 구축한다. 국가기후기술정보시스템에서 제공하는 국내외 기술정보, 기술정보 키워드와 구축한 유의어 사전을 Multi-filter를 제공하는 Elasticsearch에 적용해 최종적으로 유의어를 식별할 수 있는 환경기술 검색 시스템을 제안한다.

Chart Classification Using Neural Architecture Search

Deokho An,HeLin Yin,Yeong Hyeon Gu 한국차세대컴퓨팅학회 2023 한국차세대컴퓨팅학회 학술대회 Vol.2023 No.12

As deep learning technology has improved in recent years, it has expanded from text-oriented document analysis to unstructured data such as images and tables, and there are an increasing number of studies on extracting meaning from such data and analyzing documents. Among them, there are various studies that analyze chart images because charts provide a lot of information such as checking or comparing abnormal elements of data by graphically representing various types of data. Chart classification is an important step because each category has a different way of extracting data and extracting and interpreting the meaning accordingly, so the focus is on improving the classification performance of deep learning-based classification models for various chart categories. However, deep learning-based models have the problem that experts need to allocate a lot of time to configure the model design optimized for the data and check the performance of the model after training. As a way to alleviate these problems, in this paper, we studied a chart classification model using a Neural Architecture Search technique that automatically explores the model structure optimized for the data. The optimal network structure was explored, trained, and tested using 69,600 chart data consisting of 12 chart categories, and the performance was compared with chart classification models using VGG-16 and ResNet-50 algorithms as a way to check the performance of the model. The average classification performance of the model using Neural Architecture Search showed higher classification accuracy than other models with Precision 99.7%, Recall 99.6%, and F1-Score 99.9%.

농작물 이미지 판별 모델에 대한 연구

Ri Zheng,Helin Yin,구영현(Yeong Hyeon Gu),유성준(Seong Joon Yoo) 대한전자공학회 2021 대한전자공학회 학술대회 Vol.2021 No.11