Instance segmentation 기반 사과 객체 비대 분석기술 개발

김응찬 ( Eungchan Kim ),박성민 ( Seongmin Park ),김상연 ( Sang-yeon Kim ),이창협 ( Chang-hyup Lee ),김성제 ( Sungjay Kim ),류지원 ( Jiwon Ryu ),김규민 ( Kyumin Kim ),이슬기 ( Seul-ki Lee ),조정건 ( Jung-gun Cho ),김기석 ( Ghiseok 한국농업기계학회 2023 한국농업기계학회 학술발표논문집 Vol.28 No.2

사과는 전세계적으로 가장 많이 소비되는 청과류 중 하나로, 맛을 비롯하여 콜레스테롤 수치를 낮춰주고 혈압을 조절해주는 등 다양한 건강적 이점을 갖는 과실이다. 최근 주목받고 있는 스마트팜 분야에서는, 원예작물 과실의 성장 상태에 대한 모니터링과 수확을 위한 영상 인식 기술에 대한 연구가 활발히 진행되고 있다. 이러한 기술은 농가의 과실 생산량 예측뿐만 아니라 수확의 자동화를 위해서도 필수적이다. 최근 영상 기반의 연구들에서는, 딥러닝 기반의 모델들이 활발히 사용되고 있다. 특히 객체의 영역을 찾아내는 객체 분할 영역 또한 합성곱 신경망이나 트랜스포머 등의 딥러닝 알고리즘이 기존 방식들 대비 높은 성능을 보인다. 본 연구에서는 사과(홍로) 과실의 객체 분할 모델을 개발하기 위하여 노지 사과밭에서 RGB-D 영상을 촬영하여 데이터를 수집하였다. 획득한 데이터는 객체 영역이 폴리곤 형태로 라벨링 되었으며, 학습 및 평가를 거쳐 여러 객체 분할 모델들의 성능이 비교 평가되었다. 또한, 객체분할 모델 결과로 획득한 mask 정보 및 영상 촬영 시 획득한 depth 정보를 활용하여, 검출된 사과의 직경(횡경 및 종경), 면적, 부피 및 과중에 대한 값을 추산하였으며 실제 값들과 비교하여 알고리즘에 대한 오차를 분석하였다.

적정 수확시기 결정을 위한 수확 전 (재배 중) 사과의 당도 및 경도 예측 모델 개발

김응찬 ( Eungchan Kim ),박성민 ( Seongmin Park ),김상연 ( Sang-yeon Kim ),이창협 ( Chang-hyup Lee ),김성제 ( Sungjay Kim ),류지원 ( Jiwon Ryu ),김규민 ( Kyumin Kim ),이슬기 ( Seul-ki Lee ),조정건 ( Jung-gun Cho ),김기석 ( Ghiseok 한국농업기계학회 2023 한국농업기계학회 학술발표논문집 Vol.28 No.2

사과는 전세계적으로 가장 많이 소비되는 청과류 중 하나로, 당 함유량에 따라 사과의 맛이 결정되는 만큼 당도는 사과의 품질을 평가할 수 있는 주요 품질 인자에 해당한다. 본 연구에서는 사과의 품종 중 하나인 홍로를 대상으로 노지 사과밭에서 실험을 진행하였으며, 농식품의 비파괴 품질 평가에 주로 활용되는 기술 중 하나인 초분광 영상 기술을 활용하여 당 함유량(Brix, %)을 예측하였다. 초분광 데이터의 수집은 홍로의 생육 단계별 다양한 당도 값을 획득하고자 만개 후 약 60일 차부터 수확기에 다다를 때까지 약 10일 간격으로 2년(2021~2022년)간 촬영하였으며, 데이터 획득 직후엔 촬영된 사과를 수확하여 디지털 당도측정계를 이용해 실제 당도값을 측정하였다. 본 연구에서는 홍로의 초분광(400-1,000 nm) 스펙트럼 데이터에 인공지능 모델을 적용하여 당 함유량을 예측하는 다양한 회귀 모델을 개발하였으며, 모델별 예측 정확도를 평가하기 위해 결정계수(R²)와 RMSE(Root mean square error)를 적용하였다. 이를 위해서 사과 과실에 대한 스펙트럼 데이터를 취득하여 PLSR 등의 다양한 회귀 모델을 활용한 예측 모델을 개발하였고, 유의미한 픽셀들을 추출하는 기법 등 여러 가지 전처리 기술을 적용하여 회귀 모델의 정확도를 개선하고자 하였으며, 이러한 과정을 통하여 당도에 대한 각 예측 모델의 예측 오차값을 분석하였다.

라이다를 응용한 물체 및 작물의 입체적인 표현형 분석 방법 개발

김응찬 ( Eungchan Kim ),홍석주 ( Suk-ju Hong ),김상연 ( Sang-yeon Kim ),이창협 ( Chang-hyup Lee ),김슬기 ( Seul-gi Kim ),조정건 ( Jungun Cho ),김우석 ( Woo-seok Kim ),이슬기 ( Seoulki Lee ),김기석 ( Ghiseok Kim ) 한국농업기계학회 2020 한국농업기계학회 학술발표논문집 Vol.25 No.1

스마트팜에 대한 연구가 활발히 진행됨에 따라 농업 분야의 다양한 방면에서 상당한 정도의 기계화와 자동화가 이루어지고 있다. 특히, 최근 phenotyping(표현형 분석)에 관련된 연구 또한 활발히 진행되고 있는데, 특정한 작물의 표현형 분석을 위해서는 형상, 체적 등 외형적 요소의 데이터를 획득하는 것이 필수적이다. 작물의 표현형 분석을 하는 다양한 방법 중에서, 본 연구에서는 실시간으로 물체에 대한 비파괴적 계측이 가능하고 노동집약적이라는 점에서 유용한 LIDAR(Light Detection and Ranging)를 활용해 특정한 물체 및 작물의 외형적인 형상 데이터를 정밀하게 획득하고자 하였다. 연구하고자 하는 물체의 입체적인 표현형 분석을 하기 위해 1-channel의 2D LIDAR와 16-channel의 3D LIDAR를 사용하였다. 이러한 LIDAR같은 경우 1줄, 16줄 이상의 Point Cloud를 획득할 수 없기 때문에 각각 2D LIDAR에 x축 stage, 3D LIDAR에 스텝 모터(Stepping Motor)와 고니어 스테이지(Goniometer Stage)를 결합하여 물체에 대한 공간 좌표 데이터를 실시간으로 누적시켜 병합하도록 구현하였다. 이렇게 구축된 하드웨어를 통해 기존에 1줄, 16줄로 이루어진 물체 및 작물의 영상보다 정밀한 입체적인 형상정보를 획득하고자 연구를 진행하였다.

Segmentation 기반 샤인머스캣의 포도알 검출 및 충실도 예측 알고리즘 개발

김응찬 ( Eungchan Kim ),박성민 ( Seongmin Park ),홍석주 ( Suk-ju Hong ),김상연 ( Sang-yeon Kim ),이창협 ( Chang-hyup Lee ),류지원 ( Jiwon Ryu ),임도훈 ( Dohun Im ),김기석 ( Ghiseok Kim ) 한국농업기계학회 2022 한국농업기계학회 학술발표논문집 Vol.27 No.2

포도는 인체의 탄수화물 대사를 촉진시키며 피로를 풀어주는 등 인체에 유익한 알칼리성 식품으로 알려지며 재배와 소비량이 꾸준히 증가하고 있다. 이 중 샤인머스캣은 포도의 다양한 종류 중 하나로, 일반 포도의 쓴 맛이 덜하고 산도가 낮으며 아삭아삭한 식감을 가지고 있어 특히 관심이 높아지고 있다. 이러한 샤인머스캣 품종의 소비가 급격하게 증가함에 따라 노동력과 시간을 절약하기 위한 자동화 공정 시스템을 구축하는 것이 필수인데, 특히 전문가의 육안으로만 포도의 등급을 판단하는 것은 아직도 해결해야 하는 과제 중 하나이다. 본 연구에서는 포도의 종류 중 하나인 샤인머스캣을 대상 과실로 지정하였으며, RGB 영상장치를 이용하여 수확 후의 샤인머스캣을 다양한 조도 조건하에 촬영하여 영상을 획득하였다. 단일 포도송이에서 포도 열매를 검출하는 알고리즘을 채택하였으며 합성곱 신경망 네트워크 기반의 영상 분할 기법인 Mask R-CNN을 다양한 backbone과 함께 적용하여 각 모델의 성능을 비교 평가하였다. 그 결과, Mask R-CNN ResNet 101이 모든 모델 중 검출 정확도 AP(Average Precison)값이 가장 높은 것으로 분석되었으며, 해당 네트워크로 샤인머스캣의 포도알 직경, 면적, 빈 공간의 면적 등을 구하여 포도알이 얼마나 밀집되어 있는지를 나타내는 지표인 Density of Grape Clusters (DGC)를 구하였다. 본 연구에서 정의한 이러한 지표들을 통해 샤인머스캣의 수확 후 품질 판단을 보다 정확하고, 신속하게 체계화할 수 있다.

Segmentation 기반 샤인머스캣의 포도알 검출 및 충실도 예측 알고리즘 개발

김응찬 ( Eungchan Kim ),박성민 ( Seongmin Park ),홍석주 ( Suk-ju Hong ),김상연 ( Sang-yeon Kim ),이창협 ( Chang-hyup Lee ),류지원 ( Jiwon Ryu ),임도훈 ( Dohun Im ),김기석 ( Ghiseok Kim ) 한국농업기계학회 2022 한국농업기계학회 학술발표논문집 Vol.27 No.2

포도는 인체의 탄수화물 대사를 촉진시키며 피로를 풀어주는 등 인체에 유익한 알칼리성 식품으로 알려지며 재배와 소비량이 꾸준히 증가하고 있다. 이 중 샤인머스캣은 포도의 다양한 종류 중 하나로, 일반 포도의 쓴 맛이 덜하고 산도가 낮으며 아삭아삭한 식감을 가지고 있어 특히 관심이 높아지고 있다. 이러한 샤인머스캣 품종의 소비가 급격하게 증가함에 따라 노동력과 시간을 절약하기 위한 자동화 공정 시스템을 구축하는 것이 필수인데, 특히 전문가의 육안으로만 포도의 등급을 판단하는 것은 아직도 해결해야 하는 과제 중 하나이다. 본 연구에서는 포도의 종류 중 하나인 샤인머스캣을 대상 과실로 지정하였으며, RGB 영상장치를 이용하여 수확 후의 샤인머스캣을 다양한 조도 조건하에 촬영하여 영상을 획득하였다. 단일 포도송이에서 포도 열매를 검출하는 알고리즘을 채택하였으며 합성곱 신경망 네트워크 기반의 영상 분할 기법인 Mask R-CNN을 다양한 backbone과 함께 적용하여 각 모델의 성능을 비교 평가하였다. 그 결과, Mask R-CNN ResNet 101이 모든 모델 중 검출 정확도 AP(Average Precison)값이 가장 높은 것으로 분석되었으며, 해당 네트워크로 샤인머스캣의 포도알 직경, 면적, 빈 공간의 면적 등을 구하여 포도알이 얼마나 밀집되어 있는지를 나타내는 지표인 Density of Grape Clusters (DGC)를 구하였다. 본 연구에서 정의한 이러한 지표들을 통해 샤인머스캣의 수확 후 품질 판단을 보다 정확하고, 신속하게 체계화할 수 있다.

RGBD 센서와 딥러닝을 응용한 과실의 비대 예측 및 적정 수확기 판단기술 개발

김응찬 ( Eungchan Kim ),이창협 ( Chang-hyup Lee ),노승우 ( Seungwoo Roh ),류지원 ( Jiwon Ryu ),김대영 ( Daeyoung Kim ),김기석 ( Ghiseok Kim ) 한국농업기계학회 2021 한국농업기계학회 학술발표논문집 Vol.26 No.2

4차 산업 혁명에 따른 기술의 발전이 농업 분야에도 물결이 조용하고 빠르게 번지고 있다. 이러한 스마트팜에 적용되는 여러 가지 기술 중 특정 작물 및 과실에 대한 영상 기반 객체 인식 및 검출 기술은 과실의 생육 측정을 위한 모니터링의 자동화 및 로봇 기반 수확을 위하여 필수적이다. 특히 최근에는 합성곱신경망(Convolutional Neural Network, CNN) 기반의 딥러닝 모델을 활용하여 영상의 객체 검출 분야에서 높은 성능을 보이며, 스마트팜에 요구되는 영상인식 기술에서 다양하게 적용되고 있다. 본 연구에서는 사과(홍로)를 대상 과실로 지정하였으며, RGB-D 센서를 통해 현지 농가에서 획득한 사과의 RGB 영상과 Depth 영상을 이용하였다. 영상 내 과실의 검출에 이용되는 합성곱신경망 기반의 네트워크인 EfficientDet D2를 주로 적용하여 영상 내 사과의 개수와 위치, 특히 검출 상자의 위치를 정확하게 찾는 것을 우선시하였다. 또한, 과실의 생육 경과를 확인하기 위해서 검출된 사과의 픽셀 좌표와 깊이 센서를 통해 얻은 3차원 깊이 정보를 병합하여 과실의 비대를 예측하고 실제 과실의 크기와 비교 측정하여 검증하는 과정을 진행하였다.

작물 수분 스트레스 추정을 위한 정밀 엽온 추출 및 분석 기법

김성제 ( Sungjay Kim ),김상연 ( Sang-yeon Kim ),김대영 ( Daeyoung Kim ),홍석주 ( Suk-ju Hong ),류지원 ( Jiwon Ryu ),김응찬 ( Eungchan Kim ),김기석 ( Ghiseok Kim ) 한국농업기계학회 2021 한국농업기계학회 학술발표논문집 Vol.26 No.2

작물 모니터링은 정밀 농업 및 스마트 농업에서 매우 중요한 영역이다. 본 연구에서는 다양한 관개 조건에서 과수의 수분 스트레스 수준을 분석하기 위해 항공 열화상 보정 방법과 열화상 처리 기술을 제안한다. 보정은 GPR(Gaussian Process Regression)을 사용하여 수행되었으며 잔차의 정규성, 독립성, 등분산성 등의 조건을 충족하므로 적절한 회귀 방법으로 입증되었다. 또한 항공열영상에서 캐노피 온도만 선택적으로 추출하고 토양 및 기타 물체와 같이 관련 없는 요소는 제외하기 위한 영상 처리 기법으로 3가지 방법(Gaussian Mixture 모델, Otsu’s 이진화 알고리즘, Gaussian blurring 후 Otsu 이진화 알고리즘)이 사용되었으며, 그중 Gaussian Mixture 모델이 캐노피 온도 추출에 대해 가장 높은 정확도와 안정적인 결과를 보였다. 항공열영상을 보정 및 이미지 처리한 후 다양한 관수 조건에서 과수에 대해 DANS(Unstressed Canopy) 수분 스트레스 지수를 계산한 결과 DANS 수분 스트레스 지수의 분포는 캐노피 온도 분포와 유사하고 관수량에 반비례하였다. 따라서 본 연구에서 제안한 보정 및 영상처리기법을 이용하여 계산한 DANS 수분스트레스 지수가 항공열적외선 기술을 원격탐사에 적용하기 위한 작물의 수분스트레스 추정에 신뢰할 수 있는 척도가 될 수 있을 것으로 기대한다.

항공 열영상 처리 기술을 활용한 과수의 수분 스트레스 분석 기술 연구

김상연 ( Sang-yeon Kim ),한윤혁 ( Yun-hyeok Han ),홍석주 ( Suk-ju Hong ),이창협 ( Chang-hyup Lee ),김응찬 ( Eungchan Kim ),김기석 ( Ghiseok Kim ) 한국농업기계학회 2020 한국농업기계학회 학술발표논문집 Vol.25 No.2

과실의 생산량 및 품질 향상을 위해서는 과수와 토지에 대한 효율적인 제어 관리가 필요하며, 이를 위해서는 해당 과수에 대한 주기적인 모니터링이 필수적이라 할 수 있다. 본 연구에서는, 그 중 정확한 관수 제어를 위한 수분 스트레스 모니터링 방법으로 무인 항공체(드론)와 적외선 이미지를 사용하고자 하였다. 일반적인 실험실 환경과 다르게, 노지에서 드론으로 촬영된 적외선 이미지는 주변 대기 환경이나 촬영 고도 등에 영향을 받는 것으로 알려져 있다. 따라서, 일차적으로 휴대용 대면적 흑체를 사용한 온도 calibration 과정을 거쳤으며, 이는 Gaussian Process Regression과 같은 비선형 회귀 방식을 사용하였다. 보정된 적외선 이미지에서 엽온만을 추출하기 위해서는 배경과 canopy의 분리를 위한 영상 처리 과정이 필요하며, 본 연구에서는 다양한 이진화 기법을 비교해 최적의 알고리즘을 선정하였다. 추출된 엽온을 바탕으로 과수의 수분 스트레스를 유추할 수 있는 지표는 이미 많이 개발되어 있으며, 그중 비교적 적은 환경 인자를 사용하여 계산할 수 있는 Degree Above Non-Stressed Canopy (DANS)를 기준 지표로 사용하였다. 최종적으로, 실제 4개의 단계로 관수가 제어되고 있는 사과밭에서 항공 열영상을 취득하여 수분 스트레스 지표를 분석해본 결과, 관개량에 따라 그룹 간 유의미한 차이가 발생하는 것을 확인할 수 있었다.

분광 분석법을 활용한 국내산 포도 품종 통합 당도 검량식 개발 연구

김상연 ( Sang-yeon Kim ),홍석주 ( Suk-ju Hong ),이창협 ( Chang-hyup Lee ),김응찬 ( Eungchan Kim ),김슬기 ( Seulgi Kim ),김기석 ( Ghiseok Kim ) 한국농업기계학회 2019 한국농업기계학회 학술발표논문집 Vol.24 No.2

한국의 신선농산물 수출액은 최근 3년간 꾸준히 증가하고 있으며 2018년에는 12억 8천만 달러로 전년대비 1억 8200만 달러가 늘어나 역대 최고의 증가액 실적을 기록하였다. 이러한 호재의 배경에는 한류와 함께 퍼져나간 한국산 과일의 인기가 한몫했다고 알려져 있는데, 그중 두드러지는 약진을 보여준 것이 바로 ‘포도’이다. 한국산 포도는 ‘샤인 머스캣’이라 불리는 신품종을 앞세워 특히 중국과 베트남 등의 동남아 지역에서 최근 폭발적인 인기를 얻고 있으며, 특유의 향기와 높은 당도로 최근 국내에서도 그 인기가 날로 상승하고 있다. 그 결과, 오랜 시간 동안 국내 포도 재배의 약 80% 이상을 차지하던 주력 품종인 캠벨과 거봉을 빠른 속도로 대체해 가고 있으며, 이에 따라 국내 포도 재배 트랜드도 급격하게 변화하고 있다. 하지만, 실제 농가를 방문해본 결과 샤인 머스캣을 지원하는 당도 선별기의 보급은 상당히 더딘 편이었으며, 몇 농가에서만 간이 측정기로 당도를 측정해 출하하고 있는 것이 실정이었다. 또한, 주력 품종이 변화하고 있는 과도기인 만큼 아직 샤인 머스캣뿐만 아니라 기존의 캠벨이나 거봉을 함께 재배하는 농가들도 다수 존재하였는데, 이런 경우 정확한 당도 정보를 얻기 위해서는 품종별로 상이한 당도 측정기를 사용해야 한다는 불편함도 있었다. 따라서, 본 연구에서는 캠벨과 거봉 그리고 샤인 머스캣에 대해 한 번에 적용할 수 있는 품종 통합 당도 측정 모델을 개발하고자 하였다. 모델에 사용한 알고리즘으로는 오늘날 농산물산지유통센터 선별기에 주로 보급된 PLSR(Partial Least Squares Regression)과 여기에 추가로 파장 선택법을 적용해 효율을 증가시킨 VIP(Variable Importance in Projection)-PLSR, Beta-Bootstrap-PLSR 등의 통계적인 방식이 있다. 또한, 최근 분광분석 연구들에서 종종 기존의 통계적인 기법보다 개선된 결과를 보여주고 있는 SVR(Support Vector Regression), ANN(Artificial Neural Network), 1D-CNN(1 Dimensional Convolution Neural Network) 등과 같은 머신러닝 기반의 알고리즘들도 접목하여 최적의 통합 당도 검량식 모델을 선정하는 것을 목표로 하였다.

페로몬 트랩 영상에서의 해충 검출을 위한 딥러닝 기반 객체 검출 알고리즘의 적용

홍석주 ( Suk-ju Hong ),남일 ( Il Nam ),김상연 ( Sang-yeon Kim ),김응찬 ( Eungchan Kim ),이창협 ( Chang-hyup Lee ),안세범,박일권 ( Il-kwon Park ),김기석 ( Ghiseok Kim ) 한국농업기계학회 2021 한국농업기계학회 학술발표논문집 Vol.26 No.1

솔껍질깍지벌레는 소나무에 피해를 입히는 산림 해충으로, 한국의 산림에 많은 환경적, 경제적인 손해를 미친다. 이러한 솔껍질깍지벌레의 발생을 감시하기 위해서 페로몬 트랩 기반의 방식들이 이용된다. 페로몬 트랩에 잡힌 해충의 수를 통하여 솔껍질깍지벌레의 발생 정도를 파악한다. 트랩에 잡힌 해충의 수는 주로 사람이 세는 방식으로 수행이 되어 왔는데, 이는 노동집약적이며 시간 소모적이고, 숙련자의 작업을 필요로 한다. 또한 세는 과정에서의 피로도와 작업자의 숙련도에 따라 오차가 발생하기도 한다. 이러한 수동 카운팅 방식이 아닌, 영상 기반의 자동 카운팅을 적용하기 위하여 본 연구에서는 딥러닝 기반의 객체 검출 모델들을 적용하여 트랩에 잡힌 솔껍질깍지벌레의 검출 알고리즘 개발을 목표로 하였다. 1.5mm~2mm 크기의 작은 해충인 솔껍질깍지벌레의 검출을 위하여 이미지 크라핑 방식을 사용하였으며, 크라핑 조건, 모델 종류, 인풋 종류 등의 조건을 조합하여 모델을 학습시키고 성능을 비교하였다.