Automated 3D Plant Phenotyping using Machine Learning Algorithm

( Myongkyoon Yang ),( Cui Jinshi ),( Seongmin Park ),( Daesik Son ),( Seong In Cho ) 한국농업기계학회 2018 한국농업기계학회 학술발표논문집 Vol.23 No.1

A development of analysis technology using fusion technology is required to increase agricultural competitiveness and produce crops stably, in order to cope with the rapidly changing climate environment. In response to these needs, an importance of phenomics which is a research field covering a plant’s phenotype is emerging. Morphology is an important factor in a plant's phenotyping, and 3D image analysis of plants is also becoming important. In this study, 3D reconstruction was performed using several images of plant, and automated image segmentation and phenotypic parameter measurement of plants were attempted. The target plant rotating on the turntable was photographed through a camera in a fixed position to obtain images in various directions, and 3D reconstruction was performed using the obtained images. A preprocessing process was carried out using the 3D point cloud of plant, and a plant analysis algorithm for plant segmentation was developed to obtain the morphological trait. ExG, Clustering, and Otsu's threshold were used to extract the desired plant area. The coordinate transformation is performed through PCA and Euler angle transformation, this allows same analysis for all 3D images. 3D plant images obtained through these processes were performed to separate stem and leaf, and calculate leaf size, angle, crop height, and fruit volume by using various machine learning algorithms. The calculation result was compared with a ground truth data, and it demonstrated that the algorithm shows good performance. This contributed to the automated analysis of 3D plant images, and various analyzes will be possible if combined with other artificial intelligence algorithms.

Artificial Intelligence for Data-driven Horticultural Crop Breeding

Myongkyoon Yang 한국육종학회 2023 한국육종학회 공동학술발표집 Vol.2023 No.-

작물 피노믹스 분석을 위한 3차원 복원 기법 연구

양명균 ( Myongkyoon Yang ),최금실 ( Jinshi Cui ),손대식 ( Daesik Son ),정은성 ( Eun Seong Jeong ),조성인 ( Seong In Cho ) 한국농업기계학회 2016 한국농업기계학회 학술발표논문집 Vol.21 No.2

농업의 경쟁력 향상과 급변하는 기후 변화의 문제를 해결하기 위해 스마트 팜으로 대표되는 ICT기반 융합 스마트 농업에 대한 연구가 활발히 이루어지고 있으며 이를 위한 원천기술의 개발 및 확보가 중요해지고 있다. 농작물 분석을 위한 융합 기술의 발전에 따라 작물의 생리, 형태, 생화학적 특성 등 표현형 전체를 관측 및 해석하는 피노믹스 (phenomics) 연구 분야의 중요성이 대두되고 있다. 이에 따라 작물의 정확한 분석을 위해서는 2차원 이미지를 넘어선 3차원 영상의 분석이 요구되는 상황이다. 본 연구에서는 촬영한 작물 2차원 이미지를 3차원 영상 복원 (3DReconstruction)하는데 있어 수행되는 알고리즘을 살펴보고 직접 구현해 보았다. 3차원 영상 복원하는 방법에는 크게 능동형, 수동형 기법이 있으며 본 연구에서는 수동형 기법의 한 종류인 SfM (structure from motion) 방식을 이용하였다. SfM은 다양한 각도에서 촬영된 여러 장의 2차원 영상들을 이용하여 카메라의 촬영 위치를 계산한 뒤 이를 이용해 3차원 영상을 획득하게 되며, 능동형에 비해 촬영의 용이성과 결과물의 품질이 우수하다는 장점이 있다. 알고리즘의 구현에는 SfM의 알고리즘인 특징을 추출하여 카메라의 위치를 계산한 후 특징점들의 3차원좌표를 계산 및 복원하는 방법을 사용하였으며, 구현을 위해 MATLAB (MATLAB_R2016,Mathworks, USA)을 이용하였고 단순한 형태의 식물체에 대하여 스마트폰 카메라 (IPhone 6Plus, Apple, USA)를 이용해 영상을 획득하였다. 몇 장의 이미지를 통해 알고리즘을 구현 및 확인해 보았다. 영상의 특징점을 획득하기 위해 SIFT (Scale-invariant feature transform), SURF (Speeded-Up Robust Features) 등의 알고리즘을 활용하였으며 3차원 특징점을 위해 bundleAdjustment 알고리즘을 사용하였다. 식물체의 3차원복원 결과 기존의 상용프로그램만큼은 아니지만 가능성을 보여주는 결과물을 획득하였다. 3차원복원을 위한 알고리즘에는 다양한 종류가 있고 측정하고자 하는 대상에 따라 최적의 알고리즘이다르므로 다양한 알고리즘의 검증을 통해 작물의 적합한 알고리즘을 찾아야 할 것으로 판단된다.

초분광 영상 시스템을 활용한 딸기의 수분 스트레스 분석

양명균 ( Myongkyoon Yang ),최금실 ( Jinshi Cui ),박성민 ( Seongmin Park ),손대식 ( Daesik Son ),김정선 ( Jung-sun Kim ),조성인 ( Seong In Cho ) 한국농업기계학회 2019 한국농업기계학회 학술발표논문집 Vol.24 No.1

기후 변화와 농업경쟁력 확보를 위해 스마트팜으로 대표되는 융합 기술 활용 스마트 농업에 대한 연구가 활발하게 이루어지고 있다. 특히 분석에 있어 원천기술 확보의 중요성이 대두되면서 표현형 분석을 위한 피노믹스 연구의 중요성이 대두되고 있다. 표현형 분석에 있어 겉으로 드러나는 형태와 색상은 다양한 정보를 담고 있기 때문에 중요한 요소 중 하나이다. 이에 본 연구에서는 딸기 모종에 인위적인 스트레스를 주고 나타나는 변화에 대하여 초분광 영상 시스템 (400~1000nm)과 고해상도 이미지를 획득하여 영상처리 알고리즘 적용 및 모델 개발을 수행하였다. 실험과정에서 모종은 실내의 동일한 외부 환경에서 수분의 양을 다르게 한 4개의 그룹으로 나누어 진행되었으며, 여러 센서 네트워크를 구성하여 실시간으로 환경 데이터를 수집하도록 하였다. 초분광 영상과 고해상도 이미지를 분석하여 모델을 개발한 결과, 수분에 따른 작물 스펙트럼과 형태의 복합 판별이 가능한 것으로 파악되었다. 이는 스마트팜 내부의 비파괴적인 분석을 진행하는데 있어 여러 스트레스나 질병에 대한 분석에 활용할 수 있는 것으로 기대된다.

초분광 영상과 인공지능 알고리즘을 활용한 딸기의 수분 스트레스 분석

양명균 ( Myongkyoon Yang ),박성민 ( Seongmin Park ),김정선 ( Jung-sun Kim ),조성인 ( Seong In Cho ) 한국농업기계학회 2019 한국농업기계학회 학술발표논문집 Vol.24 No.2

급변하는 기후 상황에 대응하여 농업 경쟁력을 높이고 작물의 안정적인 생산을 위해 융합 기술을 활용한 스마트 농업 분석 기술의 개발이 요구되고 있다. 분석에 있어 원천기술 확보의 중요성이 대두되고 복잡한 품질 특성의 분석이 가능해짐에 따라 작물의 생리, 형태, 생화학적 특성 등과 같은 표현형 전체를 아우르는 연구 분야인 피노믹스의 중요성이 대두되고 있다. 작물의 품질에 대한 표현형 분석에 있어 모폴로지와 같은 겉으로 드러나는 형태와 색상은 다양한 정보를 담고 있기 때문에 중요한 요소 중 하나이다. 본 연구에서는 작물에 수분 스트레스를 주고 나타나는 변화에 대하여, 여러 센서 정보를 바탕으로 다양한 알고리즘을 적용한 분석 모델 개발이 수행되었다. 딸기 모종을 실험 작물로 하여 약 30일간 진행하였으며 각 개체의 독립성을 위해 토양이 담긴 개별 포트에서 실험을 수행하였다. 실험 기간 동안 작물은 수분을 주지 않은 것부터 충분히 준 것까지 4단계의 그룹으로 구분되었다. 수분의 양을 제외한 실험 외부 환경은 모든 작물에 동일하게 유지하였고, 온습도 및 토양 수분 센서 등의 여러 센서 네트워크를 구성하여 실시간으로 환경 데이터를 수집하도록 하였다. 작물의 대한 변화에 대하여 초분광 영상 시스템 (400~1000nm)과 고해상도 이미지를 획득하였고, 환경 센서 데이터와 결합하여 수분스트레스에 대한 알고리즘 적용 및 모델 개발을 수행하였다. 많은 정보를 담고 있는 초분광 영상에 대한 여러 전처리 과정이 수행되었으며 여러 종류의 데이터를 활용하기 위해 영상처리 및 머신러닝 알고리즘이 활용되었다. 이를 통해 수분의 양에 따른 작물의 특성 변화를 판별하는 모델을 개발하였다. 이는 수분 뿐만 아니라 여러 스트레스나 질병 등에 대한 작물 특성의 정밀한 비파괴적인 분석을 수행하는데 있어 활용할 수 있을 것으로 기대된다.

작물의 3차원 이미지 분석을 위한 영상처리 알고리즘

양명균 ( Myongkyoon Yang ),최금실 ( Jinshi Cui ),손대식 ( Daesik Son ),박성민 ( Seongmin Park ),정은성 ( Eun Seong Jeong ),조성인 ( Seong In Cho ) 한국농업기계학회 2017 한국농업기계학회 학술발표논문집 Vol.22 No.2

급변하는 기후 상황에 대응하여 농업 경쟁력을 높이고 안정적인 생산을 위해 융합 기술을 활용한 작물분석 기술 개발이 요구되고 있다. 이러한 분야 중 피노믹스(phenomics)는 작물의 여러 특성에 해당하는 표현형 전체를 관측 및 분석하는 연구 분야로 이에 대한 연구가 활발히 이루어지고 있다. 작물의 표현형분석에 있어 형태적인 특성은 작물의 다양한 정보를 담고 있기에 중요한 인자이다. 작물의 형태에 대한 보다 입체적이고 정확한 분석을 위해서는 2차원 이미지 뿐 아니라 3차원 영상에 대한 분석이 필요하다. 본 연구에서는 3차원 영상 복원(3D Reconstruction)된 이미지를 분석하기 위한 여러 영상처리 과정을 수행하였다. 작은 포트에 담긴 17~25 cm정도의 고추 모종에 대한 3차원 복원 영상 분석이 이루어졌으며, 이를 위해 스마트폰 카메라(IPhone 6 Plus, Apple, USA)와 Kinect v2 (Microsoft, USA)를 활용하였다. 이미지 분석을 위한 알고리즘의 구현 및 적용에는 MATLAB (MATLAB_R2016b, Mathworks, USA)을 이용하였다. 먼저 복원된 고추 모종의 3차원 영상에서 작물 부분만 추출하기 위한 몇 가지 후보 알고리즘 중 최적의 알고리즘을 선정해 준다. 이를 통해 작물 부분만 추출된 3차원 이미지를 얻게 되고 좌표 변환 과정을 거치게 된다. 복원된 3차원 영상의 경우 이미지에 따라 독립적인 좌표계를 갖기 때문에 일정한 분석과 편의를 위해 고추 모종의 주된 줄기를 z축으로 하고 작물의 하단을 원점으로 하는 변환을 수행하였다. 마지막으로 여러 알고리즘을 활용하여 잎과 줄기를 분리하는 이미지 분할(Image Segmentation)을 수행해 보았다. 이러한 과정을 보완해 나간다면 3차원 작물 이미지에 대한 자동화된 분석을 할 수 있을 것으로 기대된다.

식물자원의 3차원 영상재현기법에 관한 연구

양명균 ( Myongkyoon Yang ),신기섭 ( Kiseop Shin ),송준한 ( Junhan Song ),홍석주 ( Suk Ju Hong ),박종민 ( Jongmin Park ),김기석 ( Ghiseok Kim ) 한국농업기계학회 2016 한국농업기계학회 학술발표논문집 Vol.21 No.1

Tomato Bruise Detedtion using Thermal Imaging based on Combining Algorithm of Genetic and Ant Colony

( Jinshi Cui ),( Myongkyoon Yang ),( Seongmin Park ),( Daesik Son ),( Seong-in Cho ) 한국농업기계학회 2018 한국농업기계학회 학술발표논문집 Vol.23 No.1

Tomatoes are rich in nutrients and are popular fruits, so production is very high in worldwide. Customers prefer highly qualitative fruits, evaluating mainly their appearance and taste. But fresh products are exposed to several external forces during their post-harvest life. They may suffer damage during harvesting, handling. Dropping bruise is one of the main fruit damage in post-harvest process. It is an important part of the post-harvest process that accurately and quickly detect tomato dropping bruise. In this study, a combination of genetic algorithm and ant colony algorithm is proposed to detect dropping bruise of tomatoes based on thermal imaging system. Since the thermal imaging camera used in this study shoots both RGB and thermographic images simultaneously, the algorithms that distinguish the background and the tomato samples in the RGB image are used to observe the bruise edge of the tomato target to improve the accuracy and shorten the analysis time. Through the analysis of the genetic algorithm and the ant colony genetic algorithm, it is found the best fusion point between the genetic algorithm and the ant colony algorithm. When using the proposed method, the simulation time is shorter than original ant colony algorithm and the bruise edge is more continuous which is easy to classify bruise fruit and detect damaged tomatoes.

파프리카 재배시설용 작업편이장비 개발

Eunseong Jeong,Myongkyoon Yang,Daesik Son,Seongmin Park,Jinshi Cui,Seong In Cho 대한인간공학회 2017 대한인간공학회 학술대회논문집 Vol.2017 No.11

Design and emulation of the agricultural vehicle shock system using MATLAB

( Jinshi Cui ),( Myongkyoon Yang ),( Darsik Son ),( Eun Seong Jeong ),( Seong In Cho ) 한국농업기계학회 2016 한국농업기계학회 학술발표논문집 Vol.21 No.2

Automotive shock absorber system is mainly used to solve the impact of road surface roughness to the body, in order to improve the driving stability of the vehicle. The shock absorber system not only determines a vehicle ride comfort but also have a vital role to the handling safety of the vehicle. With the continuous improvement of comfort and quality requirements, the performance of the shock absorber system has become one of the important indicators to measure the quality and grade of the vehicle. To analyse the process of shock impact, time domain of automotive shock absorber system was simulated using MATLAB. The automotive shock absorber system can be regarded as a low pass filter since the function of the damping system is to reduce the fluctuation caused by the uneven road surface. The shock absorber system can be modeled by two order linear constant coefficient differential equation, and transform it into system transfer function. The two parameters of undamped natural frequency and damping ratio affect the vehicle shock characteristic. Using MATLAB software environment, the actual system can be simulated, and the simulation results were analyzed, processed which improved the efficiency of the problem solving.