사과 내부 결함 검출을 위한 근적외선 영상처리 기술 개발 기초 연구

이창협 ( Chang-hyup Lee ),노승우 ( Seung-woo Roh ),김대영 ( Dae Young Kim ),누르히스나 ( Nandita Ursaulul Nurhisna ),백민규 ( Mingyu Baek ),김기석 ( Ghiseok Kim ) 한국농업기계학회 2023 한국농업기계학회 학술발표논문집 Vol.28 No.2

사과는 국내에서 대량 소비되는 농산물 중 하나로, 뛰어난 저장성이 특징이다. 이러한 많은 소비량과 저장성은 유통 및 저장 과정에서 내부 결함이 발생할 가능성을 높이며, 이로 인해 소비자의 만족도를 저하시키고 장기적인 사과의 소비에 부정적인 영향을 미칠 수 있다. 사과의 크기, 모양, 색상, 표면 상태, 당도 등의 겉보기 특성을 선별 과정에서 중요한 역할을 하지만, 내부 결함은 대체로 판매 후에야 소비자에게 드러나 이는 큰 문제점으로 남아있다. 본 연구에서는 광원에 대한 반응성을 이용하여 내부가 부패한 사과와 정상 사과를 구별하고자 하였다. 이를 위해 할로겐 광원을 사용할 수 있는 암막 프레임을 설계하고, 상단에는 근적외선 카메라를 부착하여 영상 데이터를 취득하였다. 내부가 부패한 사과는 UTM을 통해 제작하였으며, 제작한 부패 사과와 정상 사과의 광원에 대한 반응성을 근적외선 카메라로 취득하였다. 또한, 해당 근적외선 영상을 분석하고 결함을 판별하기 위한 알고리즘을 개발하였다. 해당 기초 연구를 발전시킨다면, 향후 사과 선별과정에서 기존의 겉보기 품질 뿐만 아니라 내부의 품질도 판별할 수 있는 시스템에 활용될 수 있을 것으로 기대된다.

딥러닝 기반 시설원예 작물 생육 측정 알고리즘 개발

이창협 ( Chang-hyup Lee ),홍석주 ( Suk-ju Hong ),김상연 ( Sang-yeon Kim ),김응찬 ( Eungchan Kim ),김기석 ( Ghiseok Kim ) 한국농업기계학회 2021 한국농업기계학회 학술발표논문집 Vol.26 No.2

스마트팜과 관련한 연구와 수요가 활발해지면서 시설 농업 작물에 대한 관심이 늘어나고 있다. 그 중 시설 원예 작물은 환경 제어가 용이하며 작물들에 대한 소비자의 수요 또한 높은 편이므로 우선 연구 대상이 되고 있다. 과거 뿐만 아니라 현재까지도 작물의 현재 상태를 파악하는 것의 대부분은 농작업자의 판단으로 이루어지고 있다. 파프리카는 대표적인 시설 원예 작물 중 하나이며, 농작업자의 역할이 큰 작물이다. 딥러닝 중 합성곱신경망(Convolutional Neural Network)을 기반으로 한 연구는 주요 흐름 중 하나가 되었으며, 스마트팜, 특히 시설 원예 작물과 관련한 다양한 분야에서 적용되고 있다. 본 연구에서는 파프리카를 대상으로 하였고, RGB 및 RGBD 센서를 통해 시설에서 파프리카 영상을 획득해 학습 및 평가에 사용하였다. 이를 기반으로 영상에서 파프리카를 정확히 인식하는 객체 검출과 마스크 검출을 하는 모델을 학습하여 최적 모델을 도출하는 과정을 거쳤으며, 이를 깊이 정보 및 파프리카의 물성적 특성을 활용해 과실의 다양한 생육 정보를 측정할 수 있는 알고리즘을 구현하였다.

가설 생성 과정에서 의문 상황과 관련된 개념의 인지가 사전 지식의 인지에 미치는 효과

이창협 ( Chang Hyup Lee ),이효녕 ( Hyo Nyong Lee ) 경북대학교 중등교육연구소 2011 중등교육연구 Vol.59 No.1

이 연구의 목적은 의문 상황과 관련된 과학적 개념의 인지가 사전 지식의 인지에 미치는 효과와 ``개념 인지 단계``의 적용이 과학적 개념과 사전 지식의 인지에 미치는 효과를 분석하는 것이다. 이 연구의 대상은 광역시 소재 중학생 68명이다. 첫 번째 단계에서는 학생들이 과학적 상황의 의문과 일상적 상황의 의문에서 사전 지식을 인지하는 능력이 같은지를 확인하고, 의문 상황과 관련된 과학 개념의 인지가 사전 지식의 인지에 미치는 효과를 알아보았다. 두 번째 단계에서는 실험 집단은 ``개념 인지 단계``를 지도하고 통제 집단은 지도하지 않은 후, 일상적 상황의 의문으로 이루어진 두 번째 검사지를 사용하여 두 집단의 의문 상황에 대한 과학적 개념과 사전 지식을 인지하는 능력의 차이를 확인하였다. 첫 번째 단계의 연구 결과로 대부분의 의문에서 일상적 상황의 의문보다는 과학적 상황의 의문에서 사전 지식을 잘 인지하였고, 학생들이 과학 개념을 인지하는 경우가 과학 개념을 인지하지 못하는 경우보다 사전 지식을 더 잘 인지하였다. 두 번째 단계의 연구 결과로는 ``개념 인지 단계``를 지도한 실험 집단이 의문 상황에 대한 과학적 개념과 사전 지식을 더 잘 인지하였다. 이 연구는 학습자들이 선행 학습된 지식의 인지에 어려움을 겪을 때는 관련된 개념들을 먼저 인지하는 학습 습관을 가질 수 있도록 지도할 필요가 있음을 시사한다. The purposes of this study were to analyze the effects of the recognition of scientific concepts on the prior knowledge recognition and to analyze the effects of teaching the concept recognition steps on the recognition of a scientific concept and prior knowledge. The subjects consisted of 68 middle schoolers. The first investigation was designed to identify that the students` ability of recognizing prior knowledge in questions on everyday context is identical to in those on scientific context. and to explore how their recognition of a scientific concept in question situations influences the prior knowledge recognition. As a second step, the experimental group taught concept recognition steps and the control group not taught them. Afterwards, the differences in the two groups` ability to recognize the concept and prior knowledge in the question situations were confirmed by the second inspection composed of the questions on everyday context. The results of first investigation revealed that The pre-existing scientific knowledge is recognized correctly in the questions on scientific context than on everyday context in most of questions and the students who can recognize a scientific concept identify more scientific prior knowledge than those who cannot recognize it. The results of second investigation revealed that the experimental group taught the concept recognition steps recognizes more scientific concept and more accurately recognizes prior knowledge on the question situation. This investigation suggests that teachers need to help learners develop their learning strategies that they learn relative concepts first when they are conflicted with their prior knowledge.

적외선 영상처리 및 딥러닝을 이용한 콘크리트 시설 내외부 결함 검출 연구

이창협 ( Chang-hyup Lee ),한윤혁 ( Yunhyeok Han ),홍석주 ( Suk-ju Hong ),김상연 ( Sang-yeon Kim ),김응찬 ( Eungchan Kim ),김기석 ( Ghiseok Kim ) 한국농업기계학회 2019 한국농업기계학회 학술발표논문집 Vol.24 No.2

사회기반시설인 댐, 교량, 도로 등의 시설물은 국가 경제 발전 및 삶에 미치는 영향이 크고, 특히 농업분야에 있어 중요성이 매우 크다. 앞서 언급한 시설들은 약 25년이 경과 한 후 노후화가 시작되는 것으로 밝혀져 있으며, 노후화된 시설물들은 국민 안전 및 경제에 위험을 주고, 노후화된 기간에 비례하여 유지관리 비용이 증가한다. 선행 연구에 따르면 2020년 기준으로 미국은 3840조 원의 비용이 필요할 것으로 전망된다. 교량이나 도로의 경우 콘크리트로 이루어져 있으며 노후화로 인한 시설 내부, 외부 결함 및 파괴로 일반 경제 분야뿐만 아니라 농업에 미칠 잠재적 문제를 방지할 필요가 있다. 이를 해결하고자 노후화나 결함을 사고 이전에 파악하기 위한 연구들이 지속되어 왔다. 초기에는 영상센서를 이용한 표면 검사나 센서를 부착하는 방식이 대부분이었기 때문에 측정자에 따른 편차가 컸고, 이후에는 초음파, 방사선 진단 등의 비파괴적인 연구가 이루어지고 있는 상태이다. 외부 결함의 경우 과거의 표면 영상 인식 기술을 사용할 경우 결함뿐만 아니라 콘크리트가 결합된 정상적인 틈이나 그림자 등을 구분하기 어려운 환경에 놓일 수 있어 실제 현장에서 일관성을 가지기 힘들다. 이를 극복하고자 여러 종류의 콘크리트가 가진 결함 및 비결함 데이터를 획득하고, 최근 영상 분류 작업에 연구되는 인공신경망 기반의 CNN(Convolutional Neural Networks) 알고리즘을 적용하여 결함 유무를 분류하였으며, 결함으로 분류된 영상데이터들에 대해 Otsu, Niblack, Sauvola 등의 이진화 작업을 통해 영상 중 결함의 정확한 위치를 찾아내고 성능을 평가하였다. 내부 결함의 경우 비파괴 검사 중 적외선 열영상 기법의 결함부위별 온도 이질성을 볼 수 있는 특징에서 착안하여 임의로 다양한 결함이 추가된 콘크리트를 설계 및 제작하고, 자연상태의 햇빛을 받거나 그늘진 환경에 배치하는 Passive Thermography를 적용하였다. 이러한 적외선 열영상에 PCT, DFT, Autoencoder 등의 영상처리를 하여 결함의 존재 및 위치 등의 데이터들을 해석하는 연구를 진행하였다.

Quality Change Prediction of Onion during Storage Using Artificial Neural Network

난디타이르사우루르누르히스나 ( Nandita Irsaulul Nurhisna ),홍석주 ( Suk-ju Hong ),김응찬 ( Eungchan Kim ),김상연 ( Sang-yeon Kim ),이창협 ( Chang-hyup Lee ),김성제 ( Sung-jay Kim ),노승우 ( Seung-woo Roh ),류지원 ( Jiwon Ryu ),김대영 ( Da 한국농업기계학회 2022 한국농업기계학회 학술발표논문집 Vol.27 No.1

Onion is one of the most important crops in the world. It is consumed as raw or as a component of meals in many different cultures around the world and without any special time. A long stages from harvesting to consumer might be losing the quality of onion. The step that takes a big loss is during the storage and distribution stage. Therefore, this study is attempted to develop a prediction model of onion quality change during storage and distribution to see how the onion is decaying through artificial neural network using real time scale database. By the result of this study, it is expected that it will be prevent a discrepancy in supply chain and demand existing in the storage and distribution of onion and improve overall efficiency.

토마토 과실의 검출 및 생육단계 추정을 위한 RGB-D 영상과 딥러닝 객체분할 모델의 적용

홍석주 ( Suk-ju Hong ),이창협 ( Chang-hyup Lee ),박성민 ( Seongmin Park ),김상연 ( Sang-yeon Kim ),김응찬 ( Eungchan Kim ),김성제 ( Sungjay Kim ),노승우 ( Seung-woo Roh ),누르히스나 ( Nandita Irsaulul Nurhisna ),류지원 ( Jiwon Ry 한국농업기계학회 2022 한국농업기계학회 학술발표논문집 Vol.27 No.2

토마토는 대표적인 원예작물 중 하나로, 맛을 비롯하여 항산화, 항염증, 항암 효과 등의 다양한 건강적 이점을 갖는다. 최근 각광받는 스마트팜 분야에서는, 원예작물의 과실의 생장단계 모니터링 및 수확을 위한 영상인식기술에 대한 연구들이 활발히 수행되고 있다. 이러한 기술은 농가의 생산량 예측 뿐 아니라 수확의 자동화를 위해서도 필수적이다. 최근 영상 기반의 연구들에서는, 딥러닝 기반의 모델들이 활발히 사용되고 있다. 특히 객체의 영역을 찾아내는 객체 분할 영역 또한 합성곱신경망이나 트랜스포머 등의 딥러닝 알고리즘이 기존 방식들 대비 높은 성능을 보인다. 본 연구에서는 토마토 과실의 객체 분할 모델을 개발하기 위하여 토마토 농가의 RGB-D 영상을 촬영하여 수집하였다. 수집된 데이터는 객체 영역이 폴리곤 형태로 라벨링되었으며, 학습 및 평가를 거쳐 여러 객체 분할 모델들의 성능이 비교 평가되었다.

순환신경망 기반 저온 저장 양파의 물성 변화 시계열 예측 모델 개발

김상연 ( Sang-yeon Kim ),이창협 ( Chang-hyup Lee ),노승우 ( Seoung-woo Roh ),김대영 ( Dae Young Kim ),장하린 ( Harin Jang ),박성민 ( Seongmin Park ),김기석 ( Ghiseok Kim ) 한국농업기계학회 2023 한국농업기계학회 학술발표논문집 Vol.28 No.2

본 연구에서는 장기간 저온 저장 중인 양파의 물리적 품질 변화를 예측하는 순환신경망(RNN) 기반 모델을 제안하였다. 특정 시점에 국한된 단순 회귀식을 활용하는 기존 연구들과는 달리, 본 모델은 시계열 기반의 저장 환경 이력을 활용하는 것을 목표로 한다. 더욱이, 실시간으로 쉽게 획득 가능한 환경 정보와 저장 기간만을 입력으로 사용하도록 설계하여 향후 현장 적용 시 실용성을 강조하였다. 모델 개발을 위해, 통제된 조건 하에 양파를 저장하며, 정기적인 샘플링과 실험을 통해 품질 요소 데이터를 축적하였다. 데이터 전 처리 과정에서 각종 노이즈와 시간 해상도 문제를 해결하였으며, 환경과 품질 요소 간 상호작용을 고려해 생물체 항복 강도를 모델의 주 예측 대상으로 선정하였다. LSTM을 포함한 다양한 RNN 기반 모델 및 전통적인 MLR 모델이 개발되었으며, 그 성능을 비교하였다. 농산물 품질 예측을 위한 사전 검증된 모델이 부족한 상황을 고려하여, 다양한 모델 구조와 매개변수 조합을 탐색하기 위해 그리드 탐색 방식을 적용하였다. 최적화된 조합을 기반으로 재학습된 모델들의 성능은 동일한 독립 테스트 데이터를 활용하여 비교되었으며, 제시된 모델 중 LSTM 기반 예측 모델이 가장 좋은 성능과 가장 먼 예측 기간을 보여주었다. 반면, MLR 모델은 학습데이터에 대한 완전한 과적합을 보였으며, 이를 통해 저장 이력을 활용한 품질 예측의 부적합함을 확인할 수 있었다. 본 연구 결과를 통해 RNN의 농산물 저장/유통 연구에 대한 잠재력을 검증하고자 하였으며, 개발된 모델은 향후 수확 후 연구의 기반 기술로서 활용될 수 있을 것으로 기대된다.

RGBD 센서와 딥러닝을 응용한 과실의 비대 예측 및 적정 수확기 판단기술 개발

김응찬 ( Eungchan Kim ),이창협 ( Chang-hyup Lee ),노승우 ( Seungwoo Roh ),류지원 ( Jiwon Ryu ),김대영 ( Daeyoung Kim ),김기석 ( Ghiseok Kim ) 한국농업기계학회 2021 한국농업기계학회 학술발표논문집 Vol.26 No.2

4차 산업 혁명에 따른 기술의 발전이 농업 분야에도 물결이 조용하고 빠르게 번지고 있다. 이러한 스마트팜에 적용되는 여러 가지 기술 중 특정 작물 및 과실에 대한 영상 기반 객체 인식 및 검출 기술은 과실의 생육 측정을 위한 모니터링의 자동화 및 로봇 기반 수확을 위하여 필수적이다. 특히 최근에는 합성곱신경망(Convolutional Neural Network, CNN) 기반의 딥러닝 모델을 활용하여 영상의 객체 검출 분야에서 높은 성능을 보이며, 스마트팜에 요구되는 영상인식 기술에서 다양하게 적용되고 있다. 본 연구에서는 사과(홍로)를 대상 과실로 지정하였으며, RGB-D 센서를 통해 현지 농가에서 획득한 사과의 RGB 영상과 Depth 영상을 이용하였다. 영상 내 과실의 검출에 이용되는 합성곱신경망 기반의 네트워크인 EfficientDet D2를 주로 적용하여 영상 내 사과의 개수와 위치, 특히 검출 상자의 위치를 정확하게 찾는 것을 우선시하였다. 또한, 과실의 생육 경과를 확인하기 위해서 검출된 사과의 픽셀 좌표와 깊이 센서를 통해 얻은 3차원 깊이 정보를 병합하여 과실의 비대를 예측하고 실제 과실의 크기와 비교 측정하여 검증하는 과정을 진행하였다.

수박 종자의 발아력 예측을 위한 엑스선 영상 및 딥러닝 분류 알고리즘의 적용

홍석주 ( Suk-ju Hong ),이창협 ( Chang-hyup Lee ),( Nandita Irasaulul Nurhisna ),김성제 ( Sungjay Kim ),김기석 ( Ghiseok Kim ) 한국농업기계학회 2021 한국농업기계학회 학술발표논문집 Vol.26 No.2

세계 종자시장은 곡물생산량의 불확실성 및 식량자원 확보의 중요성 증대, 종자개발을 통한 식품, 의약품 등 응용산업 확대, 유전자변형 작물 생산 확대, 기후변화 등으로 인한 지속적인 품종개발 요구 등의 요인으로 빠른 성장세를 보이고 있다. 이러한 종자 시장은 거대 다국적 기업들이 60%를 점하고 있으며, 세계 시장에서 한국 종자 산업이 차지하는 비율은 1.3%가량에 불과하다. 이러한 상황에서 국내 종자의 경쟁력 확보 및 국내 종자기업의 기술수준 향상을 위한 기술들의 개발과 적용이 시급한 상황이다. 이러한 종자 관련 기술들 중 품질 향상을 위한 핵심적인 기술은 종자 선별 기술이다. 본 연구에서는 종자의 가장 중요한 품질 지표인 발아력을 판별하기 위하여 엑스선 영상과 딥러닝 알고리즘을 적용하여, 종자의 품질을 예측하고자 한다. 이를 위하여 수박 종자에 대한 엑스선 영상을 촬영하고, 각 종자들을 상토 발아법을 이용하여 묘로 성장시키며 1차묘, 2차묘, 작은묘, 비정상, 불발아 등의 지표를 확인하였다. 또한 엑스선 영상에 대한 영상 처리적 분석과, 딥러닝 분류 알고리즘을 적용하여 종자 상태에서의 비파괴 판별 기술을 개발하고 비교, 평가하였다.

초분광 영상을 이용한 벼종자 발아여부 비파괴 판별기술 개발

홍석주 ( Suk-ju Hong ),이창협 ( Chang-hyup Lee ),김상연 ( Sang-yeon Kim ),김응찬 ( Eungchan Kim ),김기석 ( Ghiseok Kim ) 한국농업기계학회 2020 한국농업기계학회 학술발표논문집 Vol.25 No.1

농업의 반도체라 불리는 종자산업은 농업 분야 중 대표적인 고부가가치 산업으로, 관련 기술 개발과 경쟁이 전 세계적으로 활발하게 이루어지고 있다. 이러한 종자 산업에서 종자의 관리와 선별을 위해서는 종자의 품질을 검사하는 기술이 필요하며, 이 중 비파괴 계측 기술을 이용한 품질 평가 기술은 검사 대상인 농산물을 파괴하지 않는 전수 검사를 가능하게 한다. 이러한 농산물의 비파괴 계측 분야에서는 대상의 빛에 대한 반사, 산란, 형광 등 정보를 이용하여 품질을 계측하는 분광계측 및 분석기술이 활발히 적용되었다. 본 연구에서는 대상의 분광 정보를 영상으로 획득하는 초분광 영상 기술을 적용하여 벼종자의 중요 품질요소인 발아 여부를 예측하는 모델을 만들고자 하였다. 가속퇴화를 거친 벼종자에 대하여 가시광-근적외선 대역의 초분광 영상을 획득하였으며, 영상처리 및 다변량분석 기법을 적용하여 발아여부 판별 모델을 개발하였다.