과실의 실시간 기하학적 정보 계측을 위한 3차원 영상 측정 시스템 및 분석기술 개발

홍석주 ( Suk-ju Hong ),이아영 ( Ahyeong Lee ),김진세 ( Jinse Kim ) 한국농업기계학회 2023 한국농업기계학회 학술발표논문집 Vol.28 No.2

과실의 품질은 색, 당도, 모양, 크기, 내/외부 결함 등 여러 요소에 의하여 결정된다. 특히 모양과 크기와 같은 기하학적 정보는 과실을 선별하는 데 있어 주요 요인 중 하나이다. 하지만 형상 이상이 있는 기형과의 경우 대부분의 농산물 산지유통센터에서는 수작업으로 선별이 수행되고 있다. 과실은 공산품과 달리 불균형한 형상을 보이기 때문에, 한 면에서의 영상으로는 온전한 기하학적 정보를 획득하기 어렵다. 농업 분야에서는 복합적 정보를 취득하기 위하여 다면에서 2차원 영상을 촬영하고 3차원으로 복원하는 연구가 수행되고 있지만, 특징점 매칭이나 점군 간 정합 등의 시간 소모적 과정 때문에 실시간 시스템의 구현이 어려워 과실의 선별 라인에 적용되기는 어렵다. 본 연구에서는 과실의 3차원 영상을 실시간으로 취득하기 위해, 다면에서 과실의 영상을 촬영하는 시스템을 구축하고 3차원 복원의 과정을 단순화하였다. 구축된 시스템을 검증하기 위하여, 참외에 대한 과실 3차원 영상을 취득하고 실측 데이터와의 비교를 통해 기하학적 정보 복원의 정확도를 분석하였다.

3D-IC 반도체 모듈의 내부결함 검사를 위한 초분광 영상기반 검출모듈 개발

홍석주 ( Suk-ju Hong ),이아영 ( Ah-yeong Lee ),김기석 ( Ghiseok Kim ) 한국농업기계학회 2017 한국농업기계학회 학술발표논문집 Vol.22 No.1

현대의 스마트폰 및 태블릿pc등을 가능하게 만든 집적 기술 중의 하나는 3차원 집적 회로(3D-IC)와 같은 패키징 기술이다. 이러한 첨단 3차원 집적 기술은 메모리집적을 통한 대용량 메모리 모듈 개발뿐만 아니라, 메모리와 프로세서의 집적, high-end FPGA, Back side imaging (BSI) 센서 모듈, MEMS 센서와 ASIC집적, High Bright (HB) LED 모듈 등에 적용되고 있다. 3D-IC의 3차원 모듈 제작 시에는 기존에 발생하지 않았던 여러 가지 파괴 모드들이 발생하고 있는데 Thermal/Photonic Emission 장비 등 기존의 2차원 결함분리 (Fault Isolation) 기술로는 첨단의 3차원 적층 제품들에서 발생하는 불량을 비파괴적으로 혹은 3차원적으로 분리하는 것이 불가능하므로, 비파괴 3차원 결함 분리 기술은 향후 선행 제품 적기 개발에 매우 필수적인 기술이다. 본 연구는 3D-IC 반도체의 비파괴적 내부결함 검사를 위하여 가시광선-근적외선 대역(351nm~1770nm)의 InGaAs (Indium Galium Arsenide) 계열 영상검출기 (imaging detector)를 사용하여 분광 시스템 광학 설계를 통한 초분광 영상 기반 검출 모듈을 제작하였다. 제작된 초분광 영상 기반 검출 모듈을 이용하여 구리 회로 위에 실리콘 웨이퍼가 3단 적층 된 반도체 더미 샘플의 초분광 영상을 촬영하였으며, 촬영된 초분광 영상에 대하여 Chemometrics model 기반의 분석기술을 적용하여 실리콘 웨이퍼 내부의 집적 구조에 대한 검사가 가능함을 확인하였다.

초분광 영상을 이용한 벼종자 발아여부 비파괴 판별기술 개발

홍석주 ( Suk-ju Hong ),이창협 ( Chang-hyup Lee ),김상연 ( Sang-yeon Kim ),김응찬 ( Eungchan Kim ),김기석 ( Ghiseok Kim ) 한국농업기계학회 2020 한국농업기계학회 학술발표논문집 Vol.25 No.1

농업의 반도체라 불리는 종자산업은 농업 분야 중 대표적인 고부가가치 산업으로, 관련 기술 개발과 경쟁이 전 세계적으로 활발하게 이루어지고 있다. 이러한 종자 산업에서 종자의 관리와 선별을 위해서는 종자의 품질을 검사하는 기술이 필요하며, 이 중 비파괴 계측 기술을 이용한 품질 평가 기술은 검사 대상인 농산물을 파괴하지 않는 전수 검사를 가능하게 한다. 이러한 농산물의 비파괴 계측 분야에서는 대상의 빛에 대한 반사, 산란, 형광 등 정보를 이용하여 품질을 계측하는 분광계측 및 분석기술이 활발히 적용되었다. 본 연구에서는 대상의 분광 정보를 영상으로 획득하는 초분광 영상 기술을 적용하여 벼종자의 중요 품질요소인 발아 여부를 예측하는 모델을 만들고자 하였다. 가속퇴화를 거친 벼종자에 대하여 가시광-근적외선 대역의 초분광 영상을 획득하였으며, 영상처리 및 다변량분석 기법을 적용하여 발아여부 판별 모델을 개발하였다.

다중 깊이 카메라 기반 배 과실의 실시간 3차원 복원 및 부피 측정 기술 개발

홍석주(Suk-Ju Hong),이아영(Ahyeong Lee),김진세(Jinse Kim) 한국산학기술학회 2023 한국산학기술학회논문지 Vol.24 No.10

과일의 품질은 색택, 크기, 모양, 결함, 당도 등 여러 요인에 의하여 결정된다. 하지만 과실의 크기, 모양 등 기하학적 정보에 대한 선별은 대부분의 농산물 산지유통센터에서 수작업으로 이루어지고 있다. 과실의 기하학적 정보의 처리를 자동화하기 위하여 2차원 영상 기반의 연구들이 수행되었지만, 한 면에 대한 2차원 영상으로 얻을 수 있는 정보는 제한적이다. 3차원 영상 정보를 농산물에 이용하고자 하는 선행 연구들이 수행되었지만, 복잡한 처리 과정으로 인해 수확 후 선별 라인에서 적용 가능한 실시간의 처리가 불가능하였다. 본 연구에서는 이러한 문제점을 해결하고 과일의 3차원 기하학 정보를 정확히 측정하고자 실시간 3차원 영상 측정 기술을 개발하고, 배 과실에 대하여 부피 계측 정확도를 평가하였다. 여러 개의 RGBD 카메라를 이용하여 여러 면의 영상 촬영이 동시에 이루어지도록 하였으며, 카메라 간의 위치 보정을 사전에 수행하여 특징점 매칭 등 시간 소모적인 작업이 촬영 시마다 수행되지 않도록 하였다. 또한, 영상 및 점군 처리를 통하여 정확한 부피 계측이 가능한 알고리즘을 설계하였다. 그 결과, 결정계수 0.9931, 평균 절대 백분율 오차 0.61%의 성능으로 배 과실의 부피가 계측 가능함을 확인하였다. The quality of fruits is determined by various factors, such as color, size, shape, defects, and sweetness. However, at most agricultural processing centers, the grading of fruits based on geometric information like size and shape is mostly done manually. Research has been conducted on the use of 2D image-based techniques to automate the processing of geometric information of fruits, but the information obtainable from a single-view 2D image is limited. Previous studies have explored the use of 3D imaging information for fruits, but due to complex processes, real-time processing applicable at fruit sorting lines has been challenging. In this study, we aimed to address these issues by developing real-time 3D measurement technology to accurately measure the 3D geometric information of fruits, and we evaluated its volume-measurement accuracy for pear fruits. Multiple RGBD cameras were used to simultaneously capture images from multiple sides, and pre-calibration of camera positions was performed to avoid time-consuming tasks such as feature-point matching for each measurement. Furthermore, an algorithm that allows precise volume measurement was developed through image and point cloud processing. As a result, the volume of pear fruits can be measured with a coefficient of determination of 0.9931 and a mean absolute percentage error of 0.61%.

페로몬 트랩 영상에서의 해충 검출을 위한 딥러닝 기반 객체 검출 알고리즘의 적용

홍석주 ( Suk-ju Hong ),남일 ( Il Nam ),김상연 ( Sang-yeon Kim ),김응찬 ( Eungchan Kim ),이창협 ( Chang-hyup Lee ),안세범,박일권 ( Il-kwon Park ),김기석 ( Ghiseok Kim ) 한국농업기계학회 2021 한국농업기계학회 학술발표논문집 Vol.26 No.1

솔껍질깍지벌레는 소나무에 피해를 입히는 산림 해충으로, 한국의 산림에 많은 환경적, 경제적인 손해를 미친다. 이러한 솔껍질깍지벌레의 발생을 감시하기 위해서 페로몬 트랩 기반의 방식들이 이용된다. 페로몬 트랩에 잡힌 해충의 수를 통하여 솔껍질깍지벌레의 발생 정도를 파악한다. 트랩에 잡힌 해충의 수는 주로 사람이 세는 방식으로 수행이 되어 왔는데, 이는 노동집약적이며 시간 소모적이고, 숙련자의 작업을 필요로 한다. 또한 세는 과정에서의 피로도와 작업자의 숙련도에 따라 오차가 발생하기도 한다. 이러한 수동 카운팅 방식이 아닌, 영상 기반의 자동 카운팅을 적용하기 위하여 본 연구에서는 딥러닝 기반의 객체 검출 모델들을 적용하여 트랩에 잡힌 솔껍질깍지벌레의 검출 알고리즘 개발을 목표로 하였다. 1.5mm~2mm 크기의 작은 해충인 솔껍질깍지벌레의 검출을 위하여 이미지 크라핑 방식을 사용하였으며, 크라핑 조건, 모델 종류, 인풋 종류 등의 조건을 조합하여 모델을 학습시키고 성능을 비교하였다.

수박 종자의 발아력 예측을 위한 엑스선 영상 및 딥러닝 분류 알고리즘의 적용

홍석주 ( Suk-ju Hong ),이창협 ( Chang-hyup Lee ),( Nandita Irasaulul Nurhisna ),김성제 ( Sungjay Kim ),김기석 ( Ghiseok Kim ) 한국농업기계학회 2021 한국농업기계학회 학술발표논문집 Vol.26 No.2

세계 종자시장은 곡물생산량의 불확실성 및 식량자원 확보의 중요성 증대, 종자개발을 통한 식품, 의약품 등 응용산업 확대, 유전자변형 작물 생산 확대, 기후변화 등으로 인한 지속적인 품종개발 요구 등의 요인으로 빠른 성장세를 보이고 있다. 이러한 종자 시장은 거대 다국적 기업들이 60%를 점하고 있으며, 세계 시장에서 한국 종자 산업이 차지하는 비율은 1.3%가량에 불과하다. 이러한 상황에서 국내 종자의 경쟁력 확보 및 국내 종자기업의 기술수준 향상을 위한 기술들의 개발과 적용이 시급한 상황이다. 이러한 종자 관련 기술들 중 품질 향상을 위한 핵심적인 기술은 종자 선별 기술이다. 본 연구에서는 종자의 가장 중요한 품질 지표인 발아력을 판별하기 위하여 엑스선 영상과 딥러닝 알고리즘을 적용하여, 종자의 품질을 예측하고자 한다. 이를 위하여 수박 종자에 대한 엑스선 영상을 촬영하고, 각 종자들을 상토 발아법을 이용하여 묘로 성장시키며 1차묘, 2차묘, 작은묘, 비정상, 불발아 등의 지표를 확인하였다. 또한 엑스선 영상에 대한 영상 처리적 분석과, 딥러닝 분류 알고리즘을 적용하여 종자 상태에서의 비파괴 판별 기술을 개발하고 비교, 평가하였다.

딥러닝 객체 분할 모델 및 RGB-D 영상 기반 수확 전 토마토 생체중 예측 기술 개발

홍석주 ( Suk-ju Hong ),박성민 ( Seongmin Park ),김상연 ( Sang-yeon Kim ),이창협 ( Chang-hyup Lee ),김응찬 ( Eungchan Kim ),김성제 ( Sungjay Kim ),류지원 ( Jiwon Ryu ),노승우 ( Seung-woo Roh ),( Nandita Irsaulul Nurhisna ),김대 한국농업기계학회 2023 한국농업기계학회 학술발표논문집 Vol.28 No.1

과실의 생장단계에서의 크기, 형상, 색상은 과실의 품질과 수확시기에 대한 정보를 담고 있다. 특히, 과실의 크기의 경우 과실의 생장 정도와 최종 생산량을 예측하는 데 있어 중요한 정보이다. 이러한 외부 표현 정보에 대한 모니터링을 위해, 영상을 기반으로 한 많은 연구들이 수행되었다. 특히 최근 영상기반의 연구들에서는, 합성곱신경망이나 트랜스포머 등 딥러닝 모델들이 이전의 특징추출 기반의 모델들 대비 높은 성능을 보인다. 본 연구에서는, 재배 중인 토마토의 RGB-D 영상을 촬영하여 크기를 추정하고 크기정보를 통하여 토마토의 생체중을 예측하고 그 성능을 평가하고자 하였다. 영상은 시설원예 토마토들에 대하여 촬영되었으며, 촬영된 토마토는 수확후 부피 및 무게를 측정하였다. 영상 내 토마토의 영역은 딥러닝 객체분할 모델로 인식되었으며, 인식된 영역의 크기 정보를 통해 토마토의 생체중이 예측되었다.

무인항공기 영상에서의 조류 및 차량 검출을 위한 딥러닝 기반 검출 모델 개발

홍석주 ( Suk-ju Hong ),한윤혁 ( Yunhyeok Han ),김상연 ( Sang-yeon Kim ),이아영 ( Ah-yeong Lee ),김기석 ( Sunshin Lee ) 한국농업기계학회 2019 한국농업기계학회 학술발표논문집 Vol.24 No.1

야생동물에 대한 주기적인 모니터링은 생태계의 보전과 관리, 이상 징후의 포착에 필수적이다. 특히 한국의 경우 주기적으로 발생하고 있는 조류 인플루엔자의 예찰을 위해 야생조류에 대한 효과적 예찰 시스템이 요구되는 상황이다. 야생동물에 대한 항공영상 기반의 조사는 1920년대부터 수행되었으며 다른 조사방법들 대비 지상으로 접근하기 어려운 지점에 대한 접근이 가능한 점, 넓은 범위의 영역에 대한 조사가 가능한 점 등의 장점이 있다. 하지만 유인항공기를 이용하는 기존 연구의 경우 비용 소모가 크고, 숙련된 비행사가 필요하였으며, 비행사고로 인한 위험성 또한 존재했다. 이러한 단점을 극복하기 위하여 최근 야생동물에 대한 항공 조사에 소형 무인항공기를 적용하는 연구들이 활발히 진행되고 있다. 기존의 야생 조류에 대한 항공 조사의 경우 주로 사람이 직접 영상에서 새를 검출하거나, 고전적인 영상처리 방식이 사용되었다. 하지만 이러한 고전적 영상처리 및 머신러닝 방법들은 해당 방법들이 적용된 특정 환경에서 적용되었으며, 다양한 환경에서 일관성 있게 적용되기 힘들다. 최근 영상데이터에 대한 분류, 검출 등의 분석 작업에서는 CNN(Convolutional Neural Networks) 기반의 알고리즘들이 주목받고 있으나, 현재까지 야생조류의 검출에 이를 적용하려는 사례는 많지 않다. 따라서 본 연구에서는 야생조류의 서식지를 비롯한 조류독감 방역대의 항공 조사를 위한 딥러닝 기반 야생 조류와 차량에 대한 검출 모델을 개발하고자 하였다. 모델의 학습을 위해 실제 야생조류, 모형조류, 차량에 대한 영상을 다양한 환경에서 수집하여 데이터세트를 구성하였으며, Faster R-CNN, R-FCN, Retinanet, SSD, YOLO 등의 딥러닝 검출 구조와 Resnet, Inception, Mobilenet 등의 특징 추출 네트워크를 조합하여 검출 모델을 구성하고 성능을 비교 평가하였다.

RGB영상 기반 시설오이 검출을 위한 딥러닝 객체검출 모델의 적용

홍석주 ( Suk-ju Hong ),김상연 ( Sang-yeon Kim ),이창협 ( Chang-hyup Lee ),김응찬 ( Eungchan Kim ),김기석 ( Ghiseok Kim ) 한국농업기계학회 2020 한국농업기계학회 학술발표논문집 Vol.25 No.2

최근 계측, 인공지능, IOT 등 기술의 고도화와 스마트팜에 대한 이러한 기술들의 적용이 활발히 이루어지고 있다. 이러한 스마트팜 기술 중 대상 작물에 대한 영상 기반 인식 기술은 로봇 기반 수확 및 모니터링을 위하여 필수적이다. 특히 최근 합성곱신경망(Convolutional Neural Network, CNN) 기반의 딥러닝 모델들은 영상 분류, 분할, 검출 분야에서 기존 모델들 대비 높은 성능을 보이면서 스마트팜에 필요한 영상인식 기술에서 다양하게 적용되고 있다. 일반적으로 이러한 영상 인식 모델들은 모델들의 크기, 구조에 따라 속도와 성능의 차이가 존재한다. 시스템의 요구 속도와 성능에 따라서 다양한 모델들이 적용될 수 있으므로, 시스템 적용에 앞서 이러한 모델들의 최적 속도와 성능에 대한 비교평가가 필요하다. 본 연구에서는 RGB 영상 기반 스마트팜 내부 오이 과실에 대한 검출 기술을 개발하기 위하여 다양한 속도의 딥러닝 검출 모델을 적용해보고, 정확도 결과를 비교하였다.

토마토 과실의 검출 및 생육단계 추정을 위한 RGB-D 영상과 딥러닝 객체분할 모델의 적용

홍석주 ( Suk-ju Hong ),이창협 ( Chang-hyup Lee ),박성민 ( Seongmin Park ),김상연 ( Sang-yeon Kim ),김응찬 ( Eungchan Kim ),김성제 ( Sungjay Kim ),노승우 ( Seung-woo Roh ),누르히스나 ( Nandita Irsaulul Nurhisna ),류지원 ( Jiwon Ry 한국농업기계학회 2022 한국농업기계학회 학술발표논문집 Vol.27 No.2

토마토는 대표적인 원예작물 중 하나로, 맛을 비롯하여 항산화, 항염증, 항암 효과 등의 다양한 건강적 이점을 갖는다. 최근 각광받는 스마트팜 분야에서는, 원예작물의 과실의 생장단계 모니터링 및 수확을 위한 영상인식기술에 대한 연구들이 활발히 수행되고 있다. 이러한 기술은 농가의 생산량 예측 뿐 아니라 수확의 자동화를 위해서도 필수적이다. 최근 영상 기반의 연구들에서는, 딥러닝 기반의 모델들이 활발히 사용되고 있다. 특히 객체의 영역을 찾아내는 객체 분할 영역 또한 합성곱신경망이나 트랜스포머 등의 딥러닝 알고리즘이 기존 방식들 대비 높은 성능을 보인다. 본 연구에서는 토마토 과실의 객체 분할 모델을 개발하기 위하여 토마토 농가의 RGB-D 영상을 촬영하여 수집하였다. 수집된 데이터는 객체 영역이 폴리곤 형태로 라벨링되었으며, 학습 및 평가를 거쳐 여러 객체 분할 모델들의 성능이 비교 평가되었다.