Application of a 3D tractor-driving simulator for slip estimation-based path-tracking control of auto-guided tillage operation

Han, Xiongzhe,Kim, Hak-Jin,Jeon, Chan Woo,Moon, Hee Chang,Kim, Jung Hun,Yi, Sang Yup Elsevier 2019 BIOSYSTEMS ENGINEERING Vol.178 No.-

<P>Successful adoption of auto-steering agricultural vehicles in Korean paddy fields depends on the ability to accurately follow a full path, including straight and curved paths for agricultural tasks and headland turning in each row, in the presence of sliding caused by wet ground conditions in relatively small fields. To improve the performance of an autonomous tillage tractor originally developed in our previous study, this article describes a simulation study, conducted using a 3D computer simulator, that accounts for the slippery motion of a virtual tractor on ground with varying adherence properties, In addition, this study performed field evaluation of an auto-guided tillage tractor equipped with a slip estimation-based path-tracking algorithm that is robust to slippage in paddy fields. The test platform was built with a 60-kW tractor equipped with an RTK-GPS (real-time kinematic-global positioning system) and IMU (inertial measurement unit) system, a navigation controller that could estimate the sideslips of the tractor in real-time, and a three-point hitch dynamometer that could measure tillage drafts. The results of the computer simulation confirmed that the slip estimation-based path-tracking algorithm was superior in guiding the tractor along curved paths on the ground with relatively low coefficients of cornering stiffness by reducing the lateral deviations as compared with those obtained with the conventional look-ahead distance method. In field tests run in an arable field, the autonomous tillage tractor equipped with the slip observer algorithm demonstrated improved performance as compared to the previously developed system by reducing the RMSE (root mean square error) for lateral deviation on curved paths from 29 cm to 15 cm.</P> <P><B>Highlights</B></P> <P> <UL> <LI> A computer simulator that can account for slippery motion of vehicle is developed. </LI> <LI> The system includes an anti-sliding controller for autonomous path tracking. </LI> <LI> Application of the tested tractor to full-path tillage operation is satisfactory. </LI> </UL> </P>

자율경운 트랙터를 위한 다변형 포장 자동 경로생성 기술 연구

한웅철 ( Xiongzhe Han ),전찬우 ( Chan-woo Jeon ),김학진 ( Hak-jin Kim ) 한국농업기계학회 2016 한국농업기계학회 학술발표논문집 Vol.21 No.2

농지의 경로 계획은 농작업의 질을 향상이 가능하며 현장 운영 생산 에너지 소비도 절감이 가능하다. 자율주행 트랙터는 복잡한 형상 조건을 갖는 포장에서는 그에 대응하는 올바른 주행 경로계획이 주어질 때에만 그 적용이 가능하다. 선행 연구에서는 직사각형 형태의 농지에 적합한 주행과 선회방식을 포함한 경로생성 알고리즘 개발을 활발히 진행되었으나 다변형 형태와 같은 다른 구획형태에 따른 농작업 최적 경로에 대한 연구는 미비한 상태이다 본 연구에서는 다변형 형태의 포장에 적합한 경로생성과 탐색 알고리즘 개발을 위하여 포장 외부 경계선, 유효 작업 폭, 작업 겹침 량, 주행 방향 (0~180도) 및 회경작업부(Headland)에서 회경 횟수 입력 정보를 이용하는 다변형 포장 경로생성 알고리즘을 개발하고자 하였다. 이를 위해 포장 외부 경계 정보는 포장의 꼭짓점을 UTM(Universal Transverse Mercator) 좌표로 변환한 다변형태 정보를 포함하는 Text 파일형태로 저장하고 포장 내부 경계정보는 회경작업부에서 결정된 회경 횟수를 이용 생성하는 방식으로 개발하였다. 회경 횟수는 2~3 회로 가정하였으며 첫 번째 회경 경로과 포장 외부경로선간의 거리는 유효 작업 폭 절반 (w/2)로 유지 생성하고 나머지 회경 경로는 유효 작업 폭(w) 만큼의 거리를 유지하여 순차적으로 생성하는 방식이다. 복잡한 다변형 포장형태 내에서 미경지 작업 영역이 발생 방지를 위하여, MBB(Minimum Bounding Box) 원리 기반으로 왕복 직진작업 경로를 생성하였으며 사용자가 설정된 주행 방향 혹은 최적화 기법을 적용해 도출된 주행방향을 이용 MBB 내에서 평행선 생성 후 각 평행선과 포장 내부 경계선이 교차된 두 점을 트랙터 직진 주행의 작업 시작점과 종료점으로 도출하였다. 트랙터의 중복작업 영역과 회전 미 작업거리는 적합한 주행 방향에 따라 결정하였으며 내부 왕복작업부에 직진 경로와 포장경계선 방향이 수직방향 관계이면 중복작업 영역과 회전 미 작업 시간이 가장 작으며 수직 방향 관계가 아닌경우는 교차 각도 (θ=θ_경로-θ_포장)를 이용 회경작업부에서 회전을 위한 미 작업 영역 경로를 생성하였다. 또한, 다변형 포장에서 트랙터가 최적화 작업 방향으로 주행 시 회경 작업부에서 최소작업 시간을 소모하기 때문에 작업 효율을 개선하기 위해 일정한 주행 속도 (v)로 가정하였으며 X, R형 2가지 선회 형태에 따른 작업 소모 시간을 최적화 하고자 필드 분해법으로 이용 Convex형태의 다변형 포장 뿐만 아닌 non convex 형태에서 전역경로를 생성하였다.

Agricultural Engineering in China - Development Status and Future Outlook -

한웅철 ( Xiongzhe Han ) 한국농업기계학회 2023 한국농업기계학회 학술발표논문집 Vol.28 No.2

양봉 사양 관리용 다기능 운반차 적재함 개발

왕평안 ( Pingan Wang ),한웅철 ( Xiongzhe Han ),손영선 ( Youngsun Son ),석지후 ( Jihoo Seok ),모창연 ( Changyeon Mo ),김동원 ( Dongwon Kim ),김준호 ( Joonho Kim ),정원기 ( Wonki Chung ) 한국농업기계학회 2021 한국농업기계학회 학술발표논문집 Vol.26 No.1

현재 국내 양봉업자들은 양봉의 운반, 관리 등을 대부분 수작업으로 진행하고 있으며, 양봉업 종사자의 연령대가 대부분 고령이기 때문에 노동시간을 줄이고, 벌들을 효율적으로 관리하기 위해 양봉 사양 관리용 이동 보조 장치 개발이 필요하다. 본 연구에서는 벌통의 식별, 운반, 운송 등 기능을 갖춘 전기 충전 기반의 벌통 운송용 이동 장비를 구현한다. 실험 초기 단계에서는 춘천시 주변 다수 양봉장에 방문하여 양봉장의 환경구조와 현재 사용 중인 이동 양봉장치에 대해서 구체적인 수요를 조사하였다. 다양한 양봉장의 규모 크기를 고려하여 최종적으로 소형 전동무한궤도운반차(LNS-T500)를 본 연구의 양봉 사양 관리용 이동 플랫폼으로 선정하였다. 기존의 단층 적재함 구조에서 다층구조로 설계하여 전개할 수 있는 소비 및 벌통 전용 적재함을 개발하였다. 시뮬레이션 정응력 분석을 통해 견고성과 변형성에 대해서 테스트하여 다종 운영환경에서 동작이 원활하게 이루어지는 것을 확보하였다. 개발한 적재함은 소비 운송 효율을 높일 뿐만 아니라 이동 양봉작업 시 적재함을 전개하여 벌통 운반하는데 유용하게 사용된다.

Improved A* Algorithm Applied to Robot Autonomous Navigation and Environment Mapping in Orchard Environments Using LiDAR and gMapping-based SLAM

( Seul-gi Choi ),( Xiongzhe Han ) 한국농업기계학회 2023 한국농업기계학회 학술발표논문집 Vol.28 No.2

Amid the rapid evolution of research in artificial intelligence, autonomous robotics, especially in the realm of self-driving robots, is gaining significant attention. Simultaneous Localization and Mapping (SLAM) technology enables mobile robots to comprehend their surroundings and navigate autonomously. This paper focuses on autonomous navigation and obstacle avoidance research in orchard environments using the mobile robot platform Scout 2.0, which relies on the primary sensor, LIDAR. In brief, the research entails introducing the Scout 2.0 robot platform and establishing its hardware infrastructure, capturing and storing environmental data using the gmapping algorithm, leveraging this data to understand the terrain and achieve precise robot localization, employing the A* algorithm to generate robot paths while considering complex environments, and continually monitoring sensor data for safe trajectory adjustments during autonomous navigation. This study summarizes the critical aspects of research, from map creation with gmapping to secure and efficient autonomous navigation within challenging orchard terrain, ultimately contributing to improved efficiency and productivity in agricultural operations.

초분광 이미지와 Logistic Regression 모델 기반 마늘 표면 손상 검출 모델 개발

왕평안(Pingan Wang),한웅철(Xiongzhe Han) 한국산학기술학회 2023 한국산학기술학회논문지 Vol.24 No.7

마늘은 강력한 항바이러스성과 면역력을 높이는 특성으로 인해‘천연 항생제’라는 별명을 얻었다. 그러나 썩은 마늘은 메스꺼움이나 식중독을 유발하고, 심지어 사람들의 생명을 위협할 수도 있다. 본 논문은 초분광 카메라 기술을 기반으로 마늘 표면 손상 모델과 기계 학습 분류 모델을 개발하였다. 표면손상 유무 검출을 위해 전처리한 마늘식물은 총 104종으로 이 중 80종의 마늘은 모델 개발 용도, 24종의 마늘은 시험 검증용도로 사용됐다. 우선 ENVI에서 상이한 손상 조건에서의 결과 분석을 위해 식생 지수를 사용하였다. 그런 다음 579개 픽셀에 logistic regression 모델 교육을 진행하였다. 마지막으로, 모델의 실제 검증을 위해 24개의 마늘에 위 모델을 적용하여 검증하였다. 그 결과 NDVI 기술은 마늘 표면의 곰팡이 부분을 명확하게 식별할 수 있었으나, 작은 면적의 손상에 대해서는 파악하지 못하였다. Logistic regression 방법으로 설정된 분류 모형의 정확도는 90%로 나타났으며, 마늘 표면의 경미 손상 구역도 식별할 수 있었다. 이 마늘 손상 식별 모델의 개발은 마늘 손상 부위 검출에 초분광 기술을 확장시켜 적용하였고 이로 인하여 손상된 마늘을 선별하는 비용이 절감되었다. The potent antiviral and immune-boosting properties of garlic have earned it the moniker natural antibiotic. On the other hand, rotten garlic can result in nausea, food poisoning, and possibly endanger peoples lives. This paper aims to develop a garlic superficial injury model based on hyperspectral camera technology and a machine-learning classification model. One hundred and four garlic plants were pretreated for surface damage, of which 80 and 24 were used for model development and test validation, respectively. First, the Normalized Difference Vegetation Index (NDVI) method was used in ENVI to analyze the results under different damage conditions. Subsequently, 579 pixels were selected for Logistic Regression Model training. Finally, 24 garlic bulbs were used for actual verification of the model. The NDVI technology could identify the mildew part of the garlic surface but could not identify the small area. The accuracy of the classification model established by the logistic regression method can reach 90%. The initial small lesions on the surface of garlic can also be identified. The development of this garlic damage identification model extends the application of the hyperspectral technique in garlic detection. Similarly, the cost of garlic damage detection was reduced.

Development of Autonomous Driving System for Orchard Spraying based on Visual Simultaneous Localization and Mapping

( Anditya Sridamar Pratyasta ),( Xiongzhe Han ),( Jongwoo Ha ) 한국농업기계학회 2023 한국농업기계학회 학술발표논문집 Vol.28 No.2

Agricultural robotics and precision farming have garnered increasing attention, particularly with the developing of autonomous robot sprayers based on visual Simultaneous Localization and Mapping (SLAM). Orchard navigation presents a formidable challenge due to GNSS signal interruptions caused by the dense tree canopy, high-cost system infrastructure when using a 3D Lidar-based sensor, and the system’s inherent complexity. Simultaneously, the spraying system must determine the spray amount based on canopy size to enhance efficiency. This study employed visual SLAM based on a Real-Time Appearance-Based Map (RTAB-Map), using a depth camera as a single sensor to plan the robot's navigation path within a specially designed artificial tree-based orchard system to overcome these disadvantages. The orchard navigation path was established by creating a local map using 3D mapping and robot position estimation derived from the obtained depth data. Additionally, a differential-drive robot was utilized as an experimental platform to achieve obstacle avoidance performance and navigation accuracy in various environmental conditions. In the navigation accuracy experiment, an average navigation error was expected within a 15 cm range in outdoor and indoor experiments. The proposed prototype system is poised to be implemented for pesticide spraying in orchard fields on an industrial robotic platform.

A Study on the System for measuring the Activity of Honeybees inside and outside the Beehive

Kim Joon Ho,Han Wook,Chung Wonki,Mo Changyeon,Han Xiongzhe,Kim Subae 국제문화기술진흥원 2022 International Journal of Advanced Culture Technolo Vol.10 No.4

Recently, due to rapid climate change, the population of honey bees has decreased, posing a great threat to the existence of the Earth's ecosystem. In particular, the colony collapse phenomenon in which bees disappeared nationwide in early 2022 had devastating consequences for beekeepers. In order to solve the problems of beekeeping due to climate change, it is urgent to develop a system that can monitor the situation inside the hive through various IoT sensors. This paper develops a system that can measure the activity of bees inside the hive and uses it to measure the number of times of entry and exit of the hive. The data measured by the developed system can be monitored in real time on a smartphone through the cloud server. The system developed in this paper can monitor the ecology of bees according to climate change and measure internal and external bee activities. Using this method, it is possible to check in advance for the colony collapse phenomenon in which bees disappeared in early 2022. This is very meaningful in that it presents an alternative that can identify the cause of the problem through early detection.

다수 무인비행체 협업주행 시스템 기반 작물의 입면적지수 및 높이 측정 정확도 향상 연구

이강빈 ( Kangbeen Lee ),한웅철 ( Xiongzhe Han ) 한국농업기계학회 2022 한국농업기계학회 학술발표논문집 Vol.27 No.2

작물의 잎 면적 지수(LAI, Leaf area index)와 높이는 식물의 성장수준 및 생산성을 파악할 수 있는 중요한 정보이다. 특히 LAI는 식물의 캐노피 구조를 이해하는 데 가장 많이 사용되며, 최근에는 무인비행체(UAV)를 이용하여 LAI를 측정하는 연구들이 활발하게 진행되고 있다. 단일 UAV를 이용하여, 벼와 같이 흔들림에 민감한 작물들의 표현형 측정 시에 긴 주행시간, 바람으로 인한 흔들림, 그리고 정합되는 이미지 간 시간 차이에 의해 작물의 형태가 달라질 수 있다. 이러한 원인으로 인해 작물의 LAI 및 높이 측정값의 정확성이 감소하게 된다. 이를 해결하기 위해 다수의 UAV를 협업 주행하여, 카메라 동기화를 통해 동시간에 다각도에서 촬영된 영상을 기반으로 3D Point Cloud를 생성하여 정합 되는 이미지 간의 시간 차이 발생을 극복시켜 LAI 및 높이에 대한 측정값을 얻고, 이 측정값을 단일 UAV 주행 시의 측정 값과 비교 하고자 한다. 본 연구에서 표현형 측정 기초 실험을 위해, 벼 모형을 이용한 필드 샘플을 구성하여 두 대의 UAV(T810-Hexa) 간의 간격 및 촬영 포인트 설정으로 오버랩 정도를 조절할 수 있는 비행 경로생성 프로그램 및 협업주행 프로그램을 개발하여 테스트를 진행한다. 이후 단일 UAV 주행, 및 다수 UAV 주행 및 영상 촬영을 통해 3D Point Cloud를 생성하고, 표현형을 분석하여, 표현형 수준, LAI 및 작물의 높이를 측정하고, 각 소요된 비행시간을 비교하여, 다수 UAV 협업주행이 표현형 측정에 정확도 향상 가능성을 제시하고자 한다.

작물 표현형 향상을 위한 지상 로봇과 드론의 협업 시스템 연구

이가학 ( Jiaxue Li ),한웅철 ( Xiongzhe Han ) 한국농업기계학회 2022 한국농업기계학회 학술발표논문집 Vol.27 No.2

To solve the limitations of unmanned ground vehicles (UGV) and Unmanned aerial vehicles (UAV) which cannot accurately obtain phenotypic information and are affected by the terrain in plant phenotyping, this paper proposed a method for plant phenotyping analysis based on a collaborative system between UGV and UAV. Firstly, it introduces the development history of plant phenotyping. Then, it analyzes the application and practical problems of various phenotype research technology carrier platforms in indoor and outdoor plant research. To better understand the current application of cooperative systems in precision agriculture, this paper focuses on analyzing the key technologies and application of the UGV and UAV cooperative systems in precision agriculture, including trajectory planning, communication, algorithms, pesticide spraying, soil detection, farmland monitoring, etc. Finally, the UGV and UAV cooperative systems for plant phenotyping is proposed. UGV as the landing platform of the UAV, it solves the problem of the short flight time of the UAV to a certain extent, and the UAV plans the optimal working path for the UGV. The system server drives the UAV to complete the acquisition of aerial data, extracts the information, identifies the abnormal area, and then operates the UGV to detect and collect data. Examples include extracting information about the plant structure, plant height, the quantity of flowers and fruits, etc. Then commands are sent to drive the plant protection machinery to complete the protection work. This research provides some guidance and suggestions for developing the precision agricultural robot collaborative system.