Effects of the Position and Orientation Inaccuracies in Haptic Guidance on the Task Performance in Teleoperation Systems

Chanyoung Ju(주찬영),Sungjun Park(박성준),Sangsoo Park(박상수),Hyoung Il Son(손형일) 제어로봇시스템학회 2017 제어·로봇·시스템학회 논문지 Vol.23 No.11

This study evaluates the usefulness of haptic guidance and investigates the effect of inaccuracy in haptic guidance on the task performance. Both position inaccuracy and orientation inaccuracy were considered. The peg-in-hole task was conducted as a benchmark test for evaluation, and a psychophysical study was performed and analyzed on eight inaccuracy combinations. In conclusion, the haptic guidance showed outstanding performance in terms of task completion time, position tracking performance, contact force, and total force, but the haptic guidance with severe orientation inaccuracy caused serious complications.

농업용 멀티 UAV의 햅틱 원격제어

주찬영 ( Chanyoung Ju ),박영주 ( Youngju Park ),이현진 ( Hyunjin Lee ),손형일 ( Hyoung Il Son ) 한국농업기계학회 2016 한국농업기계학회 학술발표논문집 Vol.21 No.2

최근 전 세계적으로 각광을 받고 있는 UAV(unmanned aerial vehicle)는 농업에서도 토양분석, 파종, 방제, 관개, 작물 모니터링 등 다양한 분야에 유용하게 적용될 것으로 전망되어 많은 연구가 진행되고 있다. 본 논문에서는 이러한 농업용 UAV의 작업 성능 향상을 위한 다수의 농업용UAV의 햅틱 원격제어 알고리즘을 제안한다. 멀티 UAV 햅틱 원격제어 시스템은 상용 소프트웨어 Mission Planner를 기반으로 개발되며 중앙 제어시스템과 UAV는 3DR Radio Telemetry를 사용하여 통신한다. Mission Planner에서 제공하는 기존 제어기는 centralized controller로 중앙 집중적이며 하나의 제어기가 모든 정보를 가지고 전 과정을 처리 및 제어하는 알고리즘이다. 이러한 centralized controller는 데이터 관리 면에서 매우 용이하고 구현이 비교적 편리하지만 중앙 제어기가 다운될 경우뿐만 아니라 단 하나의 UAV가 다운되더라도 군집제어가 되지 않기 때문에 농업용 UAV 경우와 같이 정형화되지 않은 실외 환경 조건에서는 더욱 적합하지 않다. 따라서 본 논문에서 제안하는 제어기는 decentralized control 방식으로 각 UAV에 탑재된 분산 제어기가 consensus를 이루어 군집제어를 하기 때문에 하나 이상의 UAV가 다운되더라도 군집제어가 이루어지는 제어기이다. 본 제어기에서는 멀티 UAV의 군집제어를 위해 그림 1과 같이 주변 환경에 대해서도 군집의 topology를 유지하는 고정형 topology 군집제어를 사용한다. 각 UAV는 point mass로 모델링되는 VP(virtual point)를 추종하도록 되어 있으며 각 VP는 제어입력p_i(t)=u^o_i+u^co_i+u^h_i을 받아 군집제어하게 된다. 여기서, u^c_i□R³ 는 VP 사이의 충동발지제어, u^o_i□R³는 장애물과의 충돌방지제어, u^co_i□R³는 UAV 상호간의 협조제어, u^h_i□R³는 작업자로부터의 원격제어명령이다. 현재 제안하는 햅틱 원격제어기의 실험을 진행 중이며 기존의 알고리즘 보다 우수한 성능을 보일 것으로 예상된다.

Ramadge-Wonham Theory 기반 이종 농업용 필드 로봇의 관리 제어

주찬영 ( Chanyoung Ju ),손형일 ( Hyoung Il Son ) 한국농업기계학회 2019 한국농업기계학회 학술발표논문집 Vol.24 No.1

최근 농생명 산업에서는 생산부터 소비까지 사물인터넷, 클라우드, 빅데이터, 인공지능, 로봇 등 첨단기술이 접목돼 자동화 및 로봇화가 진행되고 있다. 특히 무인 지상 로봇과 무인 항공 로봇의 형태로 논, 밭, 과수원, 시설재배 환경에서 예찰, 방제, 수확 등 다양한 농작업을 정밀하게 수행할 수 있는 지능형 로봇을 도입하여 노동력 절감과 효율성 향상을 도모하고 있다. 하지만 기존의 단일로봇 시스템의 경우, 활용성은 아직 일부 농작업에 그치고 있으며 확장성 측면에서 한계(완전 자동화, 생산 다양화 등)가 존재한다. 따라서 농업의 생산성과 효율성을 극대화하고 더 고도화된 스마트팜을 구축하기 위한 일환으로 이종 농업용 필드 로봇의 협업시스템을 도입하여 군집로봇 기반 체계적인 시스템을 구축해야 한다(그림 1). 이에 따라 본 논문에서는 이종 농업용 필드 로봇의 협업을 위한 Ramadge-Wonham Theory 기반 관리 제어기를 제안한다. 관리 제어 이론은 시스템의 동적특성 변화가 일정한 물리법칙을 따르는 시간의 함수로 귀결되지 않고, 불규칙한 시간간격에 비동기적으로 발생하는 사건에 의해 상태가 이산적으로 천이되는 이산사건시스템(Discrete event system)을 제어하는 메커니즘으로, 본 연구의 목적(이종 농업용 필드 로봇의 협업)을 달성하기 위해 고전 제어 이론에서 벗어나 새로 접근하였다. 이산사건시스템의 대표적 모델링 기법인 오토마타(Automata) 이론을 통해 경로 추종, 대형 유지, 장애물 회피, 미션 할당에 대한 동적거동을 모델링하였으며, 모델링된 각각의 오토마타를 병렬 합성하여 이종 농업용 필드 로봇의 전체적인 플랜트 모델을 구하였다. 또한 원하는 제어 목적을 달성할 수 있도록 제어사양(Specifications)을 모델링하였으며, 이로부터 비막힘성(Nonblocking)과 가제어성(Controllability)을 충족하는 관리 제어기를 구하였다. 즉, 관리 제어기는 플랜트의 다양한 제어사양을 충족하고 발생 가능한 사건들을 최대한 허용함으로써 복잡한 동적시스템에 대해서도 효율적으로 제어할 수 있다. 제안한 관리 제어기는 물리 기반 시뮬레이터에 구현하여 이를 검증하였다(그림 2). 따라서 이산사건시스템과 관리 제어 기반의 접근법은 농업용 이종 로봇의 협업을 위한 자동화 및 제어시스템의 개발에 실현가 능성을 갖으며, 향후 보다 복잡하고 다양한 임무를 달성하기 위한 농업용 로봇시스템에 대해서도 효과적일 것으로 판단된다. 향후 연구에는 다양한 농작업 시나리오를 통해 이종 농업용 필드 로봇 시스템에 대해 엄밀히 검증 및 분석할 계획이다.

농업용 군집드론 시스템을 제어하기 위한 관리제어기 설계

주찬영(Chanyoung Ju),손형일(Hyoung Il Son) 제어로봇시스템학회 2018 제어·로봇·시스템학회 논문지 Vol.24 No.11

A discrete event systems (DES) based approach is an efficient method to control complex dynamic systems. This paper describes a DES which uses supervisory control theory to control multiple. Agricultural unmanned aerial vehicles (UAVs). Finite state automata (FSA) are used as a modeling tool to design a supervisor to coordinate the behavior of multiple UAVs. In this paper, DES models for obstacle avoidance, path following, formation control, and task control are modeled by the FSA and controlled by the supervisor. The proposed supervisors are implemented. Their controllability, nonblocking, and non-conflicting behaviors are verified through simulation. The use of the DES formalism reflects a modular controllable system with the potential for reusability and scalability.

분산군집제어 알고리즘 기반 농업용 멀티 UAV 시스템의 시뮬레이터 구현

주찬영 ( Chanyoung Ju ),박성준 ( Sungjun Park ),손형일 ( Hyoung Il Son ) 한국농업기계학회 2017 한국농업기계학회 학술발표논문집 Vol.22 No.1

최근 방제 및 예찰과 같은 농작업에 단일 UAV(Unmanned Aerial Vehicle)시스템이 적용되고 있지만, 가반하중과 체공시간 등 기존시스템의 문제가 점차 대두되면서 작업 시간을 보다 단축시키고 작업 효율을 극대화 할 수 있는 농업용 멀티 UAV시스템의 필요성이 증대되고 있다. 본 논문에서는 작업자가 다수의 농업용 UAV를 효과적으로 제어할 수 있는 분산군집제어 알고리즘을 제안하며 알고리즘 검증 및 평가를 위한 시뮬레이터를 소개한다. 분산군집제어는 UAV 제어 계층, VP(Virtual Point) 제어 계층, 원격제어 계층으로 이루어진 3계층 제어구조를 가진다. UAV 제어 계층에서 각 UAV는 point mass로 모델링 되는 VP의 이상적인 경로를 추종하도록 제어한다. VP 제어 계층에서 각 VP는 입력 -(1)을 받아 제어되는데 여기서, 는 VP 사이의 충돌방지제어, 는 장애물과의 충돌방지제어, 는 UAV 상호간의 협조제어, 는 작업자로부터의 원격제어명령이다. (1)의 제어입력에서 충돌방지제어는 각 -(3)로 정의되며 는 포텐셜 함수를 나타낸다. 원격제어 계층에서 작업자는 햅틱 인터페이스를 통해 VP의 속도를 제어하게 된다. 이때 스케일변수 λ에 대하여 VP의 원격제어명령은 로 정의한다. UAV 시뮬레이터는 리눅스 환경에서 ROS(Robot Operating Systems)를 기반한 3차원 시뮬레이터인 Gazebo상에 구축하였으며, 마스터와 슬레이브 간의 제어 명령은 TCPROS를 통해 서로 주고받는다. UAV는 PX4 기반의 3DR Solo 모델을 사용하였으며 MAVROS를 통해 MAVLink 통신 프로토콜에 접속하여 UAV의 고도, 속도 및 가속도 등의 상태정보를 받을 수 있다. 현재 멀티 드론 시스템을 Gazebo 환경에 구축하였으며, 추후 시뮬레이터상에 분산군집제어 알고리즘을 구현하여 검증 및 평가를 진행하고자 한다.

이종 필드 로봇의 협업을 위한 하이브리드 제어 시스템 개발

주찬영 ( Chanyoung Ju ),손형일 ( Hyoung Il Son ) 한국농업기계학회 2022 한국농업기계학회 학술발표논문집 Vol.27 No.1

군집로봇은 단일 로봇에 비해 광범위한 작업 영역을 커버할 수 있으며, 작업 시간을 단축해 효율성을 향상한다. 특히, 이종 로봇으로 구성된 군집로봇 시스템은 확장성과 유연성이 우수해 재난구조, 농업, 수산업, 축산업, 행성 탐사, 원자력, 국방 등 다양한 필드 분야에 적용되고 있다. 기존의 군집로봇 시스템은 미분 또는 차분방정식으로 모델링되어 time-driven 동적 특성에 관한 연구가 주로 수행됐다. 하지만, 기존의 접근법은 로봇의 수와 이종성(heterogeneity)이 증가할수록 시스템의 high-dimensionality와 complexity를 다루기엔 한계가 있다. 따라서, 본 연구에서는 시스템의 동적 특성이 자동으로 또는 순서에 따라 발생하는 것이 아닌 어떤 상태의 변화나 발생하는 사건을 기반으로 동작하는 event-driven 동적 특성에 초점을 둔 접근법을 적용한다. 제안하는 접근법은 time-driven 및 event-driven 동적 특성을 표현하는 정형 기법 (formal methods) 중 하나인 유한 오토마타를 사용해 이종 필드로봇을 모델링하고, 이를 제어하기 위한 하이브리드 제어 시스템을 개발한다. 하이브리드 제어 시스템은 시간 영역의 하위 제어기와 사건 영역의 상위 제어기로 구성되며, 상위 제어기는 수평적 및 수직적으로 분할하여 분산형 제어구조를 갖도록 설계했다. 설계된 하이브리드 제어 시스템을 평가하기 위해 무인지상로봇(UGV: unmanned ground vehicle)과 무인항공로봇(UAV: unmanned aerial vehicle)으로 구성된 이종 필드 로봇을 사용하여 과수원 환경에서 실험 시나리오를 수행했다. 실험 시나리오는 UAV가 먼저 할당된 작업 영역을 sensing하고, sensing이 완료된 사건을 통해 각각의 UGV가 분할된 작업 영역에 대해 주어진 임무(mapping, target approaching, obstacle avoidance, navigation)를 수행하도록 설계했다. 실험 결과, 개발된 하이브리드 제어 시스템은 event-driven 특성을 기반으로 체계적인 제어 및 시스템 해석이 가능하며, 정형 기법은 시스템의 고차원성과 복잡성을 보다 유연하게 대처하여 그 확장성이 우수하다.

스마트 농업용 멀티드론 시스템 개발: 진행 현황

박영주,이현진,주찬영,손형일,Park, Youngju,Lee, Hyunjin,Ju, Chanyoung,Son, Hyoung Il 한국교통대학교 융복합기술연구소 2016 융ㆍ복합기술연구소 논문집 Vol.6 No.1

In this paper, we report a work-in-progress about development of multi-drone system for smart agriculture. The multi-drone system is controlled via a haptic teleoperation by a human operator. The purpose of the multi-drone system is that let the human operator to easily handle the multiple drones which are maintaining a fixed formation using ZigBee communication network.

수확용 햅틱 원격로봇을 위한 가상가이드의 정신물리학적 성능 평가

박영주 ( Youngju Park ),주찬영 ( Chanyoung Ju ),이현진 ( Hyunjin Lee ),손형일 ( Hyoung Il Son ) 한국농업기계학회 2016 한국농업기계학회 학술발표논문집 Vol.21 No.2

과채류 등의 수확용 로봇은 작업을 할 때 나뭇잎이나 가지에 가려져 로봇이 수확 대상을 발견하지 못하거나 접근하기 힘든 경우가 빈번히 발생한다. 이와 같은 경우 수확용 로봇의 햅틱 원격제어를 통해 수확 작업성을 향상시킬 수 있다. 본 논문에서는 수확용 햅틱 원격로봇의 작업성 향상을 위한 가상가이드를 제안하고 제안된 가상가이드의 정확도가 작업 성능에 미치는 영향을 정신물리학에 기반하여 평가한다. 대상 작업은 기본 manipulation task인 peg-in-hole task로 정의하고 이를 물리엔진 기반 햅틱 시뮬레이션으로 구현하여 가상가이드의 정신물리학적 성능 평가를 수행한다. 시뮬레이션된 hole과 peg은 강체로 모델링되었고 각각 높이 45.05mm, 안지름 31.50mm과 높이60mm, 지름은 hole 안지름과 공차 1%이다. 가상가이드는 hole의 중심에서의 법선방향으로 생성되고 햅틱 피드백을 위해 attractive force를 발생하며 hole 중심에 대해 위치오차(Δq(x, y))와 각도오차(ΔR(_y,β))를 가질 수 있다. 이때 오차는 Gaussian 분포를 따른다. 실험에 사용된 햅틱 디바이스는 Geomagic Touch™ X이며 짐벌에 F/T 센서(ATI Nano17)을 장착하여 작업자의 입력 힘을 측정할 수 있도록 하였다(그림 1). 정량적 평가 지표는 completion time, position tracking error, attractive/contact/human force, maneuverability로 정의하였다. 여기서 maneuverability는 작업자의 intended force를 입력으로 position tracking error를 출력으로 정의한 일종의 전달함수로써 원격작업의 성능을 평가하는 지표이다. 실험은 가상가이드 유무, Δq(x), ΔR(_Υ)이 각각 30%, 70%일 때 그리고 모두 30%, 70%일 때 등 총 8가지 case로 설계되었다(그림 2). 피실험자는 15~20명이고 피실험자들은 각 case에 대해 10회씩 반복 수행한다. 실험결과는 peg과 hole의 contact를 기점으로 4구간으로 나누어 분석되고 마지막으로 정의된 평가지표들을 이용하여 ANOVA 통계 분석한다.

무인항공기 기반 소형 곤충의 능동 Tracking 및 Mapping 시스템

김승원 ( Seungwon Kim ),주찬영 ( Chanyoung Ju ),손형일 ( Hyoung Il Son ) 한국농업기계학회 2018 한국농업기계학회 학술발표논문집 Vol.23 No.2

최근 외래종인 등검은말벌(Vespa velutina)의 유입으로 인해 양봉업자의 피해가 상당하다. 양봉업자들은 말벌포획기 또는 직접 말벌을 포획하는 방법으로 방제를 하고 있다. 그러나 말벌집을 제대로 제거하지 않을 경우 재발의 가능성이 크며, 말벌집의 경우 절벽 또는 나무 꼭대기 등 정확한 탐색이 어려운곳에 위치하여 그 피해량은 매년 증가하는 추세이다. 따라서 본 논문에서는 말벌의 귀소본능을 이용하여 등검은말벌에 초소형 송신기를 부착 및 방생한 후 송신기의 신호를 바탕으로, 수신기 및 Yagi 안테나를 부착한 UAV (Unmanned Aerial Vehicle)를 이용하여 등검은말벌을 추적하고, 최종적으로 UAV를 이용한 말벌집 촬영 및 지도에 표기하는 탐색시스템을 소개한다(그림 1). 등검은말벌에 부착된 송신기에서 발생하는 신호는 Yagi 안테나를 통해 UAV의 수신기로 전달되게 되는데, 실제 송수신기간의 실험결과 야기안테나는 90°로 유지될 때 가장 신호를 잘 수신할 수 있으며, 최대 송수신거리는 약 80m라는 결과를 얻게되었다. 위 실험을 통해 말벌의 신호가 들어오면 UAV가 각 90°씩 총 360°로 회전하며 신호의 세기가 가장 강한곳을 말벌위치로 간주 이동하는 추적방법을 얻게 되었다. 이렇게 추적을 하며 송수신기의 신호를 받음과 동시에 GUI (Graphical User Interface)기반의 지도작성 프로그램을 통해 UAV의 현재위치와 타겟의 추정된 위치가 실시간으로 지도표시가 된다(그림 2). 시뮬레이션결과와 같이 등검은말벌을 UAV가 추적, 탐색하는 결과를 얻게 되었다. 그러나 탐색속도, 위치오차의 부분의 문제점이 발생하게 되어 이 부분을 해결하기 위하여 mulit 안테나를 탑재한 UAV활용, 또는 multi UAV를 통해 탐색시스템의 재검증 및 평가를 진행하고자 한다.

UAV 기반 소형 곤충의 위치 추정 및 추적 시스템에 대한 현장 평가

김보성 ( Bosung Kim ),주찬영 ( Chanyoung Ju ),손형일 ( Hyoung Il Son ) 한국농업기계학회 2021 한국농업기계학회 학술발표논문집 Vol.26 No.1

소형 외래곤충은 토착종을 희소종으로 전락 혹은 소멸시켜 생물 다양성을 감소시킨다. 따라서 생물 다양성 보호 및 생태계 관리를 위해 소형 곤충의 추적이 대두되고 있다. 최근 이동 차량과 모바일로봇을 이용한 시스템이 추적 방법으로 연구되고 있다. 사전 연구에서, 지상 로봇의 기동성 한계를 해결한 항공 로봇(UAV) 기반의 위치 추정 알고리즘 및 추적 시스템을 개발하였다. UAV 시스템은 Radio-Telemetry 기반 안테나 및 송신기와 확장 칼만 필터를 이용해 RSSI(수신신호강도)를 측정하고, 타겟의 위치를 추정 및 추적한다. 본 연구는 개발된 시스템의 위치 추정 및 추적 성능을 검증 및 평가하기 위해 이동성, 추적성, 필드 실험을 수행하였다. 첫 번째, 이동성 실험은 송신기 부착 시 곤충의 움직임에 미치는 영향을 파악하기 위해 수행되었다. 딱정벌레가 일정 공간 내에서 송신기가 부착된 경우와 미부착된 경우의 이동 경로, 거리, 속도를 비교하였으며, 실험결과 큰 차이가 없음을 확인하였다. 두 번째, 제안한 시스템의 2차원 추적 방법이 곤충의 3차원 움직임에 대해 추적 가능성 여부를 평가하기 위한 실험을 수행하였다. 이를 위해, UAV의 높이를 3, 5, 7, 10m로 변화하여 케이지 안에서 움직이는 딱정벌레에 대해서 위치추정 오차를 측정하였다. 실험 결과, 위치추정 오차는 높이에 따라 통계적 유의미한 차이가 없으며, 본 시스템의 추적성에 대한 검증을 실시하였다. 마지막, 필드 실험은 실제 야외 환경에서 위치 추정 및 추적 성능을 평가하였다. UAV는 일정 고도를 유지하며 고정된 송신기를 추적하도록 설계하였다. UAV는 특정 위치에서 90°씩 회전함으로써 4개의 RSSI를 측정하며 가장 큰 값을 Target의 방향으로 인식하고 추정된 상대 거리만큼 이동한다. Target과의 상대 거리가 일정 거리까지 감소하면 추적이 종료되며, 실험 결과 Target과 상대거리가 약 20~50m로 소형 곤충 추적에 큰 영향을 미치지 않음을 확인하였다. 본 연구를 통해 제안한 시스템의 성능을 정량적으로 평가하였으며, 소형 곤충에 대해 추적 가능성을 제시하였다.