스프링 백본과 와이어를 이용한 3자유도 내시경

최동걸,이병주 한국로봇학회 2008 로봇학회 논문지 Vol.3 No.3

This work proposes structure of spring backbone micro endoscope. For effective surgery in narrow and limited space, many manipulators are developing that different to existed structure. This device can move like elephant nose or snake unlike the existing robots. For this motion, a mechanism that uses spring backbone and wires has been developed. The new type endoscope that has Z axis motion for spring structure, therefore it has 3 degree of freedom, two rotations and one linear motion. And new kinematics for backbone structure is proposed using simple geographic analysis. The Jacobian and stiffness modeling are also derived. Exact actuator sizing is determined using stiffness model. Finally, the proposed kinematics are verified by simulation and experiments.

초음파 센서기반 추적 알고리즘을 이용한 자동 수술 조명 로봇 시스템

최동걸,이병주,김영수,Choi, Dong-Gul,Yi, Byung-Ju,Kim, Young-Soo 대한의용생체공학회 2007 의공학회지 Vol.28 No.3

Most surgery illumination systems have been developed as passive systems. However, sometimes it is inconvenient to relocate the position of the illumination system whenever the surgeon changes his pose. To cope with such a problem, this study develops an auto-illumination system that is autonomously tracking the surgeon's movement. A 5-DOF serial type manipulator system that can control (X, Y, Z, Yaw, Pitch) position and secure enough workspace is developed. Using 3 ultrasonic sensors, the surgeon's position and orientation could be located. The measured data aresent to the main control system so that the robot can be auto-tracking the target. Finally, performance of the developed auto-illuminating system was verified through a preliminary experiment in the operating room environment.

다중크기와 다중객체의 실시간 얼굴 검출과 머리 자세 추정을 위한 심층 신경망

안병태,최동걸,권인소 한국로봇학회 2017 로봇학회 논문지 Vol.12 No.3

One of the most frequently performed tasks in human-robot interaction (HRI), intelligent vehicles, and security systems is face related applications such as face recognition, facial expression recognition, driver state monitoring, and gaze estimation. In these applications, accurate head pose estimation is an important issue. However, conventional methods have been lacking in accuracy, robustness or processing speed in practical use. In this paper, we propose a novel method for estimating head pose with a monocular camera. The proposed algorithm is based on a deep neural network for multi-task learning using a small grayscale image. This network jointly detects multi-view faces and estimates head pose in hard environmental conditions such as illumination change and large pose change. The proposed framework quantitatively and qualitatively outperforms the state-of-the-art method with an average head pose mean error of less than 4.5° in real-time.

로봇 주행을 위한 아웃도어 환경에서의 노면 인식 시스템

이재민,서민석,이상우,최동걸 한국차세대컴퓨팅학회 2021 한국차세대컴퓨팅학회 논문지 Vol.17 No.4

오늘날 정확한 노면 인식 시스템 구축을 위해서는 딥러닝 기반의 의미론적 객체분할 기술의 적용이 필수적이다. 하 지만 실세계에서 충분히 존재할 수 있는 야지 장면에서 노면인식을 위한 의미론적 객체분할 데이터 셋은 아직까지도 개발되지 않았고, 그렇기 때문에 의미론적 객체분할 기술이 야지 노면 인식 시스템에서 적용된 연구 사례도 매우 적 다. 우리는 이러한 문제를 해결하기 위하여 야지 환경에서의 노면 인식 데이터 셋을 구축하고, 지금까지 적용되지 못했던 의미론적 객체분할 기술들을 적용 및 최적하고 분석한다. 실험 결과 우리는 우리의 야지 노면 인식 데이터 셋에서 980FPS의 연산속도로 89.34 mIoU를 달성하였다. Embedding technology into robot platforms is a very challenging task. In this work, we study a realistic road recognition system based on deep learning for robot embeddings. In particular, deep learning-based road recognition research is accessible with semantic segmentation techniques. However, Semantic segmentation datasets for road recognition also do not exist, and there are very few related studies. For this reason, developing algorithms for real-world platform configurations becomes very difficult. To solve problem, we build our own road recognition dataset in an outdoor environment and describe and analyze the realistic issues encountered while learning Road Recognition algorithms. Furthermore, we apply acceleration methodologies that are essential for robot embedding. As a result, we achieve road recognition accuracy of 89.34 mIoU and computational speed of 980 FPS.

CCTV 장면에서의 물피도주 차량 탐지 자동화 시스템

유용현,김민우,김유현,안병태,최동걸 한국차세대컴퓨팅학회 2024 한국차세대컴퓨팅학회 논문지 Vol.20 No.1

사람들의 차량 보유 대수가 증가함에 따라 물피도주 사건도 증가하고 있지만, 수사 과정에서 장시간의 CCTV 영상을 수동으로 검수하므로 용의자를 식별하는 데 많은 시간이 필요하고 비효율적이다. 따라서, 불필요한 인력 소모를 줄이기 위해서는 물피도주 피의자 식별 자동화 시스템의 구축이 필수적이다. 본 논문에서는 CCTV 영상에 인공지능 기술을 활용해 CCTV 영상에서 '물피도주' 사건의 시점을 자동으로 탐지하고 가해 차량을 무엇인지 추적하는 시스템을 제안한다. 이 시스템은 CCTV 영상을 수신하면 피해 차량 선택, 사고 시점 추정, 가해 차량 추정의 과정을 거치며 가장 확률이 높은 물피도주 가해 차량을 탐지한다. 기존 차 사고 차량 사고 검출 방식의 취약점을 보완하고, 사고와 무관한 주변 객체로 인한 오류를 줄이기 위해 객체 분할과 객체 탐지 모델, 그리고 객체 추적과 깊이 추정 모델을 활용하여 주변 객체들을 별도로 분류하는 과정이 도입되었다. 또한 CCTV 영상에 촬영된 국내 차량의 탐지 성능을 향상하기 위해 별도로 구성한 데이터 세트를 통해 객체 탐지 성능을 향상했고, 실제 CCTV에서 촬영된 물피도주 사례들에 이 시스템을 적용했을 때 사고 발생 시점을 정확하게 검출하였고, HD 해상도의 영상에서 27fps 이상의 처리 속도를 보인다 As the number of vehicles owned by individuals increases, so does the occurrence of hit-and-run incidents. However, the investigation process is time-consuming and inefficient due to the need for manual review of long-duration CCTV footage to identify suspects. Therefore, it is essential to establish an automated system for identifying hit-and-run suspects to reduce unnecessary manpower consumption. This paper proposes a system that utilizes artificial intelligence technology on CCTV footage to automatically detect the moment of a 'hit-and-run' incident and track the offending vehicle. Upon receiving CCTV footage, the system undergoes processes of selecting the victim vehicle, estimating the time of the accident, and estimating the offending vehicle, thereby detecting the most probable hit-and-run offending vehicle. To address the vulnerabilities of existing vehicle accident detection methods and to reduce errors caused by irrelevant surrounding objects, the process of object segmentation and detection models, as well as object tracking and depth estimation models, were introduced to separately classify surrounding objects. Additionally, to enhance the detection performance of domestic vehicles captured in CCTV footage, a separate dataset was compiled to improve object detection performance. When this system was applied to actual hit-and-run cases recorded by CCTV, it accurately detected the time of the accident and demonstrated a processing speed of over 27fps in HD resolution video.

행동 인식을 위한 시공간 앙상블 기법

서민석(Minseok Seo),이상우(Sangwoo Lee),최동걸(Dong-Geol Choi) 한국로봇학회(논문지) 2020 로봇학회 논문지 Vol.15 No.4

밝기 변화에 강인한 적대적 음영 생성 및 훈련 글자 인식 알고리즘

서민석(Minseok Seo),김대한(Daehan Kim),최동걸(Dong-Geol Choi) 한국로봇학회(논문지) 2021 로봇학회 논문지 Vol.16 No.3

형상 정합 기법 기반의 물체의 파지 및 이동 궤적 모사를 위한 로봇 시스템의 개발

고성영(Seong-Young Ko),주한별(Hanbyul Joo),최동걸(Dong Gul Choi),김형우(Hyeongwoo Kim),권인소(In So Kweon) 대한기계학회 2008 대한기계학회 춘추학술대회 Vol.2008 No.5

This paper explains the development of robotic system to imitate the grasping motion and trajectory of an object based on shape matching method. The system was developed so that it observes the position and the trace of the chosen object, produces the trajectory for 5DoF robotic arm, and moves to mimic the trajectory reversely. In order to extract the information of the object in real time, the shape matching algorithm is applied to stereo images. The center position of the object is obtained at each image and these are utilized to calculate the position in real time in terms of the camera coordination system. These points were converted in terms of the robot coordination system, and the trajectory for robot's motion was generated by interpolating these points. The grasping motion of the robotic arm is planned using the start position and the end position of the trajectory. It was shown that the developed robotics system based on shape matching method operates robustly.

모달리티 훼손에 강인한 멀티모달 기반 의미론적 세분화 모델을 위한 모달리티 안정화 학습 전략

주진기,노현철,김유현,김대한,이재웅,최동걸 한국차세대컴퓨팅학회 2023 한국차세대컴퓨팅학회 논문지 Vol.19 No.3

In autonomous vehicles, multimodal-based semantic segmentation is a basic function for recognizing driving area and avoiding obstacles even in limited environments such as low light condition and blurry light. To achieve this, the proposed existing multimodal-based semantic segmentation models recognize the scene using RGB images from visible cameras and thermal images from thermal cameras. However, the existing models assume that the images captured from the two different modalities are not corrupted in any case. In this paper, we found that even the state-of-the-art multi-modal based semantic segmentation models fail to maintain single modality performance in strong modality corruption, such as modality occlusion. Furthermore, we propose single modality stabilization learning in preparation for missing modality to solve this problem. Our experimental results show that the proposed method achieves a performance improvement of up to 8.9 mIoU compared to the baseline model even under extreme modality-damaging conditions. 자율 주행 차량에서 멀티모달 기반 의미론적 세분화 작업은 저조도 및 빛 번짐과 같은 제한적인 환경에서도 주행로를 인식하고 장애물을 회피하기 위한 기본 기능이다. 이를 위해 제안된 기존의 멀티모달 기반 의미론적 세분화 모델들은 장면 인식을 위해 가시 카메라의 RGB 영상과 열화상 카메라의 Thermal 영상을 사용하여 장면을 인식한다. 그러나 기존의 모델들은 서로 다른 두 모달리티에서 입력되는 영상이 어떠한 경우에도 훼손되지 않는다는 것을 가정한다. 본 논문에서 우리는 최첨단 멀티모달 기반 의미론적 세분화 모델 조차 모달리티 가려짐과 같은 강력한 모달리티 훼손 조건에서 단일 모달리티 성능을 유지하지 못하고 극도의 성능 저하에 직면하는 것을 발견한다. 더 나아가, 우리는 해당 문제를 해결하기 위해 모달리티 누락을 대비한 단일 모달리티 안정화 학습을 제안한다. 실험 결과 제안된 방법은 극도의 모달리티 훼손 조건에서도 기준선 모델에 비해 최대 8.9 mIoU의 성능 향상을 달성한다.

다중 모달리티 의미론적 분할에서의 무작위 마스킹과 가중치 공유 기법

유용현,박효빈,이상욱,김대한,이규만,최동걸 한국차세대컴퓨팅학회 2024 한국차세대컴퓨팅학회 논문지 Vol.20 No.2

RGB 영상과 Thermal 영상의 다중 모달리티의 활용은 악천후나 안개, 조명 환경 등으로 가시성이 저하되는 다양한 상황에서 그 가치를 발휘한다. 이전 의미론적 분할 작업에서 RGB 영상에서 추출된 특징을 Thermal 영상의 특징과 결합하는 방식으로 높은 인지 성능을 달성했지만, 모달리티의 특성에 따른 모델 가중치는 고려하지 않고 출력된 특징을 결합했기 때문에 제한적인 성능을 보인다. 본 논문에서는 RGB 영상과 Thermal 영상을 학습하는 과정에서 네트워크가 공통적인 가중치를 갖도록 구성하고, 손실 계산 단계에서 더 많은 정보를 가진 모달리티 특징이 다른 모달리티를 이끌도록 구성하였다. 또한 상호보완적인 마스킹 모듈과 잔차 네트워크를 구성하여 FMB[1] 데이터 세트에서 12.25의 성능 향상을 이뤘다. Utilizing the multi-modality of RGB and thermal images is valuable in various situations where visibility is reduced due to bad weather, fog, or lighting conditions. In previous semantic segmentation work, high recognition performance has been achieved by combining features extracted from RGB images with features from thermal images, but the performance is limited because the output features are combined without considering the model weights according to the characteristics of the modalities. In this paper, we configure the networks to have common weights during the learning process of RGB and Thermal images, and configure the modality features with more information to lead the other modalities in the loss calculation step. We also configure complementary masking modules and residual networks to achieve a performance improvement of 12.25 on the FMB dataset