로봇의 이동물체 추적을 위한 새로운 확장 스네이크 모델

한영준(Youngjoon HAN),한헌수(Hernsoo HAHN) 한국지능시스템학회 2004 한국지능시스템학회논문지 Vol.14 No.7

카메라와 목표물이 함께 움직이는 작업환경에서는 영상의 배경이 연속적으로 바뀌고 다른 움직이는 물체와 겹치기 쉽다. 스테이크 알고리즘은 다양하게 변형되어 목표물을 추적하는데 사용되어 왔지만, 물표물의 형태의 변형이 심하거나 추적물체의 윤곽선과 스네이크 사이의 거리인 바이어스(bias)가 큰 상황에서는 적용되기 어렵다. 이런 문제점들을 해결하기 위해, 본 논문에서는 윤곽선검출에서 가지는 스네이크 알고리즘의 장점을 활용하는 확장 스네이크 모델(extended snake model)을 제안한다. 제안하는 알고리즘은 닫힌 스네이크(closed snake)의 면적 변화율을 면적에너지로 변환하여 스네이크 에너지에 추가하고, 새로운 영상이 입력될 때마다 이전에 검출된 윤곽선을 목표물의 새로운 템플릿으로 정의하는 적응 템플릿(adaptive template) SSD(sum of square difference) 알고리즘을 이용한다. 면적에너지는 새로 입력된 영상에서 얻어지는 윤곽선의 면적이 일정범위를 벋어나지 않도록 제약하며 적응 템플릿 SSD알고리즘은 목표물의 속도를 고려하여 목표물의 위치를 예측함으로써 윤곽선 검출의 속도와 정확도를 향상시킨다. 제안된 알고리즘의 우수성은 실험을 통해 검증하였다. In the case where both a camera and a target are moving at the same time, the image background is successively changed, and the overlap with other moving objects is apt to be generated. The snake algorithms have been variously used in tracking the object, but it is difficult to be applied in the excessive overlap with other objects and the large bias between the snake and the target. To solve this problem, this paper presents an extended snake model. It includes an additional energy function which considers the temporal variation rate of the snake’s area and a SSD algorithm which generates the template adaptive to the snake detected in the previous frame. The new energy function prevents the snake from over-shrinking or stretching and the SSD algorithm with adaptively changing template allows the prediction of the target's position in the next frame. The experimental results have shown that the proposed algorithm successfully tracks the target even when the target is temporarily occluded by other objects.

탑뷰(top view) 영상을 이용한 곡선 템플릿 정합 기반 차선 및 곡률 검출 알고리즘

한성지(Sungji Han),한영준(Youngjoon Han),한헌수(Hernsoo Hahn) 大韓電子工學會 2010 電子工學會論文誌-SP (Signal processing) Vol.47 No.6

본 논문에서는 곡선 템플릿 정합 방법을 이용한 곡률 검출 및 차선 검출 알고리즘을 제안한다. 본 논문에서는 영상의 원근감을 제거하기 위하여 입력 영상을 탑뷰(top view) 영상으로 변환한다. 생성된 탑뷰 영상을 이용하여 에지 영상을 생성하는데 검출의 정확도를 높이기 위해 차선 검출에 적합한 에지 검출 방법을 제안한다. 검출된 에지 영상을 이용하여 먼저 직선 차선을 검출한 후 본 논문에서 제안한 곡선 템플릿 정합 방법을 이용하여 가장 적합한 곡선 차선을 결정하여 곡률을 검출한다. 제안된 곡선 템플릿 정합 방법은 법선의 방정식과 원의 방정식만을 이용한 단순한 계산만으로 곡선 차선을 검출하기 때문에 알고리즘이 단순하고 검출 시간이 매우 짧다. 또한 본 논문에서는 이전 프레임에서 검출된 차선 정보를 이용하여 현재 프레임의 차선 정보를 보정하고 보완함으로써 보다 안정적인 차선 검출이 가능하였다. 제안된 알고리즘은 고속도로나 비교적 복잡한 시내 도로, 야간 시 고속도로 등에서 얻은 다양한 환경에서의 영상을 이용하여 실험하였다. 제안된 알고리즘은 초당 70 frame 가량의 영상 처리가 가능하였고 95% 이상의 차선 검출율과 90% 가량의 곡률 검출율을 얻을 수 있었다. In this paper, lane and curvature detection algorithm based on the curve template matching method is proposed. To eliminate the perspective effect of the original image, the input image is transformed to a top view image. From this top view image, its edge image is created. To increase the accuracy of detection, a novel edge detection method, which shows a strength in lane detection, is proposed. In the first step, straight lanes are detected from the edge image, and then the Curve Template Matching(CTM) method is applied to detect the curved lanes and to find their curvatures. Since the proposed CTM method uses only the simple equations, such as line and circle equations, to detect the curved lane, the algorithm is simple. Moreover, we used the detected lane information in the previous frames to detect the current frame's lanes, the detection results become more reliable. The proposed algorithm has been tested in various road conditions (highway, urban street, night time highway, etc.). Experimental results show that the proposed algorithm can process about 70 frames per second with the successful lane detection rate over 95% and curvature detection rate about 90%.

시각장애인의 길안내를 위한 정적-동적 영상정보의 음성변환 시스템

유재형(Jaehyung Yu),한영준(Youngjoon Han),한헌수(Hernsoo Hahn) 대한전자공학회 2007 대한전자공학회 학술대회 Vol.2007 No.11

This paper proposes the system that converts information included in an image to voice fur guiding blind people so that they may walk without any other support. For this purpose. this paper proposes the algorithms that estimates user’s position, existence and position of obstacle on the way, and walking direction to walk without collision access direction that move in road. These algorithms have been implemented as an embedded system with a camera and a head set, and the user wearing this system could walk successfully without collision.

밀도기반의 분할된 히스토그램 평활화를 통한 대비 향상 기법

윤현섭(Hyunsup Yoon),한영준(Youngjoon Han),한헌수(Hernsoo Hahn) 대한전자공학회 2009 電子工學會論文誌-SC (System and control) Vol.46 No.1

영상에서 밝기의 분포가 밀집된 영역에 포함되는 특징은 구분이 어렵다. 이러한 문제의 해결을 위해 전역 혹은 지역 명암대비 향상기법을 사용하게 되며 주로 히스토그램의 평활화 기법이 적용된다. 기존의 전역 명암대비 향상기법을 적용하는 경우 밝기 밀집 정도를 고려하지 않아서 지나치게 밝거나 너무 어두운 값으로 변환하는 문제를 만들고, 지역 명암대비 향상기법은 결과 영상에서 특징을 분리해버리거나 밝기분포의 불규칙성으로 인해 부자연스러운 영상을 만들어내는 결과를 보여주기도 한다. 본 논문은 이러한 문제를 해결하기 위해 히스토그램을 밀집정도를 기준으로 분할하고, 각 분할된 히스토그램의 평활화 범위를 분할영역의 평균과 분산을 고려하여 결정하는 방법을 제안한다. 제안하는 방법은 평활화를 밀집영역의 밝기범위와 밀집정도를 고려하여 평활화하는 최고 및 최저 밝기를 결정함으로써 지나친 밝기의 변화를 최소화하고, 밀도가 낮은 나머지 영역들에 대해 분리된 평활화를 수행함에 따라 이들 영역의 특징들이 사라지지 않고 향상시키는 효과를 거둘 수 있다. 히스토그램의 분할 및 평활화 범위를 결정하는 방법도 본 논문에서 제시되었다. 제안된 방법의 성능의 우수성은 다양한 밝기 영역을 갖는 실험영상들을 대상으로 기존의 방법들과 비교실험을 통해 입증하였다. In order to enhance the contrast in the regions where the pixels have similar intensities, this paper presents a new histogram equalization scheme. Conventional global equalization schemes over-equalizes those regions so that too bright or dark pixels are resulted and local equalization schemes produce unexpected discontinuities at the boundaries of the blocks. The proposed algorithm segments the original histogram into sub-histograms with reference to brightness level and equalizes each sub-histogram with the limited extents of equalization considering its mean and variance. The final image is determined as the weighted sum of the equalized images obtained by using the sub-histogram equalizations. By limiting the maximum and minimum ranges of equalization operations on individual sub-histograms, the over-equalization effect is eliminated. Also the result image does not miss feature information in low density histogram region since the remaining these area is applied separating equalization. This paper includes how to determine the segmentation points in the histogram. The proposed algorithm has been tested with more than 100 images having various contrast in the images and the results are compared to the conventional approaches to show its superiority.

컬러 불변 특징과 광역 특징을 갖는 확장 SURF(Speeded Up Robust Features) 알고리즘

윤현섭(Hyunsup Yoon),한영준(Youngjoon Han),한헌수(Hernsoo Hahn) 大韓電子工學會 2009 電子工學會論文誌-SP (Signal processing) Vol.46 No.6

대응점 정합은 컴퓨터 비전에서 중요한 작업 중에 하나지만 스케일, 조명, 시점이 변한 환경에서 대응점을 찾는 과정은 매우 어렵다. 대응점 정합 알고리즘인 SURF(Speeded Up Robust Features) 기법은 SIFT(Scale Invariant Feature Transform) 기법에 비해 정합 속도가 매우 빠르고 비슷한 정합 성능을 보여 널리 사용되고 있다. 하지만 SURF 기법은 흑백 영상과 지역 공간정보를 사용하기 때문에 유사한 패턴이 존재하는 영상에서 대응점의 정합 성능이 매우 떨어진다. 이런 문제점을 해결하기 위해 본 논문에서는 강인한 컬러 특징 정보와 광역적 특징 정보를 이용하는 확장 SURF 알고리즘을 제안한다. 제안하는 알고리즘은 비슷한 패턴이 존재하더라도 색상정보과 광역 공간 정보를 추가로 사용되기 때문에 대응점 매칭 성능을 크게 향상시킨다. 본 논문에서는 제안하는 방법의 우수성을 조명과 시점이 변화하고 유사한 패턴들을 갖는 영상들에 적용하여 기존의 방법들과 비교 실험함으로서 입증하였다. A correspondence matching is one of the important tasks in computer vision, and it is not easy to find corresponding points in variable environment where a scale, rotation, view point and illumination are changed. A SURF(Speeded Up Robust Features) algorithm have been widely used to solve the problem of the correspondence matching because it is faster than SIFT(Scale Invariant Feature Transform) with closely maintaining the matching performance. However, because SURF considers only gray image and local geometric information, it is difficult to match corresponding points on the image where similar local patterns are scattered. In order to solve this problem, this paper proposes an extended SURF algorithm that uses the invariant color and global geometric information. The proposed algorithm can improves the matching performance since the color information and global geometric information is used to discriminate similar patterns. In this paper, the superiority of the proposed algorithm is proved by experiments that it is compared with conventional methods on the image where an illumination and a view point are changed and similar patterns exist.

고해상도 영상의 군집형 차량 검출을 위한 앙상블 딥러닝 네트워크 구성 방법

유재형(Jae-Hyoung Yu),한영준(Youngjoon Han),김종국(JongKuk Kim),한헌수(Hernsoo Hahn) 한국컴퓨터정보학회 2021 韓國컴퓨터情報學會論文誌 Vol.26 No.1

본 논문은 고해상도를 가지는 영상에서 겹쳐져있는 소형 물체를 효과적으로 검출하고 추적하는 알고리즘을 제안한다. Coarse to Fine 방식을 기본으로 하는 두 개의 Deep-Learning Network을 앙상블 형태로 구성하여 차량이 존재할 위치를 미리 판단하고 서브영역으로 선택한 이미지로부터 차량을 정확하게 검출한다. Coarse 단계에서는 서로 다른 다수의 Deep-Learning Network 에 대한 각각의 결과로 Voting Space를 생성한다. 각 Voting Space 의 조합을 통해 Voting Map을 만들고 차량이 존재할 위치를 선택한다. Fine 단계에서는 Coarse 단계에서 선택된 영역을 기준으로 서브영역을 추출하고 해당 영역을 최종 Deep-Learning Network 에 입력한다. 서브 영역은 Voting Map을 이용하여 영상에서의 높이에 적합한 크기의 동적 윈도우를 생성함으로써 정의되며, 본 논문에서는 원거리에서 근거리로 접근하는 도로의 이미지를 대상으로 미리 계산된 매핑테이블을 적용하였다. 각 서브 영역 간 이동하는 차량의 동일성 판단은 검출된 영역의 하단 중심점에 대한 근접성을 기반으로 하였으며, 이를 통해 이동하는 차량의 정보를 트래킹 하였다. 실제 주야간 도로 CCTV를 통해 획득한 실시간 영상에서 처리 속도 및 검출 성능을 비교 실험하여 제안한 알고리즘을 평가하였다. This paper has proposed an algorithm that detecting for dense small vehicle in large image efficiently. It is consisted of two Ensemble Deep-Learning Network algorithms based on Coarse to Fine method. The system can detect vehicle exactly on selected sub image. In the Coarse step, it can make Voting Space using the result of various Deep-Learning Network individually. To select sub-region, it makes Voting Map by to combine each Voting Space. In the Fine step, the sub-region selected in the Coarse step is transferred to final Deep-Learning Network. The sub-region can be defined by using dynamic windows. In this paper, pre-defined mapping table has used to define dynamic windows for perspective road image. Identity judgment of vehicle moving on each sub-region is determined by closest center point of bottom of the detected vehicle"s box information. And it is tracked by vehicle"s box information on the continuous images. The proposed algorithm has evaluated for performance of detection and cost in real time using day and night images captured by CCTV on the road.

에이다부스트와 신경망 조합을 이용한 표정인식

홍용희(Yonghee Hong),한영준(Youngjoon Han),한헌수(Hernsoo Hahn) 한국지능시스템학회 2010 한국지능시스템학회논문지 Vol.20 No.6

표정은 사람의 감정을 표현하는 대표적인 수단이다. 이러한 이유로 표정은 사람의 의도를 컴퓨터에 전하는데 효과적인 방법으로 사용될 수 있다. 본 논문에서는 2D 영상에서 사람의 표정을 보다 빠르고 정확하게 인식하기 위해 Discrete Adaboost 알고리즘과 신경망 알고리즘을 통합하는 방법을 제안한다. 1차로 Adaboost 알고리즘으로 영상에서 얼굴의 위치와 크기를 찾고, 2차로 표정별로 학습된 Adaboost 강분류기를 이용하여 표정별 출력 값을 얻으며, 이를 마지막으로 Adaboost 강분류기 값으로 학습된 신경망 알고리즘의 입력으로 이용하여 최종 표정을 인식한다. 제안하는 방법은 실시간이 보장된 Adaboost 알고리즘의 특성과 정확성을 개선하는 신경망 기반 인식기의 신뢰성을 적절히 활용함으로서 전체 인식기의 실시간성을 확보하면서도 정확성을 향상시킨다. 본 논문에서 구현된 알고리즘은 평온, 행복, 슬픔, 화남, 놀람의 5가지 표정에 대해 평균 86?95%의 정확도로 실시간 인식이 가능하다. Human facial expression shows human's emotion most exactly, so it can be used as the most efficient tool for delivering human's intention to computer. For fast and exact recognition of human's facial expression on a 2D image, this paper proposes a new method which integrates an Discrete Adaboost classification algorithm and a neural network based recognition algorithm. In the first step, Adaboost algorithm finds the position and size of a face in the input image. Second, input detected face image into 5 Adaboost strong classifiers which have been trained for each facial expressions. Finally, neural network based recognition algorithm which has been trained with the outputs of Adaboost strong classifiers determines final facial expression result. The proposed algorithm guarantees the realtime and enhanced accuracy by utilizing fastness and accuracy of Adaboost classification algorithm and reliability of neural network based recognition algorithm. In this paper, the proposed algorithm recognizes five facial expressions such as neutral, happiness, sadness, anger and surprise and achieves 86?95% of accuracy depending on the expression types in real time.

차선과 도로영역 정보를 이용한 전방 차량 영역의 추출 기법

유재형(Jaehyung Yu),한영준(Youngjoon Han),한헌수(Hernsoo Hahn) 한국지능시스템학회 2008 한국지능시스템학회논문지 Vol.18 No.6

본 논문은 복잡한 도로 영상에서 차량 검출의 효율성을 높이기 위해 체인코드를 이용한 차선의 검출로부터 도로 영역을 찾아 차량이 존재하는 차량 영역의 추출 기법을 제안한다. 먼저, 복잡한 도로 영상에서 정확한 차선을 검출하기 위해 체인코드를 이용하여 에지 화소들간의 연결성을 고려한다. 주행 차량의 방향과 일치하는 차선을 검출한 후, 중앙의 차선으로부터 차도의 폭과 차선의 소실점을 찾아 인접하는 차도를 찾는다. 마지막으로 주행 차선과 인접 차선을 포함하는 도로 영역 내에 차량의 에지 정보를 이용하여 차량이 존재하는 차량 영역을 추출한다. 따라서, 제안하는 차량 영역의 추출 기법은 복잡한 배경을 갖는 도로 영상에서 차량의 검출율을 높이고 추출된 차량 영역에 한정할 수 있기 때문에 차량을 검출하는데 매우 효율적이다. 본 논문은 제안하는 차량 영역의 추출 기법의 우수성을 복잡한 도로 영상에서 차량 검출율의 실험을 통해 검증하였다. This paper proposes a new algorithm of extracting forward vehicle areas using the acquired lanes and road area information on road images with complex background to improve the efficiency of the vehicle detection. In the first stage, lanes are detected by taking into account the connectivity among the edges which are determined from a method of chain code. Once the lanes proceeding to the same direction with the running vehicle are detected, neighborhood roadways are found from the width and vanishing point of the acquired roadway of the running vehicle. And finally, vehicle areas, where forward vehicles are located on the road area including the center and neighborhood roadways, are extracted. Therefore, the proposed scheme of extracting forward vehicle area improves the rate of vehicle detection on the road images with complex background, and is highly efficient because of detecting vehicles within the confines of the acquired vehicle area. The superiority of the proposed algorithm is verified from experiments of the vehicle detection on road images with complex background.

인간의 COG 궤적의 분석을 통한 5-link 이족 로봇의 보행 패턴 생성

김병현(Byounghyun Kim),한영준(Youngjoon Han),한헌수(Hernsoo Hahn) 한국정보과학회 2009 정보과학회논문지 : 소프트웨어 및 응용 Vol.36 No.2

인간이 최소 에너지를 소비하면서 자연스럽고 안정된 상태로 보행한다는 것에 착안하여, 본 논문은 인간 보행의 COG 궤적을 분석함으로써 인간형 이족로봇의 자연스러운 보행에 관한 연구를 수행한다. 이를 위해서 본 논문은 sagittal plane과 frontal plane상의 보행 영상으로부터 계측된 COG 궤적을 고려함으로써 안정적이고 에너지를 최소화하는 자연스러운 이족로봇의 보행 패턴을 생성한다. 인간과 이족로봇은 기구학적인 형태는 유사하지만 자유도에 있어 많은 차이를 보이기 때문에 추출된 인간 관절의 회전력을 이족로봇에 바로 적용할 수 없다. 본 논문에서는 인간의 보행패턴으로부터 계측된 각 관절의 회전력과 인간의 COG 궤적으로부터 계산된 ZMP을 이용하는 적응적 보행 패턴 생성 GA 알고리즘을 통해 5-link 이족로봇 모델의 보행패턴을 생성한다. 제안된 알고리즘은 인간의 각 관절의 회전력과 ZMP 궤적을 고려하기 때문에 인간과 같이 유연하고 에너지 소비를 최소화하는 인간형 이족로봇의 보행패턴을 생성한다. 본 논문은 역기구학을 이용한 일반적인 방법과 제안하는 방법에 의해 생성된 보행 패턴을 각각 5-link 이족로봇 모델에 적용하여 시각적인 측면과 에너지 효율측면에서 평가함으로써 제안하는 알고리즘의 우수성을 입증하였다. Based on the fact that a human being walks naturally and stably with consuming a minimum energy, this paper proposes a new method of generating a natural gait of 5-link biped robot like human by analyzing a COG(Center Of Gravity) trajectory of human's gait. In order to generate a natural gait pattern for 5-link biped robot, it considers the COG trajectory measured from human's gait images on the sagittal and frontal plane. Although the human and 5-link biped robot are similar in the side of the kinematical structure, numbers of their DOFs(Degree Of Freedom) are different. Therefore, torques of the human's joints cannot are applied to robot's ones directly. In this paper, the proposed method generates the gait pattern of the 5-link biped robot from the GA algorithm which utilize human's ZMP trajectory and torques of all joints. Since the gait pattern of the 5-link biped robot model is generated from human's ones, the proposed method creates the natural gait pattern of the biped robot that minimizes an energy consumption like human. In the side of visuality and energy efficiency, the superiority of the proposed method have been improved by comparative experiments with a general method that uses a inverse kinematics.

Improving Performance of YOLO Network Using Multi-layer Overlapped Windows for Detecting Correct Position of Small Dense Objects

Jae-Hyoung Yu(유재형),Youngjoon Han(한영준),Hernsoo Hahn(한헌수) 한국컴퓨터정보학회 2019 韓國컴퓨터情報學會論文誌 Vol.24 No.3

This paper proposes a new method using multi-layer overlapped windows to improve the performance of YOLO network which is vulnerable to detect small dense objects. In particular, the proposed method uses the YOLO Network based on the multi-layer overlapped windows to track small dense vehicles that approach from long distances. The method improves the detection performance for location and size of small vehicles. It allows crossing area of two multi-layer overlapped windows to track moving vehicles from a long distance to a short distance. And the YOLO network is optimized so that GPU computation time due to multi-layer overlapped windows should be reduced. The superiority of the proposed algorithm has been proved through various experiments using captured images from road surveillance cameras.