자율이동로봇을 위한 영상 궤한 제어 알고리즘과 DSP 영상처리보드 구현 = Visual feedback control algorithm for a self controlled mobile robot and implementation of the image processing board with DSPs

국문 초록 (Abstract)

본 논문은 장애물을 회피하면서 목적지까지 자율적으로 이동할 수 있는 로봇을 제작하기 위하여 연구한 논문이다. 현대 산업 사회에서는 하드웨어 기술과 컴퓨터를 이용한 신호처리 및 비젼기술의 발전에 따라 물체의 자동인식 및 윤곽추출 그리고 이를 이용한 이동로봇에 대한 연구가 활발히 진행되고 있다. 또한 그러한 자동화 기술이 이제는 가정에까지 전파될 듯 하다. 예를 들어 가정부 로봇이라든지 청소부 로봇이라든지, 사람이 들어 갈 수 없는 제한된 공간이나 작업공간 즉, 매우 고열이 발생하는 산업현장이나 하수도 배관속이나 방사능 물질이 있거나 위험한 공간 등이다. 이러한 현장에서는 로봇의 도움이 필요하다. 그러나 현재까지는 자율 이동로봇이 아닌 리모컨이나 유선으로 조정하는 로봇이 보편화되어 있다.
본 논문은 영상처리 보드 설계에 의한 하드웨어와 자율 이동로봇을 위한 영상 궤환제어 알고리즘에 의한 두 가지 결과를 나타낸다.
첫 번째 Part는 초기에 영상처리 부분을 실행하는 호스트 PC로부터 이동명령을 받는 로봇에 대해서이다. 오랜 시간동안 우리는 CCD 카메라를 탑재한 자율 이동 로봇에 대하여 연구해 왔다. 이동 로봇은 자체 설계된 몸체와 DSP, 스텝모터, CCD카메라, 로봇과 호스트 PC간의 무선 통신을 위한 RF모듈로 구현된 영상처리보드로 구성되어 있다. 로봇은 직교 좌표상에서 목적지를 정하고 남은 거리를 계산하여 이동한다. 그리고 매 시간마다 로봇에 탑재된 CCD카메라로부터 영상을 캡쳐하여 경로를 계산한다. 여기에서 호스트 PC로부터 명령을 전달받고 영상을 전송하는 과정은 영상처리 보드의 구현에 의하여 생략된다. 영상처리 보드에서 이러한 일련의 과정을 처리하기 때문이다. 영상처리보드는 DSP(TMS320VC33), ADV611, SAA7111, ADV7176A, CPLD(EPM7256 ATC144), SRAM으로 구성되어 있다. DSP는 제어 신호를 발생하고 알고리즘을 수행한다. ADV611의 기능은 Run-length coding, Hough transform, 그리고 Wavelet transform에 의한 압축 알고리즘을 수행한다. SAA7111은 A/D 변환기이며, ADV7176은 D/A 변환기이다. CPLD (EPM7256ATC144)는 영상 전처리와 영상 처리 알고리즘을 수행한다. SRAM은 데이터를 저장한다. 영상처리 보드는 일반적인 보드보다 빠른 속도와 해상도를 지원하며 압축 알고리즘을 탑재하고 있어서 영상을 전송하는 데에 있어서도 탁월한 성능을 보인다. 이러한 기능을 지원하기 위하여 Encoder와 Decoder의 두 모듈을 사용하였다.
두 번째 Part는 영상궤환 제어 알고리즘은 장애물을 판별하기 위하여 두 가지 알고리즘을 제안한다. 첫 번째 알고리즘은 CCD카메라로부터 획득한 입력 영상을 개선하기 위하여 필터링이나 에지검출, 경계값 설정, NOR변환 등의 영상 전처리 과정을 거친 후, 장애물이 인식되면 회피할 제어 신호를 이동로봇으로 전송하는 것이다. 이동로봇에 탑재된 CCD카메라에서 획득한 영상 정보는 매 샘플링 시간마다 캡쳐한다. 화면에서 장애물의 유무를 판별한 후 좌 혹은 우로 회전하여 장애물을 회피하고 이동한 거리를 Feedback하는 시스템을 구현하여 초기에 지정한 목표지점까지 로봇이 갈 수 있도록 간략한 경로를 계획하여 추적해 나가는 알고리즘을 구현해 보고자 한다. 여기에서는 영상 전처리 과정과 장애물을 인식할 수 있도록 Labeling과 Segmentation을 통한 pixel의 밀도 계산이 도입된다. 두 번째 알고리즘은 위와 같이 전처리된 영상에 웨이브렛 변환을 이용하여 좌표를 ( 0 , 0 )에서 ( 0 , 197 )까지의 히스토그램 분포를 20 Pixel 간격으로 스캔한다. 웨이브 변화에 의하여 장애물이 있는 부분의 히스토그램의 분포는 거의 변동이 없이 나타난다. 이러한 특성을 이용하여 장애물이 있는 곳을 찾아내고 이것을 회피하기 위한 알고리즘을 세웠다. 본 논문에서는 이동 로봇에 장착된 한 개의 CCD 카메라를 통해 입력되는 영상 정보를 이용하여 중간의 위치한 장애물을 회피하면서 초기에 설정해둔 목적지까지 도달하기 위한 알고리즘을 제안하였으며, 영상처리 보드를 설계하여 영상 전처리 과정을 볼 수 있도록 하였다.
본 논문에서는 영상정보에서 장애물을 인식하고 추출하며, 여러 가지 영상처리 알고리즘을 이용하여 장애물 부분과 배경부분을 분리하고 이동경로 계획에 즉시 반영하여 제어할 수 있는 하나의 독립적인 영상 궤환 제어를 하였다. 이러한 방법은 기존의 모니터링 역할의 영상처리가 아닌 직접 센싱의 역할을 하게 되는 것이다. 알고리즘 측면에서도 빠른 연산수행을 위하여 라벨링과 히스토그램의 세기를 측정하는 방법을 택하여 30 frame/sec의 빠른 연산 수행 속도를 보였으며, 이러한 속도가 가능한 것은 압축 알고리즘을 탑재한 독립적인 영상처리 보드의 구현에 의하여 가능하였다. 장애물에 대한 인식 오차율이 1/1000 이하로 나타나므로 장애물에 대한 인식율이 높은 것으로 실험으로서 검증되었다.

다국어 초록 (Multilingual Abstract)

In industrial modern society, with rapid development of signal processing and vision technology as well as hardware technology and computers, active researches are being made on automatic object recognition, edge detection, and mobile robots using those two. This automation technology now seems to be applied even to our home appliances; for example, robots doing housework or cleaning, and robots working in the limited places where people can not enter easily, workplaces, such as sewer pipes, an industrial site where superheat is emitting or radioactive materials are present, or the places considered dangerous. In those places robots can be of great help. These days, the robots which are operated by remote control or by wire, rather than by themselves, are prevalent
In this paper, we implement robot which are ability to recognize obstacles and moving automatically to destination. we present two results in this paper; hardware implementation of image processing board and software implementation of visual feedback algorithm for a self-controlled robot.
In the first part, the mobile robot depends on commands from a host PC which is doing image processing part. We have studied the self controlled mobile robot system equipped with a CCD camera for a long time. This robot system consists of a image processing board implemented with DSPs, a stepping motor, a CCD camera, wireless RF modules for communication between the robot and the host PC. We will propose an algorithm in which commands are delivered by wireless for the robot to move in the planned path. The distance that the robot is supposed to move is calculated on the basis of the absolute coordinate and the coordinate of the target spot. And the image signal acquired by the CCD camera mounted on the robot is captured at every sampling time in order for the robot to automatically avoid the obstacle and finally to reach the target spot. The image processing board consists of DSP (TMS320VC33), ADV611, SAA7111, ADV7176A, CPLD(EPM7256ATC144), and SRAM memories. The DSP controls signals and algorithms. The function of ADV611 supports image compression algorithm based on run-length coding, Hough transform, and Wavelet transform. SAA7111 is an AD converter. ADV7176 is a DA converter. CPLD(EPM7256ATC144) implements algorithms for image preprocessing and processing. SRAM memories are for data storage.
In the second part, the visual feedback control has two types of vision algorithms: obstacle avoidance and path planning. The first algorithm is cell, part of the image divided by blob analysis. We will do image preprocessing to improve the input image. This image preprocessing consists of filtering, edge detection, NOR converting, and thresholding. This major image processing includes labeling, segmentation, and pixel density calculation. In the second algorithm, after an image frame went through preprocessing (edge detection, converting, thresholding), the histogram is measured vertically ( the y-axis direction). Then, the binary histogram of the image shows waveforms with only black and white variations. Here we use the fact that since obstacles appear as sectional diagrams as if they were walls, there is no variation in the histogram. The intensities of the line histogram are measured as vertically at intervals of 20 pixels. Since the parts which are recognized as obstacles don't show any waveform variation during 3 intervals(movement of 60 pixels), they are finally recognized as obstacles. This histogram is ( x , y ) value of the pixel. For example, the initial intensity of the line histogram is waveforms from ( 0, 0 ) all the way to ( 0, 197 ) and the final intensity of the line histogram is waveforms from ( 280, 0 ) all the way to ( 280, 197 ). So, we can find uniform and nonuniform regions of the waveforms and define the period of uniform waveforms as an obstacle region. We can see that the algorithm is very useful for the robot to move avoiding obstacles.

목차 (Table of Contents)

• 한글 요약문 = ⅰ
• 목차 = ⅳ
• 그림목차 = ix
• 표목차 = ⅹix
• 약어 = xx
• 기호 = xxⅳ
• Ⅰ. 서론 = 1
• 1. 비젼로봇에 대한 연구동향과 시스템의 설계 배경 = 1
• 2. 장애물 회피에 관한 알고리즘 = 4
• 3. 자율이동로봇의 이동경로 및 경로계획 = 6
• Ⅱ. 하드웨어 시스템 = 7
• 1. 로봇 시스템의 구성 = 7
• 1.1 시스템의 구성 및 환경설정 = 7
• 1.1.1 시스템 구성 개요 및 환경 = 7
• 1.1.2 로봇의 구성 = 8
• 1.1.3 구동 모터 = 10
• 1) 스테핑 모터의 특성 = 10
• 2) 스테핑 모터의 구동 방법 = 12
• 3) 모터구동 드라이버 = 16
• 1.2 제어명령 전송을 위한 무선통신 = 20
• 1.2.1 RF모듈의 특징 및 기능 = 20
• 1.2.2 데이터의 송, 수신 = 22
• 1.3 영상신호를 이용한 장애물 회피 및 경로추정 = 25
• 1.3.1 영상신호 획득과 장애물 회피 = 25
• 1.3.2 경로 추정 = 25
• 1.3.3 자율이동 로봇의 이동경로 = 28
• 2. Frame Grabber 설계 = 29
• 2.1 영상보드의 구성 = 29
• 2.2 SAA7111A의 특징 및 설계 = 31
• 2.2.1 SAA7111A의 구조 및 특성 = 31
• 2.2.2 SAA7111A의 부분별 기능 = 35
• 2.2.3 I^(2)C-bus 통신 = 38
• 2.2.4 SAA7111A를 이용한 영상 보드 설계 = 41
• 2.3 TMS320VC33의 특징 및 설계 = 43
• 2.3.1 TMS320VC33의 구조 및 특성 = 44
• 2.3.2 TMS320VC33을 이용한 영상보드 설계 = 47
• 1) 외부 메모리 인터페이스 = 48
• 2) 디코더 & 웨이트 발생 로직 = 52
• 3) 부트로드를 위한 Flash Memory구성 = 54
• 2.3.3 부트 로드의 구현 = 56
• 1) 외부 메모리에 의한 부팅 = 56
• 2) 직렬 포트에 의한 부팅 = 58
• 3) 외부 플래시 메모리에 의한 부팅 = 58
• 2.4 EPM7256ATC144-12의 특징 및 설계 = 61
• 2.4.1 EPM7256ATC의 구조 및 특성 = 61
• 2.4.2 EPM7256ATC144를 이용한 영상보드 설계 = 65
• 2.5 ADV7176A의 특징 및 설계 = 69
• 2.5.1 ADV7176A의 구조 및 특성 = 69
• 2.5.2 ADV7176A를 이용한 영상보드 설계 = 74
• 2.6 ADV611의 특징 및 설계 = 76
• 2.6.1 ADV611의 구조 및 특성 = 76
• 2.6.2 ADV611의 데이터 압축 = 82
• 1) 데이터 압축기법 분류 = 82
• 2) 데이터 압축기법의 종류 = 83
• 2.6.3 ADV611을 이용한 영상 보드 설계 = 86
• 2.7 영상보드의 제원과 특성 = 90
• Ⅲ. 장애물 회피를 위한 영상 전처리와 알고리즘 = 92
• 1. 영상전처리 = 92
• 1.1 영상처리의 개요 = 92
• 1.1.1 영상처리 기법의 분류 = 92
• 1) 영상처리의 분류 = 93
• 2) 영상처리 시스템의 분류 = 94
• 3) 영상처리의 기술적 측면의 분류 = 95
• 1.1.2 영상획득 = 97
• 1) 영상 파일의 구조 = 97
• 2) 영상의 표현 = 99
• 3) 영상을 파일에 쓰기 = 99
• 1.1.3 색상의 표현 = 101
• 1) 색상 (Hue) = 101
• 2) 채도 (Saturation) = 101
• 3) 명도 (Brightness) = 101
• 4) 대비 (Contrast) = 102
• 1.1.4 Color Model = 102
• 1) RGB 모델 = 103
• 2) CMY 모델 = 104
• 3) HSI 모델 = 106
• 4) YCbCr 모델 = 107
• 5) Color model의 비교 = 108
• 1.2 입력영상 전처리 과정의 개요 = 109
• 1.3 Sobel 연산자에 의한 Edge detection = 110
• 1.3.1 Edge detection = 110
• 1) 유사연산자 (homogeneity operator) = 113
• 2) 차연산자 기법을 이용한 에지 추출 = 113
• 3) 경계값을 이용한 에지 강조/약화 = 114
• 4) 1차 미분 (First-Order Differential operator) = 114
• 5) 2차 미분 (Second-Order Differential operator) = 116
• 1.3.2 Sobel 연산자에 의한 경계 검출 = 117
• 1.3.3 Sobel 연산자를 적용한 결과 영상 = 118
• 1.4 NOR-converter에 의한 영상의 명암 반전 = 120
• 1.5 히스토그램과 Thresholding = 121
• 1.5.1 히스토그램 = 121
• 1.5.2 이진화 (Binarization) = 122
• 1) 고정 기준값 방법 = 123
• 2) 불규칙 잡음 방법 = 123
• 3) 불규칙 패턴 방법 = 123
• 4) 최소 오차 방법 = 124
• 5) 오차 분산 방법 = 124
• 1.5.3 Thresholding = 125
• 1.5.4 Thresholding 적용 = 126
• 2. Labeling과 Segmentation을 이용한 장애물 인식 = 127
• 2.1 Labeling에 의한 면적 계산 = 127
• 2.1.1 Labeling = 127
• 2.1.2 Labeling의 순차 알고리즘 = 129
• 2.1.3 크기 필터링(Size Filtering) = 133
• 3. Line Histogram Intensity를 이용한 장애물 인식 = 134
• 3.1 Wavelet Transform = 134
• 3.1.1 Wavelet Transform의 개념 = 134
• 3.1.2 Discrete Wavelet Transform (MRA : Multi-Resolution Analysis) = 136
• 1) Orthogonal Wavelets = 137
• 2) Multi-Resolution Analysis = 138
• 3) MRA의 근사계수 (approximation coefficient) = 139
• 4) MRA의 상세계수 (detail coefficient) = 140
• 5) 영상에서의 다해상도 분석방법 = 141
• 3.1.3 장애물 인식을 위한 WT 적용 알고리즘 = 143
• Ⅳ. 실험결과 및 분석 = 146
• 1. Labeling 기법에 의한 장애물 회피 알고리즘 실험결과 = 146
• 2. Line histogram intensity 기법에 의한 장애물
• 회피 알고리즘 실험결과 = 156
• 3. 분석 및 비교 = 180
• 3.1 이동로봇에 대한 기존의 연구 동향 = 180
• 3.2 기존의 방법과 비교 분석 = 181
• Ⅴ. 결론 = 183
• 참고문헌 = 186
• Abstract = 193
• Appendix (영상처리 용어) = 196
• 감사의 글 = 215