로봇을 위한 제스처 인식 시스템 = Gesture Recognition System for Robot

국문 초록 (Abstract)

인간은 일상생활에서 제스처와 같은 비 언어적 수단을 이용하여 많은 정보 를 전달한다. 따라서 인간과 정보 시스템이 자연스럽게 대화 할 수 있는 인터 페이스 구축을 위한 제스처 인식에 관한 연구는 필수적이다. 제스처를 인식한 다는 것은 인체 각 부위가 시간축에 대하여 어떤 형상의 변화를 가지는가를 알아내는 것을 의미한다. 그러나 제스처의 종류는 무한하고 인체는 매우 복잡 한 구조를 지닌 3차원 물체이므로 이를 자동으로 인식하는 것은 매우 어려운 일이다. 초기에는 인체 각 부위의 관절에 부착된 센서를 통해서 형상 변위값 을 입력하여 시공간적인 형상 패턴을 추출하고 제스처를 인식 하였다. 이 방 법은 장치를 몸에 붙이는 과정이 복잡하고 초기 교정이 어려우며 연결 케이블 로 인하여 자유로운 제스처의 입력이 불가능 하여 현재는 거의 사용되지 않고 있다.
별도의 입력 장비를 사용하지 않고 컴퓨터와 인간 간의 상호작용 기술로서 제스처 인식 방법은 많은 연구가 행해지고 있으며, 먼 거리나 잡음의 환경에 서 인간과 컴퓨터 간의 정보 전달 수단이 될 수 있으며 더 나아가 로봇 동작 제어, 사용자의 서비스 제공, 게임, 가상현실 등에 활용 될 수 있다.
카메라 영상 기반 제스처 인식 기술을 인간-로봇 상호작용 목적으로 활용하 기 위해서는 일반 범용 사용자를 대상으로 인식 대상 제스처의 종류를 10개 이내로 제한하여 복합 특징 정보 값 및 복합 제스처 인식기를 사용하여야 한 다. 또한 posture 정보를 같이 활용하면 보다 나은 인식 성능을 보장 할 수 있 을 것이다. 인간-로봇 간의 자연스러운 상호작용을 위한 제스처 인식 기술의 개발은 기계적이고 인위적인 컴퓨터 인터페이스 환경을 자연스러운 컴퓨팅 환 경으로 대체 할 수 있다는 데 그 중요성을 가지게 될 것이다.
본 논문에서는 애완용 강아지 로봇에 장착된 카메라로부터 보이는 사용자의 제스처를 인식하여 로봇에 명령을 하달하는 로봇제어 방법론을 제안한다. 제 안된 인터페이스를 이용하여 사용자는 로봇을 손 제스처만으로 제어할 수 있 다. 사용자의 손 제스처를 인식하기 위해 인터페이스는 실시간으로 입력되는 연속 영상으로부터 사용자의 손을 검출하고 손의 움직임, 모양 등의 특징들을 추출한다. 손을 검출하기 위해 HSI 색상공간에서 피부색을 정의하고, 연속 영 상에서 검출된 손 영역의 중심점 이동으로 손의 움직임 특징들을 추출한다. 손 모양은 의미 있는 제스처를 구분하고, 이를 알기위해 손 영역의 중심점을 중점으로 하는 원과 손 영역과의 교차점 수를 이용하여 찾는다. 추출된 특징 들로부터 양자화된 심볼열은 손 제스처 인식을 위해 은닉 마르코프 모델에 입 력된다.
본 논문에서 애완용 강아지 로봇을 제어하기 위한 명령으로 앉아, 일어서, 엎드려, 악수의 4가지 제스처를 정의하여 사용하였다. 실험 결과에서 제안한 인터페이스를 통해 사용자가 제스처를 사용하여 애완용 강아지 로봇을 제어 할 수 있음을 보인다. 사용된 로봇은 머리와 다리를 구성하는 서보모터 6개, 다리를 구성하는 서보모터 8개를 사용하였고, 이는 로봇 머리를 상하좌우 조 정이 가능하게 해주고, 최대한의 자연스러운 이동을 가능하게 해 준다.

다국어 초록 (Multilingual Abstract)

Human transmits using non language mean like gesture language. Therefore, research about gesture recognition for interface construction that it can communicate between human and information system are indispensability. Gesture recognition means find out that part of human body has some shape variation about time axis. But, kinds of gesture are infinity and because of human body is three dimension object having very complex structure, therefore, it is very difficult recognize human body automatically. Early time it inputs through attached sensor on region of human body articulation shape displacement value and it abstracts shape pattern of the hour space and recognized gesture. This method is almost useless at the present day because of it complicate process which attaches a system in the body and revision is difficult initially and free gesture input is impossible with the connection cable.
It does not use input device especially, gesture recognition method as interaction technology between computer and human is many research comes to do, it can be between computer and human information delivery means in distant distance or environment of noise, further, it can be applied in robot action control, use service provision, game, virtual reality, and so on.
Gesture recognition technique of camera image base which it applies in interaction purpose of human and robot that it must use a composition feature information value and the composition gesture recognizer who does the general purpose user in the object limits recognition object gesture type within 10 things. Also it can be guarantee more excellent recognition performance if use posture information together. Development of gesture recognition technique for natural interaction of between human and robot will have an importance which it can replace mechanical and artificially computer interface environment by natural computing environment.
In this paper, suggest the robot control methodology that it recognizes user gesture seeing from the camera on pet dog robot others an other in the robot. User use suggested interface can control robot only hand gesture. Interface For recognition user hand gesture detects user hand from it be inputed real time continuous image and extract features of motion of hand, hand shape end so on. Defines skin color in HSI color space For detect hand, extracts features of hand motion with movement of hand center point detected in continuous image. Hand shape distinguishs meaning gesture, we detect for know that the number of intersection between the circle with center point of hand area and hand area. Quantified symbols from extracted features input in Hidden markov model for hand gesture recognition.
In this paper, we defines four commands of sit down, stand up, lie flat, shake hands for controls pet robot. We are visible that user can control use gesture through interface suggested in experiment result. The robot used six servo-motor composed of head and leg, eight servo-motor composed of leg, it can control robot head the upper direction, down, the left, the right, it possible maximum natural movement.

목차 (Table of Contents)

• Ⅰ. 서론 = 1
• 1. 제스처 인식의 개요 = 1
• 2. 인간과 로봇과의 상호작용 = 2
• 3. 제스처 인식의 응용 = 3
• 4. 카메라 영상 기반 제스처 인식 = 3
• 5. 제안한 시스템 = 4
• 6. 논문의 구성 = 6
• Ⅱ. 손 검출 위한 특징 추출 = 7
• 1. 시스템 개요 = 7
• 2. 특징 추출 = 8
• 1) 피부색 기반의 손 영역 정의 = 8
• 2) 휴리스틱 기반의 손 영역 검출 = 10
• III. 특징 벡터 추출 및 벡터 양자화를 이용한 제스처 인식 = 13
• 1. 특징벡터 추출 및 벡터 양자화 = 13
• 2. HMM을 이용한 제스처 인식 = 16
• 1) 제스처 Spotting = 16
• 2) 제스처 인식 = 22
• 3. 로봇 구현 = 23
• 1) 블루투스를 이용한 로봇 제어 = 26
• 2) 로봇 소요 부품 = 26
• IV. 분석 및 실험결과 = 27
• 1. 분석 = 27
• 2. 실험 및 결과 = 27
• V. 결론 = 31
• 참고문헌 = 32
• Abstract = 34