얼굴과 입 모양 인식을 이용한 지능형 휠체어 시스템 (pp.161-168)

주진선(Jin Sun Ju),신윤희(Yunhee Shin),김은이(Eun Yi Kim) 한국정보과학회 2009 정보과학회논문지 : 소프트웨어 및 응용 Vol.36 No.2

본 논문에서는 다양한 장애를 가진 사용자들을 위한 지능형 휠체어의 인터페이스를 제안한다. 제안된 시스템의 주된 목적은 전동휠체어의 조이스틱을 사용하기 힘든 장애인들에게 효율적인 인터페이스를 제공함으로써 그들의 안전한 이동성을 보장하여 독립적인 삶을 이끌어 나갈 수 있도록 하는 것이다. 이를 위해 제안된 시스템은 사용자의 얼굴 기울기를 인식하여 휠체어의 회전을 수행하고 입 모양을 인식하여 휠체어의 전진과 정지를 수행 한다. 이러한 얼굴 특징을 인식하기 위해 제안된 시스템은 얼굴 특징검출기, 얼굴 특징 인식기, 전환기로 구성된다. 얼굴 특징 검출기는 Adaboost를 이용하여 얼굴 영역을 먼저 검출한 후 에지 정보를 이용하여 입 영역을 검출한다. 검출된 결과들은 얼굴 특징 인식기에서 statistical analysis와 K-means clustering을 이용하여 얼굴 각도와 입 모양을 인식한다. 전환기는 인식된 결과들을 휠체어의 모터를 제어하기 위한 명령어로 변환하여 사용자의 얼굴 및 입의 움직임으로 휠체어를 제어할 수 있도록 한다. 제안된 지능형 휠체어의 효율성을 증명하기 위하여 34명의 사용자를 대상으로 다양한 환경에서 실험한 결과 제안된 시스템은 전동 휠체어의 조이스틱을 사용 할 수 없는 장애인들에게 편리한 이동성을 제공하며, 보다 편리하고 친숙한 인터페이스로 사용 될 수 있음을 보여 주었다. In this paper, we develop an Intelligent Wheelchair(IW) control system for the people with various disabilities. The aim of the proposed system is to increase the mobility of severely handicapped people by providing an adaptable and effective interface for a power wheelchair. To facilitate a wide variety of user abilities, the proposed system involves the use of face-inclination and mouth-shape information, where the direction of an Intelligent Wheelchair(IW) is determined by the inclination of the user’s face, while proceeding and stopping are determined by the shape of the user’s mouth. To analyze these gestures, our system consists of facial feature detector, facial feature recognizer, and converter. In the stage of facial feature detector, the facial region of the intended user is first obtained using Adaboost, thereafter the mouth region detected based on edge information. The extracted features are sent to the facial feature recognizer, which recognize the face inclination and mouth shape using statistical analysis and K-means clustering, respectively. These recognition results are then delivered to a converter to control the wheelchair. When assessing the effectiveness of the proposed system with 34 users unable to utilize a standard joystick, the results showed that the proposed system provided a friendly and convenient interface.

얼굴과 입 모양 인식을 이용한 지능형 휠체어 시스템 (pp.299-300)

주진선(Jinsun ju),신윤희(Yunhee shin),김은이(Eun Yi kim) 한국정보과학회 2008 한국정보과학회 학술발표논문집 Vol.35 No.1

다중 얼굴 특징 추적을 이용한 복지형 인터페이스

주진선(Jin Sun Ju),신윤희(Yun Hee Shin),김은이(Eun Yi Kim) 대한전자공학회 2008 電子工學會論文誌-SP (Signal processing) Vol.45 No.1

본 논문에서는 얼굴의 다중 특징을 이용하여 마우스의 다양한 동작을 효율적으로 구현할 수 있는 복지형 인터페이스를 제안한다. 제안된 시스템은 5개의 모듈로 구성 된다 : 얼굴의 검출(Face detection), 눈의 검출(eye detection), 입의 검출(mouth detection), 얼굴특징 추적(facial feature tracking), 마우스의 제어(mouse control). 첫 단계에서는 피부색 모델과 연결 성분 분석을 이용하여 얼굴 영역을 검출한다. 그 후 얼굴영역으로부터 정확히 눈을 검출하기 위하여 신경망 기반의 텍스처 분류기를 사용하여 얼굴 영역에서 눈 영역과 비 눈 영역을 구분한다. 일단 눈 영역이 검출되면 눈의 위치에 기반 하여 에지 검출기 (edge detector)를 이용하여 입 영역을 찾는다. 눈 영역과 입 영역을 찾으면 각각 mean shift 알고리즘과 template matching을 사용하여 정확하게 추적되고, 그 결과에 기반 하여 마우스의 움직임 또는 클릭의 기능이 수행된다. 제안된 시스템의 효율성을 검증하기 위하여 제안된 인터페이스 시스템을 다양한 응용분야에 적용 하였다. 장애인과 비장애인으로 나누어 제안된 시스템을 실험한 결과 모두에게 실시간으로 보다 편리하고 친숙한 인터페이스로 활용 될 수 있다는 것이 증명 되었다. We propose a welfare interface using multiple facial features tracking, which can efficiently implement various mouse operations. The proposed system consist of five modules: face detection, eye detection, mouth detection, facial feature tracking, and mouse control. The facial region is first obtained using skin-color model and connected-component analysis(CCs). Thereafter the eye regions are localized using neutral network(NN)-based texture classifier that discriminates the facial region into eye class and non-eye class, and then mouth region is localized using edge detector. Once eye and mouth regions are localized, they are continuously and correctly tracking by mean-shift algorithm and template matching, respectively. Based on the tracking results, mouse operations such as movement or click are implemented. To assess the validity of the proposed system, it was applied to the interface system for web browser and was tested on a group of 25 users. The results show that our system have the accuracy of 99% and process more than 21 frame/sec on PC for the 320×240 size input image, as such it can supply a user-friendly and convenient access to a computer in real-time operation.

얼굴 특징 인터페이스와 상황 인식 내비게이션을 이용한 지능형 휠체어

주진선(Jin Sun Ju),김은이(Eun Yi Kim) 한국정보과학회 2011 정보과학회논문지 : 소프트웨어 및 응용 Vol.38 No.10

Recently, intelligent wheelchairs have been intensively researched to allow the disabled or elderly people with cognitive and motor impairments for mobility aids. In this paper, we propose new vision-based robotic wheelchairs using human’s gestures and scene contexts. For the easy and accurate control of a wheelchair, a face inclination and mouth shapes are used, where the direction of an IW is determined by the inclination of the user’s face, while proceeding and stopping are determined by the shape of the user’s mouth. And for providing autonomous avoidance of obstacles, a monocular vision-based navigation is developed, where the environments of user’s positions are represented by occupancy maps and the viable paths are generated by learning the visual scene contexts among occupancy maps for respective paths using multi-layer perceptron (MLP). To assess the effectiveness of the developed robotic wheelchair, several experiments were performed on indoor and outdoor under various situational effects. The wheelchair control interface shows the precision of 100% and the recall of 96.5% on average. And the monocular vision-based navigation detected collisions with accuracy of 92.5% and generated viable paths with 94% accuracy. These experimental results showed that it can reduce the number of collisions on various tasks and support the safe and convenient mobility to the people with various disabilities 최근 인지 및 운동 장애를 가진 장애인 및 고령자의 안전한 이동성을 지원하기 위한 지능형 휠체어의 연구가 활발히 진행되고 있다. 본 논문에서는 사용자의 제스처 및 상황 인식을 이용한 비전 기반의 새로운 지능형 휠체어를 제안 한다. 제안된 지능형 휠체어는 얼굴의 기울기와 입의 형태 정보를 이용하여 휠체어의 방향을 제어하는 인터페이스를 제공함으로써, 신체의 장애를 가진 사용자의 편리하고 효율적인 휠체어 제어를 돕는다. 또한 인터페이스 사용자의 안전한 주행을 위해 단일 카메라를 기반으로 사용자 주변 환경을 장애물의 점유 그리드 맵으로 표현하고, 이후 각 회피 경로에 대한 점유 그리드 맵의 특성을 다층퍼셉트론을 이용하여 학습함으로써 임의의 환경에서 안전한 회피방향을 자동으로 생성하게 된다. 제안된 지능형 휠체어의 효율성을 검증하기 위하여 34명의 사용자를 대상으로 다양한 임의의 환경에서 실험을 수행하였다. 그 결과 제안된 지능형 휠체어의 제어 인터페이스는 평균 97%의 정확도로 전동 휠체어의 조이스틱을 사용하기 어려운 수족 장애인들에게 편리한 이동성을 제공하였으며, 단일 카메라 기반의 내비게이션은 평균 94%의 정확도로 다양한 형태의 장애물을 인지하고 안전한 회피 방향을 생성할 수 있음을 증명하였다. 이러한 실험 결과는 제안된 시스템이 보다 편리하고 친숙하며 안전하게 장애인들에게 이동성을 제공할 수 있다는 것을 보여준다.

신체 장애우를 위한 얼굴 특징 추적을 이용한 실감형 게임 시스템 구현

주진선(Jin Sun Ju),신윤희(Yun Hee Shin),김은이(Eun Yi Kim) 한국정보과학회 2006 한국정보과학회 학술발표논문집 Vol.33 No.2A

실감형 게임은 사람의 신체 움직임 및 오감을 최대한 반영한 리얼리티를 추구하는 전문적인 게임이다. 현재 개발된 실감형 게임들은 비 장애우를 대상으로 만들어 졌기 때문에 많은 움직임을 필요로 한다. 하지만 신체적 불편함을 가진 장애우들은 이러한 게임들을 이용하는데 어려움이 있다. 따라서 본 논문에서는 PC상에서 최소의 얼굴 움직임을 사용하여 수행할 수 있는 실감형 게임 시스템을 제안한다. 제안된 실감형 게임 시스템은 웹 카메라로부터 얻어진 영상에서 신경망 기반의 텍스쳐 분류기를 이용하여 눈 영역을 추출한다. 추출된 눈 영역은 Mean-shift 알고리즘을 이용하여 실시간으로 추적되어지고, 그 결과로 마우스의 움직임이 제어된다. 구현된 시스템은 flash게임과 연동 하여 게임을 눈의 움직임으로 제어 할 수 있다. 제안된 시스템의 효율성을 검증하기 위하여 장애우와 비 장애우로 분류하여 성능을 평가 하였다. 그 결과 제안된 시스템이 보다 편리하고 친숙하게 신체 장애우 에게 활용 될 수 있으며 복잡한 환경 에서도 확실한 얼굴 추적을 통하여 실감형 게임 시스템을 실행 할 수 있음이 증명되었다.

HCI를 위한 트리 구조 기반의 자동 얼굴 표정 인식

신윤희(Yun-Hee Shin),주진선(Jin-Sun Ju),김은이(Eun-Yi Kim),Takeshi Kurata,Anil K. Jain,박세현(Se-Hyun Park),정기철(Kee-Chul Jung) 한국산업정보학회 2007 한국산업정보학회논문지 Vol.12 No.3

전자태그(RFID)를 적용한 병원 약물전달 시스템 설계(HMDS)

임근 ( Lim Keun ),주진선 ( Ju Jinsun ),이혜선 ( Lee Hyesun ) 한국정보처리학회 2006 한국정보처리학회 학술대회논문집 Vol.13 No.1

병원에서는 RFID를 적용하여 병원종사자의 동선관리 및 의료 장비 등의 활용성을 개선함으로서 의료 환경에 많은 변화가 일어나고 있으며 의료 서비스 향상에 크게 기여하고 있다. 그러나 의료 서비스에 앞서 더욱 중요한 의료 안전분야 에서는 여러 문제점 등이 내재되어 있다. 감염된 혈액의 수혈사고, 수술환자의 이동사고, 약물전달사고 등이 있다. 이러한 문제는 의료서비스 향상에도 불구하고, 의료 안전에 대한 부분이 상대적으로 배재되기 때문에 나타나는 것으로 판단된다. 본 논문에서는 특히 약물전달에 RFID를 적용하여 약물 전달사고를 최소화 하고자 한다.

단일 카메라를 이용한 VFH 기반의 실시간 주행 기술 개발

조장원 ( Jang-won Jo ),주진선 ( Jin Sun Ju ),고은정 ( Eunjeong Ko ),김은이 ( Eun Yi Kim ) 한국정보처리학회 2010 한국정보처리학회 학술대회논문집 Vol.17 No.1

본 논문에서는 단일 카메라로부터 주어진 영상을 실시간으로 장애물과 비장애물 영역으로 분류한 후 VFH 를 이용하여 안전한 경로를 선정하는 실시간 주행 시스템을 개발한다. 제안된 시스템은 점유 그리드맵 생성기와 VFH 기반의 선정기로 구성된다. 점유 그리드맵 생성기는 입력된 320×240 영상의 색조와 명도 정보를 이용하여 실시간으로 배경과 장애물 영역을 분류하고, 이를 바탕으로 위험도에 따라 10 개의 그레이 레벨을 가지는 32×24 의 점유 그리드맵을 생성한다. VFH를 이용하여 폴라 히스토그램을 작성한 후 밀도가 낮은 곳으로 주행 경로를 결정 한다. 제안된 기술의 효율성을 증명하기 위하여 다양한 형태의 장애물을 포함하는 실내 및 실외 환경에서 평가 하였으며 센서 기반의 그 결과는 기존의 센서기반의 주행시스템과 비교 되었다. 그 결과 제안된 시스템은 88%의 정확도를 보였으며, 기존의 시스템보다 실시간으로 빠르고 안전한 주행을 수행할 수 있음이 증명되었다.

지능형 휠체어를 위한 하이브리드 내비게이션 시스템

고은정(Eunjeong Ko),주진선(Jin Sun Ju),김은이(Eun Yi Kim) 한국HCI학회 2009 한국HCI학회 학술대회 Vol.2009 No.2

본 논문은 지능형 휠체어의 장애물 감지 및 회피를 위한 하이브리드 내비게이션 시스템을 제안한다. 하이브리드 내비게이션 시스템은 센서정보와 비전 정보를 통합하여, 다양한 종류의 장애물을 강건하게 검출하고 휠체어가 안전한 길로 이동할 수 있도록 경로를 선정하는 시스템 이다. 이를 위해 지능형 휠체어에 2개의 초음파센서와 8개의 적외선 센서, CCD 카메라를 부착하였다. 이로부터 들어온 센서정보와 실시간 영상을 이용하여 제안된 시스템은 다양한 장애물들을 감지할 수 있었고 최적의 경로를 선정할 수 있었다. 제안된 하이브리드 내비게이션 시스템의 효율성을 증명하기 위하여 다양한 환경에서 장애물들이 설치된 장소에서 실험한 결과 제안된 시스템은 사용자의 안전한 이동성을 제공할 수 있음을 보여주었다. In this paper, we propose hybrid navigation system, for obstacle detection and avoidance in Intelligent wheelchairs (IWs). To robustly detect obstacles and avoid them on various environments, hybrid navigation system combines both range-sensor and camera information. For this, 10 range-sensors (2 ultrasonic and 8 infra-red sensors) and CCD camera are used. Through processing the informations obtained from those sensors, our system can detect obstacles with various sizes and shapes, and then avoid them. To assess the effectiveness of the proposed hybrid navigation system, it was tested on complex environments including various obstacles, then the results showed the potential of our system as mobility aids for disabled people.

K-means clustering을 이용한 지능형 휠체어의 경로 선정 시스템 구현

곽동석 ( Dongseok Kwak ),이재국 ( Jaekook Lee ),주진선 ( Jin Sun Ju ),고은정 ( Eunjeong Ko ),김은이 ( Eun Yi Kim ) 한국정보처리학회 2009 한국정보처리학회 학술대회논문집 Vol.16 No.2

본 논문은 고령자 및 장애인의 안전한 이동을 지원하기 위한 지능형 휠체어에서의 자동 장애물 감지 및 회피 기술을 개발한다. 이때 다양한 환경에서의 장애물을 정확히 감지하고 회피하기 위하여 학습을 이용한 비전 기반의 경로 선정 방법이 제안 된다. 제안된 시스템은 배경 분류기, occupancy grid map 생성기, 경로 선정기로 구성되며, 경로 선정 시 강건한 장애물 검출을 수행하기 위해 입력 영상을 occupancy grid map으로 변환하고, K-means clustering 알고리즘을 이용하여 생성된 대표 템플릿들과 비교하여 이동 가능한 방향을 선정한다. 제안된 시스템의 효율성을 증명하기 위해 다양한 형태의 장애물을 포함하는 실내 및 실외에서 실험한 결과 81.7%의 정확도를 보였으며, 지능형 휠체어 사용자에게 안전한 이동성을 제공 할 수 있음을 증명 하였다.