눈동자 시선 추적에 의한 3차원 1인칭 슈팅 게임

이의철,박강령,Lee, Eui-Chul,Park, Kang-Ryoung 한국정보처리학회 2005 정보처리학회논문지B Vol.12 No.4

In this paper, we propose the method of manipulating the gaze direction of 3D FPS game's character by using eye gaze detection from the successive images captured by USB camera, which is attached beneath HMB. The proposed method is composed of 3 parts. At first, we detect user's pupil center by real-time image processing algorithm from the successive input images. In the second part of calibration, when the user gaze on the monitor plane, the geometric relationship between the gazing position of monitor and the detected position of pupil center is determined. In the last part, the final gaze position on the HMD monitor is tracked and the 3D view in game is controlled by the gaze position based on the calibration information. Experimental results show that our method can be used for the handicapped game player who cannot use his(or her) hand. Also, it can Increase the interest and the immersion by synchronizing the gaze direction of game player and the view direction of game character. 본 논문에서는 HMD(Head Mounted Display) 하단에 눈동자의 움직임 영상을 취득할 수 있는 USB 카메라를 부착한 후, 3차원 1인칭 슈팅(First Person Shooting) 게임에서 게임 캐릭터의 시선방향을 눈동자 움직임에 의해 조작하는 방법을 제안한다. 본 논문에서 제안하는 방법은 다음과 같은 3부분으로 이루어져 있다. 첫 번째는 입력 영상으로부터 눈동자의 중심 위치를 실시간 영상 처리 방법으로 추출하는 부분, 두번째는 HMD 모니터상의 임의 지점을 쳐다볼 때 추출된 눈동자의 위치 정보와 모니터상의 응시 지점사이의 기하학적인 연관관계를 결정하는 캘리브레이션 부분, 그리고 마지막은 캘리브레이션 정보를 기반으로 모니터 상의 최종적인 응시 위치를 결정하고 이 정보에 의해 게임상의 3차원 뷰 방향을 조정하는 부분으로 구성되어 있다. 실험 결과 본 논문의 방법에 의해 손이 불편한 사용자에게 게임을 즐길 수 있는 기회를 제공하고, 게임 캐릭터와 게임 사용자의 시선 방향을 일치시킴으로서 게임의 흥미와 몰입감을 증가시킬 수 있는 결과를 얻음을 알 수 있었다.

조명 정규화를 통한 정맥인식 성능 향상 기법

이의철,Lee, Eui Chul 한국정보통신학회 2013 한국정보통신학회논문지 Vol.17 No.2

최근 손등이나 손바닥, 손가락의 정맥 혈관 패턴정보를 이용하여 개인을 인증하는 기술은 훼손, 복제 및 위조가 불가능하다는 장점으로 인해 연구가 활발하게 진행 중이다. 정맥영상은 피부층과 내부 골격등에 의한 빛의 산란 및 불균일한 내부 조직 때문에 정맥 영역이 뚜렷하게 나타나지 않아, 영상처리 방법을 통해 정맥 영역을 정확하게 분리하는 것이 어렵다. 특히 한 장의 영상에서도 밝기가 균일하지 않아서 지역 영역 단위로 다른 이진 임계치를 사용함으로 인해 처리시간이 오래 걸리고 혈관의 불연속면이 발생한다는 문제가 있다. 이를 해결하기 위해 본 논문에서는 조명 정규화 기반의 고속 정맥 영역 추출 방법을 제안한다. 본 연구는 기존의 방법에 비해 다음과 같은 장점을 가지고 있다. 첫째, 정맥영상의 불균일한 조명을 제거하기 위해 저역통과필터를 통해 조명 성분을 취득하고 이를 통해 조명성분이 균일한 영상을 얻었다. 둘째, 조명 정규화 영상으로부터 단일 임계치를 통해 얻어진 이진 영상의 처리를 통해 혈관 경로를 추출함으로써, 처리시간을 단축하였다. 실험을 통해 기존 방법들에 비해 혈관 영역 추출 정확도가 상승하고, 처리속도가 단축된 결과를 얻을 수 있었다. Recently, the personal identification technologies using vein pattern of back of the hand, palm, and finger have been developed actively because it has the advantage that the vein blood vessel in the body is impossible to damage, make a replication and forge. However, it is difficult to extract clearly the vein region from captured vein images through common image prcessing based region segmentation method, because of the light scattering and non-uniform internal tissue by skin layer and inside layer skeleton, etc. Especially, it takes a long time for processing time and makes a discontinuity of blood vessel just in a image because it has non-uniform illumination due to use a locally different adaptive threshold for the binarization of acquired finger-vein image. To solve this problem, we propose illumination normalization based fast method for extracting the finger-vein region. The proposed method has advantages compared to the previous methods as follows. Firstly, for remove a non-uniform illumination of the captured vein image, we obtain a illumination component of the captured vein image by using a low-pass filter. Secondly, by extracting the finger-vein path using one time binarization of a single threshold selection, we were able to reduce the processing time. Through experimental results, we confirmed that the accuracy of extracting the finger-vein region was increased and the processing time was shortened than prior methods.

3차원 1인칭 슈팅 게임에서의 화면 조정을 위한 시선 위치 추적 연구

이의철 ( Eui-chul Lee ),박강령 ( Kang Ryoung Park ) 한국정보처리학회 2005 한국정보처리학회 학술대회논문집 Vol.12 No.1

본 논문에서는 HMD(Head Mounted Display) 하단에 눈동자의 움직임 영상을 취득할 수 있는 USB 카메라를 부착한 후, 3차원 1인칭 슈팅(First Person Shooting) 게임에서 게임 캐릭터의 시선방향을 눈동자 움직임에 의해 조작하는 방법을 제안한다. 시스템은 입력 영상으로부터 눈동자의 중심 위치를 실시간 영상 처리 방법으로 추출하고, 눈동자의 위치 정보와 모니터상의 응시 지점사이의 기하학적인 연관관계를 결정하는 캘리브레이션을 진행하며, 캘리브레이션 정보를 기반으로 모니터 상의 최종적인 응시위치를 결정하여 이 정보에 의해 게임상의 3차원 뷰(view) 방향을 조정하는 부분으로 구성되어 있다. 실험 결과 본 논문의 방법에 의해 손이 불편한 사용자에게 게임을 즐길 수 있는 기회를 제공하고, 게임 캐릭터와 게임 사용자의 시선 방향을 일치시킴으로서 게임의 흥미와 몰입감을 증가시킬 수 있는 결과를 얻음을 수 있었다.

HMD(Head Mounted Display)에서 시선 추적을 통한 3차원 게임 조작 방법 연구

이의철(Eui Chul Lee),박강령(Kang Ryoung Park) 대한전자공학회 2008 電子工學會論文誌-SP (Signal processing) Vol.45 No.2

최근에 휴먼 컴퓨터 인터페이스 분야에서 사용자의 시선 위치를 파악하여 더욱 편리한 입력장치를 구축하고자 하는 연구가 많이 진행되고 있다. 하지만 복잡한 하드웨어 구성으로 제품의 가격이 매우 비싸고, 까다로운 사용자 캘리브레이션 과정으로 인해 시스템의 사용에 어려움을 겪는다. 본 논문에서는 HMD(Head Mounted Display)에 USB 카메라와 적외선을 반사시키는 hot-mirror와 적외선 조명을 이용한 시선 추적 모듈을 부착하고, 이를 통해 획득한 눈 영상의 2차원적인 분석과 간단한 사용자 캘리브레이션 과정을 통해 시선 위치를 파악하는 방법을 제안한다. HMD는 사용자의 얼굴 움직임과 함께 움직이므로, 얼굴움직임에 영향을 받지 않는 시선 추적 시스템을 구현할 수 있다. 또한, 시선 추적 시스템을 3차원 1인칭 슈팅 게임에 적용하여, 캐릭터의 시선 방향을 조정하고, 적 캐릭터를 조준하여 사격이 가능하도록 하여, 게임의 몰입감과 흥미성을 높일 수 있게 하였다. 실험 결과, 한 대의 데스크톱 컴퓨터 환경에서 게임과 시선 추적 시스템이 실시간으로 동작 가능했으며, 약 0.88°의 시선 위치 추출 오차를 보였다. 또한 3차원 1인칭 슈팅게임에서 일반 마우스의 역할을 시선 추적 시스템이 문제없이 대신할 수 있음을 확인하였다. Recently, many researches about making more comfortable input device based on gaze detection technology have been done in human computer interface. However, the system cost becomes high due to the complicated hardware and there is difficulty to use the gaze detection system due to the complicated user calibration procedure. In this paper, we propose a new gaze detection method based on the 2D analysis and a simple user calibration. Our method used a small USB (Universal Serial Bus) camera attached on a HMD (Head-Mounted Display), hot-mirror and IR (Infra-Red) light illuminator. Because the HMD is moved according to user's facial movement, we can implement the gaze detection system of which performance is not affected by facial movement. In addition, we apply our gaze detection system to 3D first person shooting game. From that, the gaze direction of game character is controlled by our gaze detection method and it can target the enemy character and shoot, which can increase the immersion and interest of game. Experimental results showed that the game and gaze detection system could be operated at real-time speed in one desktop computer and we could obtain the gaze detection accuracy of 0.88 degrees. In addition, we could know our gaze detection technology could replace the conventional mouse in the 3D first person shooting game.

동공 경계정보를 이용한 바이오 인식 방법

이의철(Lee Eui Chul),김영주 한국산업응용수학회 2011 한국산업응용수학회 학술대회 논문집 Vol.6 No.1

본 연구에서는 동공의 경계 정보를 이용한 새로운 바이오 인식 방법을 소개한다. 적외선 눈 영상에서 동공 영역의 무게중심을 추출하고, 해당 지점에서 방사형으로 256 개의 직선을 등각 간격 (약 1.4 도)으로 정의하고, 직선들과 동공 경계의 교점까지의 거리를 측정한다. 0 도 지점부터 시작하여 측정된 거리가 이전 각에서 측정된 거리보다 작은 경우 0 을, 크거나 같은 경우 1 을 할당하는 과정을 통해 총 256 개의 이진패턴을 생성한다. 이는 개인에 대한 동공 경계 정보의 고유한 패턴으로 지정된다. 두 개의 이진 패턴을 비교하기 위한 방법으로 해밍 거리 측정법을 사용한다. 또한 조명 반사광이 동공의 경계에 걸쳐서 나타나는 경우 매칭에서 해당 영역을 고려하지 않도록 하였다.

상반된 감성에 따른 안면 움직임 차이에 대한 분석

이의철(Eui Chul Lee),김윤경(Yoon-Kyoung Kim),배민경(Min-Kyoung Bea),김한솔(Han-Sol Kim) 한국콘텐츠학회 2015 한국콘텐츠학회논문지 Vol.15 No.10

본 논문에서는 Kinect 카메라를 통해 촬영된 영상 처리를 통해 상반된 감성 자극 관점에서 안면 움직임의 차이를 분석하는 연구를 진행하였다. Russell의 2차원 감성 모델에서 원점 대칭 위치에 존재하는 두 상반된 감성인 “Sad - Excitement”, “Contentment - Angry” 감성을 유발하기 위해 피험자에게 시각자극과 청각자극을 동시에 제공하였다. Kinect Face Tracking SDK에서 제공되는 121개 특징점으로 구성된 안면 active appearance model에서 안면 움직임을 잘 표현하는 31개의 주요 특징점 주변의 화소 변화를 측정하였다. 안면 근육의 비선형적 움직임 문제를 해결하기 위해 지역 이동 기반 최소거리 결정 방법(local minimum shift matching)을 사용하였다. 분석 결과, sad 감성에서는 우측 안면 움직임이 많이 나타났고, excitement 감성에서는 좌측 안면 움직임이 많이 나타남으로써 두 상반된 감성 자극에 대한 안면 움직임의 위치 또한 상반된 결과를 보였다. 또한 “Contentment 감성에서는 좌측 안면 움직임이 많이 나타났고, Angry 감성에서는 안면의 좌우 구분 없이 움직임이 나타남으로써, 두 상반된 감성 자극에 대해서는 우측 안면에서 차이를 확인할 수 있었다. In this paper, a study on facial movements are analyzed in terms of opposite emotion stimuli by image processing of Kinect facial image. To induce two opposite emotion pairs such as Sad - Excitement”and “Contentment - Angry which are oppositely positioned onto Russells 2D emotion model, both visual and auditory stimuli are given to subjects. Firstly, 31 main points are chosen among 121 facial feature points of active appearance model obtained from Kinect Face Tracking SDK. Then, pixel changes around 31 main points are analyzed. In here, local minimum shift matching method is used in order to solve a problem of non-linear facial movement. At results, right and left side facial movements were occurred in cases of Sad and Excitement emotions, respectively. Left side facial movement was comparatively more occurred in case of Contentment emotion. In contrast, both left and right side movements were occurred in case of Angry emotion.

1 인칭 슈팅 게임에서 눈동자 시선 추적에 의한 3차원 화면 조정

이의철(Eui Chul Lee),박강령(Kang Ryoung Park),조용주(Yongjoo Cho) 한국멀티미디어학회 2005 멀티미디어학회논문지 Vol.8 No.10

자동차 번호판 인식 알고리즘의 비교 분석

이의철(Eui Chul Lee),성병문(Byuhmg Munn Suhng),김병균(Kim Byoung Kyun),이왕헌(Wangheon Lee) 대한전기학회 2013 대한전기학회 학술대회 논문집 Vol.2013 No.10

자동차 번호판 인식 알고리즘의 비교 분석

이의철(Eui Chul Lee),성병문(Byuhmg Munn Suhng),김병균(Kim Byoung Kyun),이왕헌(Wangheon Lee) 대한전기학회 2013 정보 및 제어 심포지엄 논문집 Vol.2013 No.10

AI World Cup 환경을 이용한 멀티 에이전트 기반 지능형 가상 축구 에이전트 구현

이은후 ( Eunhoo Lee ),성현아 ( Hyeon-ah Seong ),정민지 ( Minji Jung ),이혜인 ( Hye-in Lee ),정진우 ( Jinoo Joung ),이의철 ( Eui Chul Lee ),이지항 ( Jee Hang Lee ) 한국정보처리학회 2021 한국정보처리학회 학술대회논문집 Vol.28 No.2

AI World Cup 환경은 다수 가상 에이전트들이 팀을 이뤄서 서로 상호작용하며 대전이 가능한 가상 축구 환경이다. 본 논문에서는 AI World Cup 환경에서 멀티 에이전트기반 학습/추론 기술을 사용하여 다양한 전략과 전술을 구사하는 가상 축구 에이전트 구현과 시뮬레이션 결과를 소개한다. 먼저, 역할을 바탕으로 협동하여 상대방과 대전할 수 있는 논리 기반 추론형 멀티 에이전트 기술이 적용된 Dynamic planning 축구 에이전트 9 세트를 구현하였다. 이후, 강화학습 에이전트 기반, 단일 에이전트를 조합한 Independent QLearning 방식의 학습형 축구 에이전트를 구현한 후, 이를 멀티 에이전트 강화학습으로 확장하여 역할 기반 전략 학습이 가능한 가상 축구 에이전트를 구현하고 시뮬레이션 하였다. 구현된 가상 축구 에이전트들 간 대전을 통해 승률을 확인하고, 전략의 우수성을 분석하였다. 시뮬레이션 예제는 다음에서 확인할 수 있다(https://github.com/I-hate-Soccer/Simulation).