A Vision-based 3D Hand Interaction for Marker-based AR

Junchul Chun,Seonho Lee 보안공학연구지원센터 2012 International Journal of Multimedia and Ubiquitous Vol.7 No.3

A Vision-based Approach for Facial Expression Cloning by Facial Motion Tracking

( Junchul Chun ),( Oryun Kwon ) 한국인터넷정보학회 2008 KSII Transactions on Internet and Information Syst Vol.2 No.2

This paper presents a novel approach for facial motion tracking and facial expression cloning to create a realistic facial animation of a 3D avatar. The exact head pose estimation and facial expression tracking are critical issues that must be solved when developing vision-based computer animation. In this paper, we deal with these two problems. The proposed approach consists of two phases: dynamic head pose estimation and facial expression cloning. The dynamic head pose estimation can robustly estimate a 3D head pose from input video images. Given an initial reference template of a face image and the corresponding 3D head pose, the full head motion is recovered by projecting a cylindrical head model onto the face image. It is possible to recover the head pose regardless of light variations and self-occlusion by updating the template dynamically. In the phase of synthesizing the facial expression, the variations of the major facial feature points of the face images are tracked by using optical flow and the variations are retargeted to the 3D face model. At the same time, we exploit the RBF (Radial Basis Function) to deform the local area of the face model around the major feature points. Consequently, facial expression synthesis is done by directly tracking the variations of the major feature points and indirectly estimating the variations of the regional feature points. From the experiments, we can prove that the proposed vision-based facial expression cloning method automatically estimates the 3D head pose and produces realistic 3D facial expressions in real time.

Dynamic Manipulation of a Virtual Object in Marker-less AR system Based on Both Human Hands

( Junchul Chun ),( Byungsung Lee ) 한국인터넷정보학회 2010 KSII Transactions on Internet and Information Syst Vol.4 No.4

This paper presents a novel approach to control the augmented reality (AR) objects robustly in a marker-less AR system by fingertip tracking and hand pattern recognition. It is known that one of the promising ways to develop a marker-less AR system is using human`s body such as hand or face for replacing traditional fiducial markers. This paper introduces a real-time method to manipulate the overlaid virtual objects dynamically in a marker-less AR system using both hands with a single camera. The left bare hand is considered as a virtual marker in the marker-less AR system and the right hand is used as a hand mouse. To build the marker-less system, we utilize a skin-color model for hand shape detection and curvature-based fingertip detection from an input video image. Using the detected fingertips the camera pose are estimated to overlay virtual objects on the hand coordinate system. In order to manipulate the virtual objects rendered on the marker-less AR system dynamically, a vision-based hand control interface, which exploits the fingertip tracking for the movement of the objects and pattern matching for the hand command initiation, is developed. From the experiments, we can prove that the proposed and developed system can control the objects dynamically in a convenient fashion.

자기 공명 영상으로부터의 생체역학 모델링

전준철(Junchul Chun),그린쉴즈(Ian R. Greenshields),이경환(Kyungwhan Lee) 한국정보과학회 1995 정보과학회논문지 Vol.22 No.8

생체역학이나 생체물리학에서의 주된 연구는 다양한 조건하에서 신체조직의 반응을 분석, 실제 환경에서 신체조직간의 상호작용을 예측하는 것이다. 자기 공명 영상은 신체조직 정보를 제공하기 때문에 신체조직의 그 한계성을 분석할 수 있다. 신체조직의 동적 반응을 분석하기 위해서는 이미 개발된 신체조직 모델에 적절한 물리 현상을 적용시키면서 그 반응을 살펴본다. 본 논문에서는 신체기관의 생체물리학적 제 현상을 분석하기 위한 Biodynamic 모델링을 기하학적 모델링을 도입하여 제안한다. 임상적으로, 수축성을 가진 혈관조직(conduit)의 반응에 대한 모델링은 urodynamics에서부터 CSF(cerebro-spinal fluid)의 응용 분야에 이르기까지 광범위하게 필요로 하고 있다. 본 논문에서 구현할 신체조직으로 혈관을 선택하였다. 본 연구에서 개발된 방법을 이용하여 혈액의 흐름에 따른 혈관의 수축현상을 시뮬레이션 한다. 이를 위해 생체역학의 기본 개념을 이용하였고, 비고체 물체(non-rigid object)의 운동 현상을 수치적으로 표현하였다. An issue in Biomechanics/Biophysics is the prediction of the behavior of an organ or system under a variety of stresses, and the subsequent correlation of a model of the system with the actual physical phenomenon. Since Magnetic Resonance Imaging provides actual organ geometry, it is possible to determine the boundary conditions of the organ. In order to examine the dynamic behavior of the organ, approximate physics are applied to developed organ models and the behavior is traced under internal stress. In this paper, we present a Biodynamic Modeling i.e., a computer modeling which combines physically-based biomechanics with a general geometrical representation of the objects. Clinically, a suitable model of the behavior of a nonlinear elastic inhomogeneous fluid conduit is required from applications in CSF(cerebro-spinal fluid) dynamics. In this papers, as a sample of a static geometry, blood vessels are selected. Once these models are developed, the dynamic motion of blood vessels caused by fluid flow are simulated. For the development of the dynamic modeling system, concepts of biomechanics are used along with numerical methods to represent non-rigid object dynamics.

3차원 자기 공명 영상의 마코브-깁스 분류

전준철(Junchul Chun) 한국정보과학회 1996 정보과학회논문지 : 시스템 및 이론 Vol.23 No.4

자기 공명 메디칼 영상으로부터 정상적인 세포조직(tissue) 또는 뇌종양 (brain tumor)과 같은 비정상적인 세포조직의 가시화 (visualization) 또는 분석을 위해서는 대상 세포조직의 적절한 분류 (classification)를 필요로 한다. 본 논문 에서는 마코브 렌덤휠드 (MRF)와 깁스 렌덤휠드 (GRF) 및 스토 케스틱 릴렉세이션에 기반을둔 새로운 3 차원 자기공명 영상의 분류 방법을 제시한다. 통상적으로 디지탈 영상은 정사각형의 격자 (lattice) 구조상에 정의원 2 차원 렌덤휠드로 간주되어 왔 으며 이때 영상 분류의 영역(domain)은 E²이다. 그러나, 볼륨 영상의 분류는 3 차원 자기공명영상 (Volumetric MRI) 데이타, 즉 E³를 그 분류 영역으로 한다. 다중 스펙트럴과 3 차원 데이타로 형성된 자기공명 영상의 분류을 위하여, 베이지안 의사결정 방법이 선택 되었으며 3차원 영상에 MRF-GRF 스토케스틱 모델을 구축 하였다. 영상의 분류 결과는 Maximum A Posteriori (MAP)를 갖는 클레스 맵의 형태로 표현되며 MAP를 획득하기 위하여 릴렉세이션과 에닐링에 근거한 새로운 context-dependent 분류방법이 개발 되었다. This paper describes a new three dimensional Magnetic Resonance Image (volumetric image) classification technique which is based on the Markov Random Field (MRF)-Gibbs Random Field (GRF) model together with a stochastic relaxation algorithm. Conventionaly, a digital image is considered as a two-dimensional random field defined over rectangular lattice structure and the domain of image classification is the plane. However, in the volumetric image classification, we use volumetric images, i.e., three dimensional image data sets. For the classification of Multi-Echo (multispectral) and multivolume Magnetic Resonance Images (MRI), a Bayesian decision rule is adopted and an MRF-GRF stochastic model is introduced. To obtain the maximum a posterior probability (MAP) classification a new multivariate image context-dependent classification based on relaxation and annealing is developed.

모바일 증강현실 물체와 몰입형 상호작용을 위한 비전기반 동작제어

전준철 ( Junchul Chun ) 한국인터넷정보학회 2011 인터넷정보학회논문지 Vol.12 No.3

비전기반 인간컴퓨터 상호작용은 컴퓨터와 인간의 상호소통을 자연스럽게 제공하는 측면에서 과학과 산업분야에서 주목받는 연구 분야이다. 특히 최근 모바일 증강현실의 활용에 대한 수요증대는 증강된 가상 객체와 사용자간의 효과적인 상호작용 기술 개발을 요구하고 있다. 본 논문에서는 안드로이드기반 모바일 플랫폼에서 비 마커기반의 새로운 모바일 증강현실객체생성 및 제어 방법을 제시하였다. 전통적인 마커를 대신하여 비 마커기반 모바일 증강현실 시스템에서는 사용자에게 친숙한 손 인터페이스를 이용하였다. 기존의 데스크 탑 기반의 증강현실에 비하여 제한된 시스템 사양을 이용하는 비 마커기반모바일 증강현실을 구현하기위하여 마커의 역할을 수행할 손의 최적영역을 모바일 장치의 카메라로부터 실시간으로 검출 하여 객체를 증강시키는 방법을 제시하였다. 손의 최적영역의 추출은 YCbCr 스킨컬러 모델을 이용한 손영역 검출과 Rotating Calipers 알고리즘을 적용한 최적 사각형 추출에 의해 구현하였다. 이때 추출된 최적 사각형은 통상적인 마커기반 증강현실에서의 마커역할을 수행할 수 있도록 하였으며, 기존의 손끝추적에 의한 마커 생성 시 발생하는 손의 회전이나 가려짐에 의한 문제를 해결하였다. 실험을 통하여 제안된 방법이 비 마커기반 모바일 객체를 효과적으로 생성 제어할 수 있음을 입증하였다. Vision-based Human computer interaction is an emerging field of science and industry to provide natural way to communicate with human and computer. Especially, recent increasing demands for mobile augmented reality require the development of efficient iinteractive technologies between the augmented virtual object and users. This paper presents a novel approach to construct marker-less mobile augmented reality object and control the object. Replacing a traditional market, the human hand interface is used for marker-less mobile augmented reality system. In order to implement the marker-less mobile augmented system in the limited resources of mobile device compared with the desktop environments, we proposed a method to extract an optimal hand region which plays a role of the marker and augment object in a realtime fashion by using the camera attached on mobile device. The optimal hand region detection can be composed of detecting hand region with YCbCr skin color model and extracting the optimal rectangle region with Rotating Calipers Algorithm. Th e extracted optimal rectangle region takes a role of traditional marker. The proposed method resolved the problem of missing the track of fingertips when the hand is rotated or occluded in the hand marker system. From the experiment, we can prove that the proposed framework can effectively construct and control the augmented virtual object in the mobile environments.

모양분류와 컬러정보를 이용한 내용기반 약 영상 검색 시스템

전준철 ( Junchul Chun ),김동선 ( Dongsun Kim ) 한국인터넷정보학회 2011 인터넷정보학회논문지 Vol.12 No.6

본 논문에서는 약 영상의 모양 분류와 컬러정보를 이용한 새로운 내용기반 약 영상 검색 시스템을 제안한다. 내용기반 약 영상검색 시스템의 구현에 있어 주요 문제점은 유사한 모양과 색상을 지닌 영상이 너무 많이 존재한다는 것이며, 단순히 약 영상의 한 가지 특성에 의해서는 특정한 약을 확인하기 어렵다는 것이다. 이러한 약 영상 구분의 문제를 해결하기 위하여 본 논문에서는 약 영상의 모양과 색상에 근거한 복합적인 영상검색 방법을 제시하였다. 제안된 방법의 첫 단계에서는 약 영상을 모양에 의해 분류한 후 두 번째 단계에서 분류된 영상들 가운데 약 영상의 색상 정보를 이용하여 약 영상을 검색하였다. 모양 분류를 위하여 대상 약의 경계선으로부터 추출된 고유의 모양신호를 추출하여 사용하였다. 모양신호에 의해 분류된 영상으로부터 색조(hue)와 채도(saturation)정보를 이용하여 데이터베이스 영상으로부터 질의 영상과 유사도 가 높은 영상을 검색 추출하였다. 제안된 시스템은 약 영상의 시각적 특성에 의해 노인과 같은 특정한 사용자들이 영상을 쉽게 검색할 수 있도록 개발되었다. 실험을 통해 제안된 자동 시스템이 약 영상을 인식하고 검색하는데 신뢰성 있고 편리하다는 것을 입증하였다. In this paper, we present a novel approach for contents-based medication image retrieval from a medication image database using the shape classification and color information of the medication. One major problem in developing a contents-based drug image retrieval system is there are too many similar images in shape and color and it makes difficult to identify any specific medication by a single feature of the drug image. To resolve such difficulty in identifying images, we propose a hybrid approach to retrieve a medication image based on shape and color features of the medication. In the first phase of the proposed method we classify the medications by shape of the images. In the second phase, we identify them by color matching between a query image and preclassified images in the first phase. For the shape classification, the shape signature, which is unique shape descriptor of the medication, is extracted from the boundary of the medication. Once images are classified by the shape signature, Hue and Saturation(HS) color model is used to retrieve a most similarly matched medication image from the classified database images with the query image. The proposed system is designed and developed especially for specific population- seniors to browse medication images by using visual information of the medication in a feasible fashion. The experiment shows the proposed automatic image retrieval system is reliable and convenient to identify the medication images.

자기공명영상에서 다중스펙트럼 성분의 상관에의한 에지모델 생성

전준철(Junchul Chun) 한국정보과학회 1997 정보과학회논문지(B) Vol.24 No.7

본 논문에서는 영상의 미분에 근거한 다중 스펙트럼 영상의 에지모델 생성 방법을 제시하였다. 다중 스펙트럼 영상에서 에지를 생성할 때 해결 되야 할 문제점중 하나는 영상의 다중 스펙트럼 성분들을 영상정보의 상실 없이 어떻게 적절히 상관시킬 수 있을까 하는 것이다. 특히 자기공명 영상 처럼 다중 스펙트럼 분석이 가능한 영상에 있어서, 그러한 요구는 영상분석의 질을 향상시킨다는 의미에서 해결되어야 할 과제이다. 경험에 의하면 다중 스펙트럼 에지성분을 영상의 스칼라 함수로 간주하여 상관 시키는 것은 무용한 작업이며, 특히 자기공명 영상의 경우 다중 스펙트럼 에지성분을 벡터함수로 간주하는 것이 바람직하다. 본 논문에서 제안된 에지모델의 생성 방법은 크게 두 단계로 분류된다. 첫 단계에서는 다중 스펙트럼 영상의 에지를 선형맵 (linear map)의 형태로 표현한 후, 둘째 단계에서 단위 노름 벡터 (unit normed vector)에 적용된 선형맵의 형태를 고려하여 맵의 특성화를 시도하였다. This paper addresses an approach for constructing an edge model for multispectra1 images based on the differential (total derivative) of an image. A problem in constructing edges on multispectral images is how to correlate multispectral components from the image and in doing so, retain meaningful information without any loss. Especially in the analysis of multispectral images such as MRI, it is necessary to solve the problem in the sense of improving the quality of the analysis. It has been our experience that it is essentially valueless to attempt to correlate these multispectral edge components when they are treated as scalar function of image domain, especially in MRI rather it is better to consider them as a vector valued function of a vector. The proposed approach to construct an edge model in this paper represents edges of the multispectral image as a linear map (the differential) in the first phase and characterizes this map by considering the behavior of the map as it applies to unit normed vectors.

광류와 표정 HMM에 의한 동영상으로부터의 실시간 얼굴표정 인식

전준철 ( Junchul Chun ),신기한 ( Gihan Shin ) 한국인터넷정보학회 2009 인터넷정보학회논문지 Vol.10 No.4

비전기반 인간컴퓨터 상호작용은 컴퓨터와 인간의 상호소통을 자연스럽게 제공하는 측면에서 과학과 산업분야에서 주목받는 연구 분야이다. 그러한 측면에서 얼굴표정인식에 의한 인간의 심리적 상태를 추론하는 기술은 중요한 이슈이다. 본 연구에서는 감성인식 HMM 모델과 광류에 기반한 얼굴 움직임 추적 방법을 이용하여 동영상으로부터 얼굴표정을 인식하는 새로운 방법을 제시하였다. 특히, 기존의 감성상태 변환을 설명하는 HMM 모델은 특정 표정상태 간의 전환 시 항상 중립 상태를 거치도록 설계되어 있다. 그러나 본 연구에서는 기존의 표정상태 전환 모델에 중간상태를 거치는 과정 없이 특정 표정 상태간의 변환이 가능한 확장된 HMM 모델을 제시한다. 동영상으로부터 얼굴의 특성정보를 추출하기위하여 탬플릿 매칭과 광류방법을 적용하였다. 광류에 의해 추적된 얼굴의 표정특성 정보는 얼굴표정인식을 위한 HMM의 매개변수 정보로 사용된다. 실험을 통하여 제안된 얼굴표정인식 방법이 실시간 얼굴 표정인식에 효과적임을 입증하였다. Vision-based Human computer interaction is an emerging field of science and industry to provide natural way to communicate with human and computer. In that sense, inferring the emotional state of the person based on the facial expression recognition is an important issue. In this paper, we present a novel approach to recognize facial expression from a sequence of input images using emotional specific HMM (Hidden Markov Model) and facial motion tracking based on optical flow. Conventionally, in the HMM which consists of basic emotional states, it is considered natural that transitions between emotions are imposed to pass through neutral state. However, in this work we propose an enhanced transition framework model which consists of transitions between each emotional state without passing through neutral state in addition to a traditional transition model. For the localization of facial features from video sequence we exploit template matching and optical flow. The facial feature displacements traced by the optical flow are used for input parameters to HMM for facial expression recognition. From the experiment, we can prove that the proposed framework can effectively recognize the facial expression in real time.

An Improved Approach for 3D Hand Pose Estimation Based on a Single Depth Image and Haar Random Forest

( Wonggi Kim ),( Junchul Chun ) 한국인터넷정보학회 2015 KSII Transactions on Internet and Information Syst Vol.9 No.8

A vision-based 3D tracking of articulated human hand is one of the major issues in the applications of human computer interactions and understanding the control of robot hand. This paper presents an improved approach for tracking and recovering the 3D position and orientation of a human hand using the Kinect sensor. The basic idea of the proposed method is to solve an optimization problem that minimizes the discrepancy in 3D shape between an actual hand observed by Kinect and a hypothesized 3D hand model. Since each of the 3D hand pose has 23 degrees of freedom, the hand articulation tracking needs computational excessive burden in minimizing the 3D shape discrepancy between an observed hand and a 3D hand model. For this, we first created a 3D hand model which represents the hand with 17 different parts. Secondly, Random Forest classifier was trained on the synthetic depth images generated by animating the developed 3D hand model, which was then used for Haar-like feature-based classification rather than performing per-pixel classification. Classification results were used for estimating the joint positions for the hand skeleton. Through the experiment, we were able to prove that the proposed method showed improvement rates in hand part recognition and a performance of 20-30 fps. The results confirmed its practical use in classifying hand area and successfully tracked and recovered the 3D hand pose in a real time fashion.