연속된 수화 인식을 위한 자동화된 수화 및 지화 적출

양희덕(Hee-Deok Yang),이성환(Seong-Whan Lee) 한국정보과학회 2011 정보과학회논문지 : 소프트웨어 및 응용 Vol.38 No.2

수화는 언어적 구조와 규칙을 가지며 손의 움직임, 모양 정보로 구별되며, 지화는 다양한 형태의 문자를 나타내며 손의 형태 정보로 구별된다. 수화언어 인식은 수화 문장에서 의미 있는 수화, 지화, 그리고 그 이외의 손 동작 및 손 모양을 검출 및 인식하는 것이다. 수화와 지화의 구조는 상당히 다르기 때문에, 수화와 지화를 동시에 인식 및 검출하는 것은 어려운 문제이다. 본 논문에서는 3단계의 계층적 구조로 구성된 수화 및 지화 검출 방법을 제안한다. 첫 번째 단계에서는 2계층 CRF(Conditional Random Field)를 이용하여 수화, 지화, 그리고 그 이외의 손 동작을 구별한다. 두 번째 단계에서는 BoostMap 임베딩을 이용하여 수화 및 지화의 손 모양을 인식한다. 마지막 단계에서는 CRF를 이용하여 손 모양은 비슷하지만 움직임이 다른 지화를 구별한다. 제안된 방법은 청각장애인이 수행한 수화 문장에서 83%의 수화 인식률과 78%의 지화 인식률을 보였다. Signs are dynamic gestures discriminated by continuous hand motions and hand configurations, while fingerspellings are combinations of continuous hand configurations. Sign language spotting is the task of detection and recognition of signs and fingerspellings in a signed utterance. The internal structures of signs and fingerspellings differ significantly. Therefore, it is difficult to spot signs and fingerspellings simultaneously. In this paper, a novel method for spotting signs and fingerspellings is proposed. It can distinguish signs, fingerspellings and non-sign patterns. This is achieved through a hierarchical framework consisting of three steps: (1) Candidate segments of signs and fingerspellings are discriminated using a two-layer Conditional Random Field (CRF). (2) Hand shapes of segmented signs and fingerspellings are verified using BoostMap embeddings. (3) The motions of fingerspellings are verified in order to distinguish those which have similar hand shapes and different hand motions. Experiments demonstrate that the proposed method can spot signs and fingerspellings from utterance data at rates of 83% and 78%, respectively.

연속된 수화 인식을 위한 자동화된 Coarticulation 검출

양희덕(Hee-Deok Yang),이성환(Seong-Whan Lee) 한국정보과학회 2009 정보과학회논문지 : 소프트웨어 및 응용 Vol.36 No.1

수화 적출은 연속된 손 동작에서 의미 있는 수화 단어를 검출 및 인식하는 것을 말한다. 수화는 손의 움직임과 모양의 변화가 다양하기 때문에 수화 문장에서 수화를 적출하는 것은 쉬운 문제가 아니다. 특히, 자연스러운 수화 문장에는 의미 있는 수화, 수화가 아닌 손동작이 무작위로 발생한다. 본 논문에서는 CRF(Conditional Random Field)에 기반한 적응적 임계치 모델을 제안한다. 제한된 모델은 수화 어휘집에 정의된 수화 손동작과 수화가 아닌 손동작을 구별하기 위한 적응적 임계치 역할을 수행한다. 또한, 수화 적출 및 인식의 성능 향상을 위해 손 모양 기반 수화 인증기, 짧은 수화 적출기, 부사인(subsign) 추론기를 제안된 시스템에 적용하였다. 실험 결과, 제안된 방법은 연속된 수화 동작 데이타에서 88%의 적출률, 사전에 적출된 수화 동작 데이타에서 94%의 인식률을 보였으며, 적응적 임계치 모델, 짧은 수화 적출기, 손 모양 기반 수화 인증기, 부사인 추론기를 사용하지 않은 CRF 모델은 연속된 수화 동작 데이타에서 74%의 적출률, 사전에 적출된 수화 동작 데이타에서 90%의 인식률을 보였다. Sign language spotting is the task of detecting and recognizing the signs in a signed utterance. The difficulty of sign language spotting is that the occurrences of signs vary in both motion and shape. Moreover, the signs appear within a continuous gesture stream, interspersed with transitional movements between signs in a vocabulary and non-sign patterns(which include out-of-vocabulary signs, epentheses, and other movements that do not correspond to signs). In this paper, a novel method for designing a threshold model in a conditional random field(CRF) model is proposed. The proposed model performs an adaptive threshold for distinguishing between signs in the vocabulary and non-sign patterns. A hand appearance-based sign verification method, a short-sign detector, and a subsign reasoning method are included to further improve sign language spotting accuracy. Experimental results show that the proposed method can detect signs from continuous data with an 88% spotting rate and can recognize signs from isolated data with a 94% recognition rate, versus 74% and 90% respectively for CRFs without a threshold model, short-sign detector, subsign reasoning, and hand appearance-based sign verification.

Conditional Random Field와 BoostMap 임베딩 기반 수지 및 비수지 신호를 이용한 수화 인식

양희덕(Hee-Deok Yang) 한국정보과학회 2014 정보과학회논문지 : 소프트웨어 및 응용 Vol.41 No.1

수화는 화자가 의도적으로 표현하는 손의 움직임, 손의 모양 등의 수지 신호와 비의도적으로 수행되는 얼굴의 표정, 몸통 제스처 등의 비수지 신호로 구성된다. 본 논문에서는 수지 신호와 비수지 신호를 결합하여 수화를 인식할 수 있는 계층적 구조로 구성된 방법을 제안한다. 첫 번째 단계에서는 계층적 Conditional Random Field (CRF)를 이용하여 수지 신호 후보 영역을 검출한다. 두 번째 단계에서는 BoostMap 임베딩을 이용하여 첫 번째 단계에서 검출된 수지 신호의 손 모양을 인식한다. 마지막 세 번째 단계에서는 Support Vector Machine (SVM)을 이용하여 비수지 신호 분석을 위한 얼굴 인식을 수행한다. 마지막 단계는 첫 번째 및 두 번째 단계에서 인식된 신호에 모호성이 존재할 때만 수행된다. 제안된 방법은 청각장애인이 수행한 수화 문장에서 84%의 인식률을 보였다. The sign language consists of two types of signals: manual signals (MSs) such as signs and fingerspellings and non-manual signals (NMSs) such as facial expressions and body gestures. This paper proposes a new method for recognizing manual signals and facial expressions as non-manual signals. The proposed method involves the following three steps: First, a hierarchical conditional random field is used to detect candidate segments of manual signals. Second, the BoostMap embedding method is used to verify hand shapes of segmented signs and to recognize fingerspellings. Finally, the support vector machine is used to recognize facial expressions as non-manual signals. This final step is taken when there is some ambiguity in the previous two steps. The experimental results indicate that the proposed method can accurately recognize the sign language at an 84% rate based on utterance data.

키넥트를 이용한 수화 인식

양희덕 ( Hee Deok Yang ) 조선대학교 공학기술연구원 2015 공학기술논문지 Vol.8 No.4

Sign language is a visual language expressed by facial expressions and body gestures, etc. The instances of signs vary in both motion and shape in three-dimensional (3D) space. In this research, 3D depth information is generated from Microsoft’s Kinect sensor and then a hierarchical conditional random field (CRF) that segments hand signs using 3D hand motions. A Boost Map embedding method is used to verify the hand shapes of the segmented signs. Experiments demonstrated that the proposed method could recognize signs at a rate of 90.4%.

시-공간 특징을 이용한 효율적인 3차원 인체 자세 재구성 방법

양희덕(Hee-Deok Yang),아마드(Mohiuddin Ahmad),이성환(Seong-Whan Lee) 한국정보과학회 2005 한국정보과학회 학술발표논문집 Vol.32 No.2

본 논문에서는 스테레오 영상에서 깊이 정보를 추출하여 사람의 다양한 자세를 미리 생성된 2차원 깊이 영상들의 관계 수식을 이용하여 3차원 인체 모델을 재구성하는 방법을 제안한다. 한 장의 2차원 깊이 영상은 최소 제곱법을 이용하여 프로토타입 깊이 영상의 선형 결합으로 표현하는 최적의 계수를 찾을 수 있다. 입력된 깊이 영상의 3차원 인체 모델은 프로토타입 깊이 영상에 대응되는 3차원 인체 모델에 예측된 계수를 적용하여 생성한다. 학습 단계에서는 데이터를 계층적으로 나누어서 모델을 생성한다. 또한, 재구성 단계에서는 실루엣 영상과 깊이 영상을 이용하여 계층적으로 나누어진 모델로부터 3차원 인체 자세를 생성한다. 학습 및 재구성의 마지막 단계에서는 실루엣 영상 대신 깊이 영상을 이용하여 3차원 인체 모델을 재구성하였다. 한 장의 실루엣 영상을 이용하면 영상의 노이즈에 민감하기 때문에 재구성 단계의 상위 레벨에서는 실루엣 영상의 누적 영상을 이용하였다. 실험 결과는 제안된 방법이 효율적으로 3차원 인체 자세를 재구성함을 보여 준다.

키넥트 센서를 이용한 3차원 제스처 인식

양희덕(Hee-Deok Yang) 한국정보과학회 2013 한국정보과학회 학술발표논문집 Vol.2013 No.6

키넥트 센서를 이용한 Conditional Random Field 기반의 제스처 인식

양희덕(Hee-Deok Yang) 한국정보과학회 2013 정보과학회논문지 : 소프트웨어 및 응용 Vol.40 No.11

본 논문에서는 키넥트 센서로부터 생성된 깊이 정보를 이용한 제스처 인식 기술을 제안한다. 3차원 인체 구성 요소 검출을 위해서는 깊이 정보를 의미있는 제스처 인식을 위해서는 CRF(Conditional Random Field)를 이용한다. 제안된 제스처 인식 기술은 2 단계로 구성된다. 첫번째 단계에서는 인체 구성요소의 상호 관계를 3차원의 특징 집합으로 표현한다. 두번째 단계에서는 추출된 특징 정보를 이용하여 CRF 모델 기반 제스처 인식을 수행한다. 제안된 방법의 성능 평가를 위해서 공개 데이터베이스인 마이크로소프트 Cambridge-12 Kinect 제스처 데이터베이스를 이용한다. 실험 결과 제안된 방법은 제스처를 효율적으로 인식할 수 있음을 보여준다. In this paper, we propose a new method for recognizing gestures using depth information generated with Microsoft"s Kinect. We use depth informations to detect 3D human body components and use conditional random fields to recognize meaningful gestures. Gesture recognition is achieved through a framework consisting of two steps; 1) A human subject is described by a set of features, encoding the angular relationship between body components in 3D space. 2) A feature vector is recognized using a conditional random field. We use a public data set, the Microsoft Research Cambridge-12 Kinect gesture database, to show the performance of the proposed method. The experimental results show that the proposed method can efficiently recognize body gestures automatically.

CRF를 이용한 일의 성공이 수면에 미치는 영향 분석

양희덕(Hee Deok Yang) 한국스마트미디어학회 2021 스마트미디어저널 Vol.10 No.2

뇌의 신호는 관측 대상의 상태 및 관측 위치에 따라 신호가 다양하게 변화하기 때문에 연구하기 쉽지 않다. 본 연구에서는 사람이 수면 전에 수행한 일이 수면 중에 미치는 영향을 분석하는 실험을 수행한다. 이를 위해서, EEG와 fMRI 장비로 피실험자의 뇌의 신호를 획득하고 분석한다. 시간에 따라 변화하는 뇌 신호를 분석하기 위해서 conditional random fields를 이용한다. 피실험자는 수면 전에 미로 찾기 게임과 얼굴 찾기 게임을 수행하며, 이 중 하나의 게임만 성공할 수 있다. 주어진 게임에 성공하면 이에 대한 보상을 받는다. 그리고 피실험자는 EEG와 fMRI 장비에서 수면을 취한다. 수면 중 깊은 잠으로 분류되는 N3상태에 도달하면, 얼굴 찾기를 성공한 그룹에서는 수면 전에 얼굴 찾기를 수행하는 동안 활성화 됐던 뇌의 영역이 미로 찾기를 성공한 그룹보다 상대적으로 유의미하게 활성화되는 것을 알 수가 있었다. 반대로 미로 찾기 성공 그룹에서도 같은 현상이 발생하였다. In this research, we design and perform experiment to investigate whether neuronal activity patterns elicited while solving game tasks are spontaneously reactivated in during sleep. In order to recognize human activity EEG-fMRI signals are used at the same time. Experimental results shows that reward for the success of tasks performed before sleeping have an effect on sleep brain activity. The study uncovers a neural mechanism whereby rewarded life experiences are preferentially replayed and consolidated while we sleep.

얼굴 구성 요소의 특징 분류를 통한 관상 정보 자동 생성

양희덕(Hee-Deok Yang),이성환(Seong-Whan Lee) 한국정보과학회 2011 정보과학회논문지 : 소프트웨어 및 응용 Vol.38 No.1

본 논문에서는 얼굴의 크기, 입의 크기 등의 얼굴 구성 요소의 특징 분석에 기반한 자동화된 관상 정보 생성 시스템을 제안한다. 자동화된 관상 정보 생성 시스템을 위하여, 첫번째로, 입력된 영상에서 Support Vector Machine (SVM)을 이용하여 얼굴 영역을 검출한다. 두번째로, 검출된 얼굴 영역에서 Active Appearance Model (AAM)을 이용하여 얼굴의 특징점을 추출한다. 그리고, 추출된 얼굴 특징점으로부터 얼굴 구성 요소의 특징 및 성별 분류를 위한 22개의 특징 정보를 추출하고, 성별 분류 및 얼굴 특징점 분류를 위해 SVM을 적용한다. 마지막으로, 얼굴 구성 요소의 분석 결과와 성별 분류 결과를 종합하여 관상 정보를 자동으로 생성한다. 실험 결과, 제안된 방법은 얼굴 구성 요소 분석 및 관상 정보 생성을 위한 효율적인 방법임을 보여준다. In this paper, we present an implementation of automatic physiognomic analysis based on the analysis of features of facial components such as eye size, mouth size, and so on. The facial region is detected from an input image to analyze the various features of facial components. The Active Appearance Model (AAM) is used to extract facial feature points. From these facial feature points, 22 measurements are computed to distinguish each facial component into defined classes and the gender of a subject. The Support Vector Machine (SVM) is applied for gender and facial feature classification. After classifying facial components with each classification criterion and the gender of a subject, physiognomic information is generated by combining the classified results of each classification criterion and the gender of the subject. The experimental results demonstrate that the proposed method is an effective solution for solving the problem of facial feature analysis and generating physiognomic information of the subject.

키넥트를 이용한 수화 인식

천웅희(Woong-Hee Cheon),양희덕(Hee-Deok Yang) 한국정보과학회 2015 한국정보과학회 학술발표논문집 Vol.2015 No.6