Local Directional Ternary Pattern for Facial Expression Recognition

Byungyong Ryu,Ramirez Rivera, Adin,Jaemyun Kim,Oksam Chae IEEE 2017 IEEE TRANSACTIONS ON IMAGE PROCESSING - Vol.26 No.12

<P>This paper presents a new face descriptor, local directional ternary pattern (LDTP), for facial expression recognition. LDTP efficiently encodes information of emotion-related features (i.e., eyes, eyebrows, upper nose, and mouth) by using the directional information and ternary pattern in order to take advantage of the robustness of edge patterns in the edge region while overcoming weaknesses of edge-based methods in smooth regions. Our proposal, unlike existing histogram-based face description methods that divide the face into several regions and sample the codes uniformly, uses a two-level grid to construct the face descriptor while sampling expression-related information at different scales. We use a coarse grid for stable codes (highly related to non-expression), and a finer one for active codes (highly related to expression). This multi-level approach enables us to do a finer grain description of facial motions while still characterizing the coarse features of the expression. Moreover, we learn the active LDTP codes from the emotion-related facial regions. We tested our method by using person-dependent and independent cross-validation schemes to evaluate the performance. We show that our approaches improve the overall accuracy of facial expression recognition on six data sets.</P>

Signed Local Directional Pattern을 이용한 강력한 얼굴 표정인식

류병용(Byungyong Ryu),김재면(Jaemyun Kim),안기옥(Kiok Ahn),송기훈(Gihun Song),채옥삼(Oksam Chae) 대한전자공학회 2014 전자공학회논문지 Vol.51 No.6

본 논문에서는 얼굴 표정인식을 위한 새로운 지역 미세 패턴 기술 방법인 Signed Local Directional Pattern(SLDP)을 제안한다. SLDP는 얼굴 영상의 텍스쳐 정보를 표현하기 위해 에지 정보를 이용한다. 이는 기존의 방법들에 비해 뛰어난 구별 성능과 효율적인 코드 생성을 가능하게 한다. SLDP는 마스크 범위 이웃 화소들을 이용하여 에지 반응 값을 계산하고 이들 중 부호를 고려하여 에지 반응 값이 큰 에지 방향 정보를 가지고 만들어진다. 이는 기존 LDP에서 구별하지 못하던 비슷한 에지구조에 밝기 값이 반대인 지역 패턴을 구별할 수 있다. 본 논문에서는 얼굴 표정인식을 위해 얼굴 영상을 여러 영역으로 분할하고 각 영역으로부터 SLDP코드의 분포를 계산한다. 각 분포는 얼굴의 지역적인 특징을 나타내고 이들 특징을 연결해서 얼굴 전체를 나타내는 얼굴 특징 벡터를 생성한다. 본 논문에서는 생성된 얼굴 특징 벡터와 SVM(Support Vector Machine)을 이용해서 Cohn-Kanade 데이터베이스와 JAFFE데이터베이스에서 얼굴 표정인식을 수행했다. SLDP는 표정인식에서 기존 방법들보다 뛰어난 결과를 보여주었다. In this paper, we proposed a new local micro pattern, Signed Local Directional Pattern(SLDP). SLDP uses information of edges to represent the face’s texture. This can produce a more discriminating and efficient code than other state-of-the-art methods. Each micro pattern of SLDP is encoded by sign and its major directions in which maximum edge responses exist―which allows it to distinguish among similar edge patterns that have different intensity transitions. In this paper, we divide the face image into several regions, each of which is used to calculate the distributions of the SLDP codes. Each distribution represents features of the region and these features are concatenated into a feature vector. We carried out facial expression recognition with feature vectors and SVM(Support Vector Machine) on Cohn-Kanade and JAFFE databases. SLDP shows better classification accuracy than other existing methods.

SVM을 이용한 DCT 기반의 디지털 드롭아웃 검출

송기훈(Gihun Song),류병용(Byungyong Ryu),김재면(Jaemyun Kim),안기옥(Kiok Ahn),채옥삼(Oksam Chae) 대한전자공학회 2014 전자공학회논문지 Vol.51 No.7

전 세계적으로 방송사 및 영상 관련 기관들의 비디오 기반 시스템이 디지털로 전환되고 있다. 이송 과정에서 발생하는 디지털 드롭아웃은 콘텐츠의 질을 낮추게 만든다. 게다가 디지털 드롭아웃에 초점이 맞춰진 연구가 매우 미미하며 기존 방법들로 해결하기에는 한계점이 존재한다. 상기 이유로, 우리는 디지털 드롭아웃 블록이 가지는 독특한 패턴들의 주파수 특성을 강조할 수 있도록 이산 코사인 변환 (Discrete Cosine Transform) 계수를 기반으로 하는 새로운 특징표현 방법을 제안한다. 또한, 분류를 위해 특징 벡터를 효율적으로 활용할 수 있는 SVM 기반의 오류블록 분류방법을 활용한다. 더 나아가 이 방법은 기존 방법들의 프레임 간 연속성을 이용해 발생하는 문제점들을 극복하였다. 단독 프레임의 정보만을 이용함으로써 빠른 물체의 존재하에서도 동작이 가능하고, 특정 모델이나 추정이 필요하지 않아 최소의 복잡도 하에 오류 검출이 가능하다. The video-based system of the broadcasters and the video-related institutions have shifted from analogical to digital in worldwide. This migration process can generate a defect, digital dropout, in the quality of the contents. Moreover, there are limited researches focused on these kind of defects and those related have limitations. For that reason, we are proposing a new method for feature extraction emphasizing in the peculiar block pattern of digital dropout based on discrete cosine transform (DCT). For classification of error block, we utilize support vector machine (SVM) which can manage feature vectors efficiently. Further, the proposed method overcome the limitation of the previous one using continuity of frame by frame. It is using only the information of a single frame and works better even in the presence of fast moving objects, without the necessity of specific model or parameter estimation. Therefore, this approach is capable of detecting digital dropout only with minimal complexity.

CT 영상을 이용한 자동 치열궁 검출 및 파노라마 영상 생성

이찬우(Chanwoo Lee),류병용(Byungyong Ryu),채옥삼(Oksam Chae) 대한전자공학회 2018 전자공학회논문지 Vol.55 No.3

Dental CT에서 파노라마 영상을 정확하게 자동으로 생성하는 방법은 치과 진료에 있어서 매우 중요한 요소다. 하지만 기존 자동 파노라마 영상 생성 방법 및 수동으로 생성하는 방법은 특정 슬라이드를 대상으로 파노라마 영상 생성에 필요한 치열궁 커브를 생성하기 때문에 부정 교합이 심한 환자의 경우 정확한 파노라마 영상 생성이 어려운 문제점이 이었다. 본 연구에서는 치아가 포함된 대상 슬라이드를 설정하고 대상 슬라이드의 딱딱한 조직의 영역을 분리하고 누적한 누적 영상을 사용하여 파노라마 영상을 생성하는 방법을 제안한다. 누적 영상은 여러 치아의 정보가 포함되어 있고 치아의 분포를 알 수 있기 때문에 부정 교합이 심한 환자 영상에서도 정확한 치열궁 커브를 생성할 수 있는 장점이 있고 치아의 분포를 이용하여 파노라마 영상에 포함되는 이웃화소의 크기를 예측해 정확한 파노라마 영상을 생성할 수 있다. 본 연구에서는 제안된 방법을 실제 부정교합이 매우 심한 환자의 Cone Beam Dental CT와 Fan Beam Dental CT에 적용하여 정확한 파노라마 영상이 생성됨을 입증했다. The accurate and automatic synthesis of panoramic images in dental CT is a very important factor in dental practice. However, since the conventional automatic panorama image synthesis method and manual method generate a dental arch curve necessary for generating a panoramic image with respect to a specific slide, it is difficult to generate an accurate panoramic image in a patient with severe malocclusion. In this study, we propose a method to synthesis a panoramic image automatically by setting target slides containing tooth area, separating the hard tissue regions, and using the accumulative image. Since the accumulative image contains information of various teeth and the distribution from target slides including tooth, the proposed method can generate an accurate dental arch curve even in a patient image with severe malocclusion and synthesis an accurate panoramic image by predicting the neighboring pixels included in the panoramic image. In this study, we applied the proposed method to Cone Beam Dental CT and Fan Beam Dental CT in patients with very severe malocclusion, and showed its the superiority by the panoramic image results.

Adaptive Macro-scopic Pattern을 이용한 나이 인식

강승훈(SeungHoon Kang),류병용(Byungyong Ryu),송기훈(Gihun Song),채옥삼(Oksam Chae) 대한전자공학회 2017 전자공학회논문지 Vol.54 No.11

나이 특징을 적절하게 기술하는 방법은 얼굴 영상으로부터 나이를 인식하는 연구에 매우 중요한 요소다. 하지만 여전히 나이 변화로 나타나는 얼굴 영상의 특징(얼굴 형태 변화, 주름, 잡티 등)에 특화된 기술 방법이 거의 없다. 이와 같은 문제점을 해결하기 위해 본 논문에서는 지역 패턴 기술 방법의 하나로 Adaptive Macro-Scopic Pattern (AMSP)을 제안했다. 제안된 방법은 나이 인식에 중요한 얼굴 특징 변화를 기존 지역 패턴 방법들보다 효과적으로 기술할 수 있다. 본 논문은 나이 인식에 매주 중요한 영역의 텍스처를 분석해서 Age-Primitives로 정의하고 이를 효과적으로 기술하도록 했다. 제안된 방법은 얼굴 형태 변화, 주름을 잘 기술 할 수 있는 기존 에지 기반 패턴 기술 방법의 장점을 취하면서 나이 인식에 중요하지 않은 영역에서 발생하는 패턴으로 인해 인식률이 떨어지는 기존 에지 기반 패턴 기술 방법의 단점을 극복했다. 본 논문에서는 제안된 방법의 성능을 입증하기 위해 AMSP를 이용한 나이 그룹 인식(Age group recognition)과 나이 추정(Age estimation) 성능을 테스트했다. 그 결과 제안된 AMSP 방법이 기존 방법보다 매우 뛰어난 성능을 보여주었다. Properly describing age features is a very important factor in age recognition from facial images. However, there are few methods specialized for the features appearing as age change in facial images (facial shape change, wrinkles, dullness, etc.). To solve these issues, we proposed a local face descriptor, Adaptive Macro-Scopic Pattern (AMSP). The proposed method can more effectively describe features, which are critical for age recognition than existing local descriptors. In this paper, we define the Age-Primitives by analyzing most aging related texture, and describe them effectively. The proposed method not only takes advantage of existing edge-based descriptions which can represent changes of facial shapes and wrinkle well, but also, overcome disadvantages of existing edge-based descriptions for age recognition, which generate pattern on unimportant textures for age recognition. In this paper, we have tested the performance of the proposed method, AMSP, using age group recognition and age estimation. As a result, the proposed AMSP showed much better performance than existing methods.

Exploring Positional Ternary Pattern (PTP) for Conventional Facial Expression Recognition from Static Images

Md Tauhid Bin Iqbal,Byungyong Ryu,Gihun Song,Jaemyun Kim,Farkhod Makhmudkhujaev,Oksam Chae 한국정보과학회 2016 한국정보과학회 학술발표논문집 Vol.2016 No.6

대칭 방향 패턴(SDP)을 이용한 얼굴 표정 인식

한민수(Min-su Han),류병용(Byungyong Ryu),김재면(Jaemyun Kim),송기훈(Gihun Song),채옥삼(Oksam Chae) 대한전자공학회 2015 대한전자공학회 학술대회 Vol.2015 No.6

We propose a novel local micro pattern, Symmetric Directional Pattern (SDP), in order to perform facial expression recognition. SDP extracts edge directions and responses information from the local neighbors using symmetric Sobel masks, and encodes the prominent direction effectively. According to magnitude of edge responses, SDP deals with edge texture and smooth areas differently. With these properties, SDP becomes robust against random noise and illumination changes, and provides better discrimination power about other existing expression databases also present the outstanding recognition accuracy of the proposed method.

Directional Age-Primitive Pattern (DAPP) for Human Age Group Recognition and Age Estimation

Bin Iqbal, Md Tauhid,Shoyaib, Mohammad,Byungyong Ryu,Abdullah-Al-Wadud, M.,Oksam Chae IEEE 2017 IEEE transactions on information forensics and sec Vol.12 No.11

<P>An appropriate aging description from face image is the prime influential factor in human age recognition, but still there is an absence of a specially engineered aging descriptor, which can characterize discernible facial aging cues (e.g., craniofacial growth, skin aging) from a detailed and more finer point of view. To address this issue, we propose a local face descriptor, directional age-primitive pattern (DAPP), which inherits discernible aging cue information and is functionally more robust and discriminative than existing local descriptors. We introduce three attributes for coding the DAPP description. First, we introduce Age-Primitives encoding aging related to the most crucial texture primitives, yielding a reasonable and clear aging definition. Second, we introduce an encoding concept dubbed as Latent Secondary Direction, which preserves compact structural information in the code avoiding uncertain codes. Third, a globally adaptive thresholding mechanism is initiated to facilitate more discrimination in a flat and textured region. We apply DAPP on separate age group recognition and age estimation tasks. Applying the same approach to both of these tasks is seldom explored in the literature. Carefully conducted experiments show that the proposed DAPP description outperforms the existing approaches by an acceptable margin.</P>

Person-Independent Facial Expression Recognition with Histograms of Prominent Edge Directions

( Farkhod Makhmudkhujaev ),( Md Tauhid Bin Iqbal ),( Md Rifat Arefin ),( Byungyong Ryu ),( Oksam Chae ) 한국인터넷정보학회 2018 KSII Transactions on Internet and Information Syst Vol.12 No.12

This paper presents a new descriptor, named Histograms of Prominent Edge Directions (HPED), for the recognition of facial expressions in a person-independent environment. In this paper, we raise the issue of sampling error in generating the code-histogram from spatial regions of the face image, as observed in the existing descriptors. HPED describes facial appearance changes based on the statistical distribution of the top two prominent edge directions (i.e., primary and secondary direction) captured over small spatial regions of the face. Compared to existing descriptors, HPED uses a smaller number of code-bins to describe the spatial regions, which helps avoid sampling error despite having fewer samples while preserving the valuable spatial information. In contrast to the existing Histogram of Oriented Gradients (HOG) that uses the histogram of the primary edge direction (i.e., gradient orientation) only, we additionally consider the histogram of the secondary edge direction, which provides more meaningful shape information related to the local texture. Experiments on popular facial expression datasets demonstrate the superior performance of the proposed HPED against existing descriptors in a person-independent environment.

실시간 성별 나이 통합 인식 시스템

엠디 타우히드 빈 익발(Md Tauhid Bin Iqbal),류병용(Byungyong Ryu),홍석진(Seokjin Hong),채옥삼(Oksam Chae) 한국정보과학회 2016 한국정보과학회 학술발표논문집 Vol.2016 No.6