Active Shape Model과 통계적 패턴인식기를 이용한 얼굴 영상 기반 감정인식

장길진,조아라,박정식,서용호 한국인터넷방송통신학회 2014 한국인터넷방송통신학회 논문지 Vol.14 No.3

본 논문에서는 얼굴 영상으로부터 자동으로 사람의 감정을 인식하는 효과적인 방법을 제안한다. 얼굴 표정으 로부터 감정을 파악하기 위해서는 카메라로부터 얼굴영상을 입력받고, ASM (active shape model)을 이용하여 얼굴의 영역 및 얼굴의 주요 특징점을 추출한다. 추출한 특징점으로부터 각 장면별로 49차의 크기 및 변이에 강인한 특징벡터 를 추출한 후, 통계기반 패턴분류 방법을 사용하여 얼굴표정을 인식하였다. 사용된 패턴분류기는 Naive Bayes, 다중 계층 신경회로망(MLP; multi-layer perceptron), 그리고 SVM (support vector machine)이며, 이중 SVM을 이용하였 을 때 가장 높은 최종 성능을 얻을 수 있었으며, 6개의 감정분류에서 50.8%, 3개의 감정분류에서 78.0%의 인식결과를 보였다. This paper proposes an efficient method for automatically distinguishing various facial expressions. To recognize the emotions from facial expressions, the facial images are obtained by digital cameras, and a number of feature points were extracted. The extracted feature points are then transformed to 49-dimensional feature vectors which are robust to scale and translational variations, and the facial emotions are recognized by statistical pattern classifiers such Naive Bayes, MLP (multi-layer perceptron), and SVM (support vector machine). Based on the experimental results with 5-fold cross validation, SVM was the best among the classifiers, whose performance was obtained by 50.8% for 6 emotion classification, and 78.0% for 3 emotions.

복층 자기부호화기를 이용한 음향 신호 군집화 및 분리

장길진,Jang, Gil-Jin 한국음향학회 2016 韓國音響學會誌 Vol.35 No.4

This paper proposes a novel approach to the problem of audio signal clustering using a stacked autoencoder. The proposed stacked autoencoder learns an efficient representation for the input signal, enables clustering constituent signals with similar characteristics, and therefore the original sources can be separated based on the clustering results. STFT (Short-Time Fourier Transform) is performed to extract time-frequency spectrum, and rectangular windows at all the possible locations are used as input values to the autoencoder. The outputs at the middle, encoding layer, are used to cluster the rectangular windows and the original sources are separated by the Wiener filters derived from the clustering results. Source separation experiments were carried out in comparison to the conventional NMF (Non-negative Matrix Factorization), and the estimated sources by the proposed method well represent the characteristics of the orignal sources as shown in the time-frequency representation. 본 논문은 자기부호화기를 이용한 음향신호 분리방법을 제안한다. 사용된 복층구조 신경망 자기부호화기는 입력 신호의 효율적인 표현방법을 자동으로 학습하며, 유사한 특징을 가지고 있는 요소신호들을 군집함으로써 다른 특징의 신호들을 분리할 수 있다. 시간영역과 주파수영역의 변이특성을 추출하기 위하여 단구간푸리에변환(Short-Time Fourier Transform, STFT)을 수행하였으며, 정해진 크기의 사각형 창을 모든 가능한 위치에 적용하여 얻은 단구간 주파수 스펙트럼을 자기부호화기의 입력으로 사용하였다. 자기부호화기의 부호노드들의 값을 이용하여 유사한 스펙트럼 창들을 군집하고, 이를 이용하여 원래의 음원들로 분리해 낼 수 있었다. 분리된 원음들은 원래의 입력신호의 특징을 확실히 나타내었으며, 기존의 비음수 행렬분해(Non-negative Matrix Factorization, NMF) 결과와 주파수 스펙트럼 비교를 통해 그 유효성을 보일 수 있었다.

본태성 고혈압 환자에서 Nilvadipine의 강압효과 및 안정성에 관한 연구

장길진,김홍수,하성규,이호영,한대석 대한순환기학회 1992 Korean Circulation Journal Vol.22 No.4

후보선정과 우도비 정규화를 이용한 화자식별 시스템의 성능 향상

장길진(Gil-Jin Jang),김지환(Ji-Hwan Kim),윤성진(Seong-Jin Yun),오영환(Yung-Hwan Oh) 한국정보과학회 1998 한국정보과학회 학술발표논문집 Vol.25 No.1B

화자인식은 입력으로 음성만을 사용하기 때문에 원격지 개인 확인에서 효과적인 방법이다. 그러나, 잡은, 학습환경과 실제환경의 불일치 등으로 실제환경 하에서의 화자식별은 매우 어렵게 된다. 본 연구에서는 많은 수의 화자가 등록된 화자식별 시스템을 구현하고 화자식별 시스템의 출력결과에 대한 신뢰도를 측정할 수 있는 척도를 제안한다. 또한, 제안된 신뢰척도에 따라 후보화자들을 선택하는 방법과, 선택된 후보화자들에서 최종결과를 선택하는 효과적인 정규화 방법을 제안한다.

CAFFE를 이용한 심화학습 기반 영상 객체 인식

장길진(Gil-Jin Jang),박정식(Jeong-Sik Park) 한국정보과학회 2015 정보과학회지 Vol.33 No.8

독립성분 분석을 이용한 강인한 화자식별

장길진(Gil-Jin Jang),오영환(Yung-Hwan Oh) 한국정보과학회 2000 정보과학회논문지 : 소프트웨어 및 응용 Vol.27 No.5

This paper proposes feature parameter transformation method using independent component analysis (ICA) for speaker identification. The proposed method assumes that the cepstral vectors from various channel-conditioned speech are constructed by a linear combination of some characteristic functions with random channel noise added, and transforms them into new vectors using ICA. The resultant vector space can give emphasis to the repetitive speaker information and suppress the random channel distortions. Experimental results show that the transformation method is effective for the improvement of speaker identification system. 본 논문에서는 독립성분분석을 이용한 음성의 특징 벡터 변환방법을 제안한다. 제안한 방법은 여러 환경에서 수집된 음성신호의 켑스트럼 벡터를 다수의 특징 함수들의 선형결합으로 가정하고, 독립성 분분석을 이용하여 분리된 켑스트럼 벡터를 학습과 인식에 사용한다. 변환된 벡터 영역에서는 반복적으로 나타나는 화자의 특징 정보는 강조되고 임의로 나타나는 채널 왜곡은 억제되는 효과를 볼 수 있다. 제안된 방법의 유효성을 검증하기 위해 실제 전화음성으로 문장독립형 화자식별 실험을 수행하였으며, 결과를 통해 독립성분분석을 이용한 특징벡터의 변환이 채널 환경 변화에 대해 보다 강인함을 보였다.

음성-음악 혼재 데이터에서의 음성분리를 위한 확률적 어텐션을 사용한 양방향 LSTM 기반 피치 분류

김한규,장길진,박정식,오영환,최호진 한국정보과학회 2019 정보과학회 컴퓨팅의 실제 논문지 Vol.25 No.4

Speech segregation based on sub-band masking extracts speech signals from audio mixtures via estimation of speech pitch and conservation of signals compatible with the estimated pitch. As speech and music exhibit similar harmonic structures, speech pitch and music pitch coexist in the estimated pitch when speech-music mixture is used as the input, which leads to performance degradation. In order to overcome this limitation, we propose pitch classification using bidirectional LSTM. The probabilistic attention layer is also proposed to improve the bidirectional LSTM. Further, musical energy removal for segregation mask generation is also proposed in order to obtain naturally segregated speech with pitch classification. The experiment results show that the proposed pitch classification using bidirectional LSTM based on probabilistic attention outscores other speech segregation methods. Sub-band masking 기반 단일채널 음성분리에서는 음성피치를 추정하여 추정된 피치와 일치하는 주파수 에너지만 통과시키는 필터를 사용하여 배경 잡음으로부터 음성을 분리한다. 음성과 음악은 비슷한 하모닉 구조를 가지고 있어, 음악이 잡음으로 입력될 경우 추정된 피치에 음성 피치와 음악 피치가 공존하게 되며, 이는 음성분리의 성능하락으로 연결된다. 따라서 음성-음악 혼재 데이터에서의 효과적인 음성분리를 위해 음성 피치와 음악 피치를 분류해야 한다. 본 연구에서는 양방향 LSTM을 사용하는 음성/음악 피치 분류 방법을 제안하였으며, 양방향 LSTM의 성능을 향상시키기 위해서 확률적 어텐션 레이어 구조를 제안하였다. 또한 피치 분류 결과로부터 자연스러운 음성분리 결과를 얻기 위해 음악 에너지가 제거된 음성분리 마스크 생성 기법을 제안하였다. 실험결과 확률적 어텐션 기반 양방향 LSTM이 다른 방법에 비해 더 좋은 음성분리 성능을 보여주었다.

트랜스포머를 이용한 음성기반 코비드19 진단

강승태,장길진 한국음향학회 2023 韓國音響學會誌 Vol.42 No.3

In this paper, we proposed an efficient method for rapid diagnosis of COVID-19 by voice. A novel Strided Convolution Separable Transformer (SC-SepTr) is proposed by modifying the conventional Separable Transformer (SepTr) for audio signal recognition. The proposed method reduces the memory and computational requirements to enable rapid diagnosis of COVID-19. As a result of experiments on Coswara, it was shown that the proposed method perform rapid diagnosis with guaranteeing Area Under the Curve (AUC) performance even for a relatively small amount of learning data. 본 연구에서는 코로나 바이러스 감염증은 음성만으로 빠르게 진단하는 효율적인 방법을 제안하였다. 기존의 딥러닝 기반 방법들의 연산시간과 대용량 학습자료 요구조건을 완화하기 위해서 Separable Transformer(SepTr) 의 구조를 개선하여 파라미터의 수를 대폭 감소시키고 빠른 진단을 가능하게 하는 새로운 Strided Convolution Separable Transformer(SC-SepTr)를 제안하였다. 공개 음향 데이터인 Coswara에 대하여 실험을 수행한 결과 제안된 방법은 상대적으로 소규모의 학습자료에 대해서도 Area Under the Curve(AUC) 성능을 보장하면서도 신속하게진단을 수행할 수 있음을 보였다.

급성 백혈병세포에서 c-kit 표현에 관한 연구(I)

민유홍,장길진,라선영,이선주,한지숙,고윤웅 大韓血液學會 1993 大韓血液學會誌 Vol.28 No.2

Chlamydia pneumoniae(Cp) 감염, 동맥경화증의 위험 인자인가? : 혈청역학적 연구를 토대로 On the basis of seroepidemiologic study

김현숙,장길진,홍범기,김현승,최의영,송영구,김준명,권혁문 대한내과학회 2000 대한내과학회지 Vol.58 No.4

목적 : 그동안 동맥 경화증을 일으키는 주요 위험 인자들이 많이 밝혀져 왔고, 이들 위험 인자들을 조절함으로써 심혈관계 사고(Cardiovascular event)를 어느정도 감소시키는 효과를 보아왔다. 그러나 이러한 위험 인자들을 조절하는 데는 많은 시간과 경비가 소요되며, 또 이러한 기존의 위험 인자들과 관계없이, 혹은 저위험군에서도 심혈관계 사고가 일어나는 경우가 많아, 다른 새로운 인자가 관여하고 있을 것으로 생각되어 왔으며, 특히 동맥 경화증의 기본적인 병리가 염증성 반응이라는 점에서 바이러스나 세균의 감염이 관련되어 있을 것으로 추측되어 왔다. 이에 저자들은 동맥 경화증 환자에서 Chlamydia pneumoniae에 대한 혈청학적 연구를 통하여 이들의 관련성을 간접적으로 파악하고자 하였다. 대상 및 방법 : 1997년 5월부터 1998년 9월까지 전형적인 협심증 증상과 함께 비관혈적인 검사(운동부하검사 및 심전도 검사)상 양성인 환자중 관동맥 조영술을 시행한 환자를 대상으로, 관동맥 조영술상 적어도 하나의 혈관에서 50%이상의 관동맥 협착소견이 있었던 군(대상군, I군)과, 관동맥 조영술상 정상 혹은 미만성 협착만 관찰되었던 군(양성 대조군, II군)을 비교 분석하였으며, 건강 대조군으로 과거력상 심혈관계 질환의 병력이나 증상이 전혀 없고 심전도 소견상 정상인 군(음성 대조군, III군)을 같이 비교 분석하였다. 혈청 검사는 항Chlamydia pneumoniae IgG와 IgA에 대한 ELISA 검사로 항체 유무를 조사하였다. 결과 : IgG, IgA, 그리고 IgG와 IgA를 동시에 측정한 경우에서 모두 항체 양성율은 I군과 II군 사이에는 차이가 없었으나, III군은 I군에 비해 통계학적으로 유의하게 항체 양성율이 낮았다. 그러나 다변량분석에서는 통계학적인 차이가 없었다. 성별, 연령, 고혈압, 당뇨, 흡연, 콜레스테롤 등의 인자들로 각각 나누어 항체 양성율을 비교 분석한 결과, IgG의 경우와 IgG, IgA를 동시에 측정한 경우에서는, 여자, 비흡연자, 정상 혈압, 정상 혈당, 정상 콜레스테롤 수치, 그리고 고밀도지단백 콜레스테롤이 35㎎/㎗ 이상이었던 경우 등과 같이 비교적 동맥경화증의 저위험군에서 특히 유의하게 I군이 III군에 비해 항체 양성율이 높게 나타났다. 그러나 IgA 항체에 대해서는 정상 혈압, 정상 혈당, 그리고 정상 콜레스테롤 수치를 갖고 있는 환자들에서만 항체 양성율에 차이가 있었다. 위의 위험인자들을 모두 고려한 다변량 분석에서는 IgG 항체와 IgG, IgA를 동시에 측정한 경우에서는 여자와 비흡연자에서 항체 양성율이 I군에서 높게 나타났으나, IgA 항체에 대해서는 각각의 경우에 차이가 없었다. I군에서 혈관 질환의 정도(1 vessel disease, 2VD, 3VD)에 따른 항체 양성율은 IgG, IgA, 그리고 IgG와 IgA를 동시에 측정한 경우에서 각각 유의한 차이는 없었다. 증상이 있었던 군(I+II군)에서 임상적으로 급성 관동맥증후군(급성 심근경색증, 비안정성 협심증)이 있었던 군과 만성 관동맥 질환자 간의 항체 양성율도 IgG, IgA, IgG+IgA의 경우 모두 통계학적인 차이가 없었다. 결론 : 이상의 결과는 Chlamydia pneumoniae 감염이 동맥경화증의 하나의 위험인자일 가능성, 특히 동맥경화증을 일으키는 기존의 위험인자들이 없는 저위험군에서 하나의 독립된 위험인자로 작용할 가능성을 시사해 주고 있다. 그러나 동맥경화증의 시작에 관여하는지, 아니면 동맥경화증의 촉진, 혹은 plaque rupture 등에 관여하는지는 확실하지 않으며, 앞으로 이들의 관련성에 대해 혈관 조직을 통한 구체적인 연구가 진행되어야 할 것으로 생각된다. Background : Several risk factors of atherosclerosis have been known. However, many patients have been experienced coronary heart disease without known risk factors of atherosclerosis, and it has been suggested that some kinds of infections may be associated with atherosclerosis as risk factors. Among many candidate infectious agents, Chlamydia pneumoniae (Cp) has been showing a positive relationship with atherosclerosis. Therefore, we investigated massive serologic study using a ELISA for detection of Cp to identify the relationship with atherosclerosis as a risk factor. Methods : Serologic tests were done in patients who were performed coronary angiogram among patients with typical symptoms of angina and with positive results in non- invasive test (EKG, Treadmill) from May 1997 to September 1998. Among them, patients with luminal narrowing of more than 50% in at least one vessel were grouped into 'Case group (Group I)' and patients with normal coronary arteries or minimal lesion were grouped into 'Positive control group(Group II)'. We also studied healthy persons, as a 'Negative control group (Group III), who had not experienced any symptoms related with coronary heart disease and had normal EKG findings. Serologic tests for Cp-IgG and Cp-IgA were performed by ELISA. Results : There was no statistical difference in seropositive rate between Group I and II, but seropositive rate of Group III was statistically lower than those of Group I or II for Cp-IgG, Cp-IgA, and both, respectively. But multivariate analysis by using logistic regression showed no statistcal differences between groups. Subgrouping by several traditional risk factors, seropositive rate for Cp-IgG and both IgG and IgA, was significantly different between Group I and III in patients without traditional risk factors of atherosclerosis, such as, females, non-smokers, normotension, non-diabetes, normal cholesterol level, and high HDL-cholesterol level. For Cp-IgA, however, the difference was observed in normotension, non-diabetes, and in normal cholesterol level. In multivariate analysis, seropositive rate for Cp-IgG and both IgG and IgA was significantly different between Group I and III in females and non-smokers, but not for the Cp-IgA. Conclusions : These results suggest that Cp infection might be an independent risk factor of atherosclerotic coronary disease, particularly in patients without traditional risk factors of atherosclerosis. Further study with coronary tissue should be continued.(Korean J Med 58:411-419, 2000)