청각장애인을 위한 사운드 이벤트 검출 기반 홈 모니터링 시스템

김지연,신승수,김형국,Kim, Gee Yeun,Shin, Seung-Su,Kim, Hyoung-Gook 한국음향학회 2019 韓國音響學會誌 Vol.38 No.4

본 논문에서는 청각장애인을 위해 양방향 게이트 순환 신경망을 이용한 사운드 이벤트 검출 기반의 홈 모니터링 시스템을 제안한다. 제안된 시스템에서는 우선적으로 효과적인 사운드 이벤트 검출을 위해 패킷손실 은닉을 이용하여 무선 센서 네트워크로 인해 손실된 신호를 복원하고, 멀티채널 상호 상관관계 계수를 이용하여 신뢰할 수 있는 채널을 선택한다. 선택된 채널의 사운드는 이벤트 검출을 위해 두 개의 오디오 채널을 사용하는 양방향 게이트 순환신경망에 적용된다. 검출된 사운드 이벤트는 텍스트로 변환되며, 이와 함께 하모닉/퍼커시브 음원 분리 방식을 통해 햅틱 신호로 변환되어 청각장애인에게 제공된다. 실험결과는 제안한 사운드 검출기반의 성능이 기존 방식보다 더 우수하다는 것과 음원 분리 방식을 통해 사운드를 세밀한 햅틱 신호로 표현할 수 있음을 보인다. In this paper, we propose a home monitoring system using sound event detection based on a bidirectional gated recurrent neural network for the hard-of-hearing. First, in the proposed system, packet loss concealment is used to recover a lost signal captured through wireless sensor networks, and reliable channels are selected using multi-channel cross correlation coefficient for effective sound event detection. The detected sound event is converted into the text and haptic signal through a harmonic/percussive sound source separation method to be provided to hearing impaired people. Experimental results show that the performance of the proposed sound event detection method is superior to the conventional methods and the sound can be expressed into detailed haptic signal using the source separation.

배경잡음 및 패킷손실에 강인한 voice-over-IP 수신단 기반 음질향상 기법

김지연,김형국,Kim, Gee Yeun,Kim, Hyoung-Gook 한국음향학회 2018 韓國音響學會誌 Vol.37 No.6

음성 품질의 향상은 통신 분야의 주요 관심사이다. 본 논문에서는 VoIP(Voice-over-IP) 수신부에서의 배경잡음 및 패킷손실에 강인한 음질향상 방식을 제안한다. 제안된 방식에서는 하이브리드 마르코프 체인 기반 네트워크 지터추정, 추정된 지터를 이용한 적응적 플레이아웃 스케줄링, 그리고 진폭 및 위상 복원 기반의 음성 향상 방식 등을 결합하여 IP 네트워크를 통해 VoIP 수신부에 도착하는 음성신호의 품질을 향상시킨다. 실험결과는 제안된 방식이 송신부의 인코딩 전에 음성신호에 추가된 잡음을 제거하고 불안정한 네트워크 환경에서 양질의 음성을 제공하는 것을 확인할 수 있다. Improving voice quality is a major concern in telecommunications. In this paper, we propose a robust speech quality enhancement against background noise and packet loss at VoIP (Voice-over-IP) receiver. The proposed method combines network jitter estimation based on hybrid Markov chain, adaptive playout scheduling using the estimated jitter, and speech enhancement based on restoration of amplitude and phase to enhance the quality of the speech signal arriving at the VoIP receiver over IP network. The experimental results show that the proposed method removes the background noise added to the speech signal before encoding at the sender side and provides the enhanced speech quality in an unstable network environment.

다양한 합성곱 신경망 방식을 이용한 폐음 분류 방식의 성능 비교

김지연,김형국,Kim, Gee Yeun,Kim, Hyoung-Gook 한국음향학회 2019 韓國音響學會誌 Vol.38 No.5

폐질환 진단에서 청진은 다른 진단 방식에 비해 단순하고, 폐음을 이용하여 폐질환 환자식별뿐 아니라 폐음과 관련된 질병을 예측할 수 있다. 따라서 본 논문에서는 다양한 합성곱 신경방 방식을 기반으로 폐음을 이용하여 폐질환 환자를 식별하고, 소리특성에 따른 폐음을 분류하여 각 신경망 방식의 분류 성능을 비교한다. 먼저 폐질환 소견을 갖는 흉부 영역에서 단채널 폐음 녹음기기를 이용하여 폐음 데이터를 수집하고, 수집된 시간축 신호를 스펙트럼 형태의 특징값으로 추출하여 각 분류 신경망 방식에 적용한다. 폐 사운드 분류 방식으로는 일반적인 합성곱 신경망, 병렬 구조, 잔류학습이 적용된 구조의 합성곱 신경망을 사용하고 실험을 통해 각 신경망 모델의 폐음 분류 성능을 비교한다. In the diagnosis of pulmonary diseases, auscultation technique is simpler than the other methods, and lung sounds can be used for predicting the types of pulmonary diseases as well as identifying patients with pulmonary diseases. Therefore, in this paper, we identify patients with pulmonary diseases and classify lung sounds according to their sound characteristics using various convolutional neural networks, and compare the classification performance of each neural network method. First, lung sounds over affected areas of the chest with pulmonary diseases are collected by using a single-channel lung sound recording device, and spectral features are extracted from the collected sounds in time domain and applied to each neural network. As classification methods, we use general, parallel, and residual convolutional neural network, and compare lung sound classification performance of each neural network through experiments.

노인성 치매에 대한 태도 유형 연구

김지연(Kim, Ji-Yeun),정재범(Jung, Jae-Bum),박문호(Park, Moon-Ho),박건우(Park, Kun-Woo),최문기(Choi, Moon-Gee) 한국산학기술학회 2010 한국산학기술학회논문지 Vol.11 No.10

노인 인구의 급증과 함께 노인성 치매 문제와 노인들을 위한 기능성 게임에 대한 관심이 증대되고 있다. 본 연구에서는 노인용 기능성 게임 개발을 위한 기초조사로서 치매에 대한 태도 유형과 그 특성을 Q 방법론과 설문조사 를 통해 연구하였다. 연구 결과, 치매에 대한 태도는 방관하는 이상주의형, 도망가고 싶은 의무방어형, 적극적 현실주 의형, 고생하신 어른에 대한 보은형의 네 유형으로 구분되었다. 각 유형 별 컴퓨터/ 인터넷 이용 빈도, 치매 관련 게 임 이용 여부, 치매 예방용 기능성 게임 이용 의사 설문 조사한 결과, 방관하는 이상주의형과 적극적 현실주의형이 향후 치매 예방용 기능성 게임의 잠재적 사용자 집단이 될 것으로 예상되었다. 본 연구는 향후 기능성 게임뿐만 아니 라 치매와 관련한 다양한 제도나 정책들이 제안될 때 기초자료로 활용할 수 있는 치매에 대한 태도와 각 유형별 특 성을 탐색하였다는데 그 의의가 있다. As the number of the elderly increases, concerns about senile dementia and serious game for dementia are growing. The purpose of this study is to explore the types of attitude toward senile dementia. To identify public attitudes toward senile dementia, we conducted Q methodology. A Q set of potential public attitudes toward senile dementia was identified through literature review. From this, 52 potential public attitudes toward senile dementia were identified. Twenty subjects ranked these explanations as possible public attitudes. The attitudes toward senile dementia were classified as 4 types : ‘type1 : idealistic & expectant', ‘type 2 : aversive & defensive', ‘type 3 : active & realistic', and ‘type 4 : responsible & compensatory’. This study revealed that people have different explanatory frameworks for the attitude toward senile dementia.

음성 신호와 심층 잔류 순환 신경망을 이용한 파킨슨병 진단

신승수,김지연,구본미,김형국,Shin, Seung-Su,Kim, Gee Yeun,Koo, Bon Mi,Kim, Hyoung-Gook 한국음향학회 2019 韓國音響學會誌 Vol.38 No.3

노년기 3대 질환 중 하나인 파킨슨병은 환자의 70 % 이상이 음성 장애를 앓고 있으며 최근 음성 신호를 통한 파킨슨병의 진단 방법들이 고안되고 있다. 본 논문에서는 음성 특징을 이용한 심층 잔류 순환 신경망 기반의 파킨슨병 진단 방식을 제안한다. 제안하는 방식에서는 파킨슨병 진단을 위한 음성 특징을 선택하고 이를 심층 잔류 순환 신경망에 적용하여 파킨슨병 환자를 식별한다. 제안하는 심층 잔류 순환 신경망은 심층 순환 신경망에 잔류 학습 방식을 결합한 알고리즘으로 파킨슨병 진단에서 기존의 식별 알고리즘보다 더 높은 인식률을 보인다. Parkinson's disease, one of the three major diseases in old age, has more than 70 % of patients with speech disorders, and recently, diagnostic methods of Parkinson's disease through speech signals have been devised. In this paper, we propose a method of diagnosis of Parkinson's disease based on deep residual gated recurrent neural network using speech features. In the proposed method, the speech features for diagnosing Parkinson's disease are selected and applied to the deep residual gated recurrent neural network to classify Parkinson's disease patients. The proposed deep residual gated recurrent neural network, an algorithm combining residual learning with deep gated recurrent neural network, has a higher recognition rate than the traditional method in Parkinson's disease diagnosis.

마스크 영역 분할을 이용한 얼굴 표정인식

이승호(Seung Ho Lee) 한국정보통신학회 2023 한국정보통신학회논문지 Vol.27 No.4

얼굴 표정인식(facial expression recognition)은 인간 중심의 사람-기계 인터페이스에서 가장 중요한 요소기술 중 하나이다. 마스크 착용 얼굴의 경우 얼굴 하관이 대부분 가려져 충분한 양의 분별 특징정보(discriminative feature)를 추출하기 어려우며, 마스크 착용 여부 및 마스크 패턴(형태, 크기, 무늬 등)의 다양성은 인식 정확도를 저해시키는 방해요소로 작용할 수 있다. 본 논문에서는 마스크 착용으로 인한 영향을 감소시키기 위한 얼굴 표정인식 방법을 제안한다. 먼저 마스크 착용 여부에 의한 불일치를 감소시키기 위해 마스크를 착용한 테스트 얼굴에 대해 표정인식을 수행할 때 학습용 얼굴 이미지들에 마스크를 합성한다. 그리고 마스크 패턴의 다양성에 의한 불일치를 최소화하기 위해 테스트 및 학습용 얼굴 이미지들에서 이미지 분할을 적용하여 추출된 마스크 영역을 제거하여 검정색으로 표시한다. 마스크 영역이 제거된 테스트 얼굴 이미지를 동일한 방식으로 전처리 된 학습용 얼굴 이미지들의 최적 조합으로 복원(reconstruction)한 뒤 복원 기여도가 가장 높은 클래스를 찾음으로써 테스트 얼굴 이미지의 감정 클래스를 결정한다. 제안하는 방법은 6가지의 대표 감정에 대해 70% 이상의 마스크 얼굴 표정인식 정확도를 달성하였으며 이는 학습용 얼굴 이미지들이 마스크 미착용인 경우에 비해 46% 정도 높은 수치이다. Facial expression recognition is one of the most important technologies in human-machine interface. For the case of masked face image, it is difficult to extract discriminating features as a large facial part is occluded. Moreover, a variety of mask patterns could degrade the recognition rate. In this paper, a facial expression recogition method is proposed aiming to reduce the effect of wearing masks. In the proposed method, to deal with the mismatch due to masked test faces, mask images are synthesized with the training face images. After that, for each of the test and training face images, the mask region is segmented and eliminated. A proprecessed test face image is recontructed with an optimal combination of the preprocessed training face images, and categorized into an emotion class by finding the most contributing class during the reconstruction. The proposed method achieves 70% in recognition rate where about 46% improvement can be achieved compared to the case of unmasked training faces.

음악 무드 분류 기반의 음악 추천을 통한 설득적 인터랙션 시스템

김민지(Min Gi Kim),강지해(Ji Hae Kang),김지연(Gee Yeun Kim),김형국(Hyoung-Gook Kim) 한국정보기술학회 2019 Proceedings of KIIT Conference Vol.2019 No.6

웹캐스팅 기법을 이용한 XML기반의 외국어학습 웹 코스웨어 구현

윤호군(Ho-Gun Yun),김천호(Chon-Ho Kim),김지연(Gee-Yeun Kim),김현기(Hyun-Ki Kim),강환수(Hwan-Su Kang),정화영(Hwa-Young Jeong) 한국정보과학회 2000 한국정보과학회 학술발표논문집 Vol.27 No.2Ⅱ

컴퓨터를 이용한 인터넷의 급속한 발전에 따라 이를 교육에 응용하려는 노력은 최근 몇 년 동안 지속적으로 진행되어왔다. 이는 인터넷 이용인구의 급속한 증가로 인하여 웹 상에서의 가상교육 및 원격교육에 관한 필요성이 증대되었고, 이를 실용화하려는 노력은 여러 가지 방법을 통하여 논의되어왔다. 따라서, 웹 코스웨어는 인터넷을 통한 원거리 학습자들에 대하여 학습욕구를 충족시키기 위한 목적으로 구현 및 개발되었다. 그러나, 이를 이용하려면 사용자의 시스템이 정보를 제공하는 서버와의 정보교환을 위하여 온라인 상태를 유지하였으며, 학습자가 서버에서 갱신되는 학습정보를 받아 보려면 온라인 상에서 학습자의 시스템이 서버로 접속이 이루어져야만 확인이 가능하였다. 본 논문은 이에 관하여 XML(eXtensible Markup Language)을 기반으로 한 웹 캐스팅 기법으로 웹 코스웨어를 구현하였으며 이를 위하여 CDF(Channel Definition Format)형식을 이용하였다. 즉, 채널을 이용하여 학습자가 자율적으로 채널을 선택하면, 학습자가 원하는 정보를 자동적으로 갱신되도록 하였다. 또한, 기존의 웹 코스웨어는 정보를 제공하는 서버의 학습내용이 변화 될 때마다 일일이 확인을 하여야 하는 반면 본 논문에서는 갱신되어진 내용을 학습자에게 자동적으로 업데이트 되도록 하였다.

난청인을 위한 사운드 이벤트 검출 웨어러블 디바이스 구현

길민규(Min-Kyu Gil),신승수(Seung-Su Shin),조종인(Jong-In Cho),김지연(Gee-Yeun Kim),김형국(Hyoung-Gook Kim) 한국정보기술학회 2018 Proceedings of KIIT Conference Vol.2018 No.6