심층 신경망을 활용한 손상된 음성파일 복원 자동화

허희수,소병민,양일호,윤성현,유하진,Heo, Hee-Soo,So, Byung-Min,Yang, IL-Ho,Yoon, Sung-Hyun,Yu, Ha-Jin 한국음향학회 2017 韓國音響學會誌 Vol.36 No.2

본 논문에서는 심층 신경망을 이용하여 손상된 음성파일을 복원하는 방법을 제안한다. 본 논문에서 다루는 음성파일 복원은 기존의 파일 카빙(file carving) 기반의 복원과는 다른 개념으로, 기존 기법으로는 복원할 수 없었던 손실된 정보를 복원하는 것이 목적이다. 새로운 복원 기법을 수행하는 과정에서 필요한 작업이지만 사람이 직접 수행할 수 없거나 너무 많은 시간이 소요되는 작업을 심층 신경망을 활용해 자동화할 수 있는 방안을 제안하였으며 관련한 실험을 진행하였다. 실험 결과, 심층 신경망을 활용해 음성, 비음성 분류나 음성파일 부호화 방식의 식별이 가능해 기존 파일 카빙 기반 방법이 복원하지 못하는 파일을 복원할 수 있었다. In this paper, we propose a method for restoring damaged audio files using deep neural network. It is different from the conventional file carving based restoration. The purpose of our method is to infer lost information which can not be restored by existing techniques such as the file carving. We have devised methods that can automate the tasks which are essential for the restoring but are inappropriate for humans. As a result of this study it has been shown that it is possible to restore the damaged files, which the conventional file carving method could not, by using tasks such as speech or nonspeech decision and speech encoder recognizer using a deep neural network.

유치원 환경에서의 이상 상황 검출을 위한 DNN 기반의 울음소리 검출 시스템

허희수(Hee-Soo Heo),양일호(IL-Ho Yang),윤성현(Sung-Hyun Yoon),정지원(Jee-Weon Jung),유하진(Ha-Jin Yu) 대한전자공학회 2016 대한전자공학회 학술대회 Vol.2016 No.6

음성 주파수 분포 분석을 통한 편집 의심 지점 검출 방법

허희수(Heo, Hee-Soo),소병민(So, Byung-Min),양일호(Yang, IL-Ho),유하진(Yu, Ha-Jin) 한국음성학회 2015 말소리와 음성과학 Vol.7 No.4

We propose a speech waveform forgery detection algorithm based on the flatness of frequency distribution. We devise a new measure of flatness which emphasizes the local change of the frequency distribution. Our measure calculates the sum of the differences between the energies of neighboring frequency bands. We compare the proposed measure with conventional flatness measures using a set of a large amount of test sounds. We also compare- the proposed method with conventional detection algorithms based on spectral distances. The results show that the proposed method gives lower equal error rate for the test set compared to the conventional methods.

<이졍양가록>과<복선화음록>의 대비적 고찰

허희수 ( Heo Hee-su ) 한국문학치료학회 2015 문학치료연구 Vol.37 No.-

본고는 조선후기 장편 규방가사인 <이정양가록〉과 <복선화음록〉을 대비적으로 살펴 그 공통점과 차서점의 의미를 해석하였다. 두 작품은 그 분량이 방대한 장편이라는 점이 주목되고, 문학 앙식의 측면에서도 잡다한 혼종성을 보이고 있어서 좀 더 섬세한 고찰을 요하는 작품이라 할 수 있다. <이정양가록〉은 `부인성행록` 계열의 확장적인 변주라 할 수 있고, <복선 화음록〉은 전기형(傳記型) `복선화음가` 유형의 서사적인 확대가 극대화된 형태라 할 수 있다. 이들은 앞서 검토한 바와 같이 서사의 양태, 진술의 시점, 인물의 설정 및 인물 형상의 측면에서 다양한 편차가 있었다 그러나 그 공통의 주제적 관심은 `시집살이의 곤경과 그 극복`의 문제라 할 수 있다. 이에 필자는 이러한 점을 뚜렷이 하기 위하여 시집살이 대목을 공통적인 본 사 대목으로 설정하여 초점을 분명히 하였으며, 두 작품이 일반 규방가사와 달리 허구적이고 환상적인 설정을 통하여 이 문제를 다루고 있다는 점을 공통의 특징으로 발견하였다. 자전적 진술의 틀을 유지하고 있는 <이정앙가록〉은 가문소설의 일종으로 볼 수 도 있겠으나 `1인칭 자기술회`를 끝까지 유지하고 있다는 점과 서사의 내용이 친정과 시가라는 양쪽 가문에 대한 이야기를 풀어내고 있으면서 개인의 소회와 심경을 일관되게 드러내는데 초점을 둔다는 점을 통해 규방가사의 기본적인 틀이 유지되고 있음을 확인하였다. <복선화음록〉역시 양적 팽창 측면에서는 장편에 가까운 서사다. 그러나 일반적인 규방가사의 틀을 유지하려 하고 있지만 작품 초반부는 이씨 부인의 자기술회로 시작해서 후반부로 넘어갈수록 자기 진술에서 바탕하여 남편의 성공담으로 초점화시켜 가고 있다. 이는 장면의 극대화 통한 장편규방가사의 서사적 확대 양상을 잘 드러낸 것이라 할 수 있다. 이렇듯 서로 계열이 다른 두 규방가사가 `시집살이 서사`를 바탕으로 공통적으로 서사적 확대를 보인다는 것에 주목하여 두 작품을 상호 대비적으로 고찰해 보았다. 조선후기 장편화된 규방가사는 이외에도 <덴동어미화전가〉가 있는데 이 두 작품과 <덴동어미화전가〉사이의 대비적 고찰을 후속과제로 남겼다 This paper explores a contrastive analysis of <Yi-Jeong-Yang-Ga-Rok〉and <Bok―Seon―Hwa―Eum―Rok〉,which are two full length Gubang-Gasa during the late Cho-Sun period. < Yi-Jeong-Yang-Ga-Rok > is considered the expansive variation of the series of <Buin_SungHang ―Rock〉, whereas <Bok―Seon―Hwa―Eum―Rok〉is considered the maxi mized style of expansion of epic in < Jeongi Type Bok―Seon―Hwa―Ehm -Ga >. In terms of modalities of the narrative, point of view of the stat ement, the setting of characters, and features of the characters, both works have different deviations. However, the common interest of both works is the e question of `get over and the plight of the patrilocality, In order to clarify this theme, I am focused on the story of patrilocality by studying the setting of the common main-story. In contrast to other general Gubang-Gasa, both works have the same characteristics through the fictional and fantastic setup that deals with this issue. Even though < Yi-Jeong-Yang-Ga-Rok > is considered as part of a family novel as it has the framework of an autobiographical statement, this is also considered as a part of Gubang-Gasa by keeping the two frameworks, in which the first is continuously describing the `epic of self`,as the first-pers on narrator, and the second is focusing on the story about the personal emotions and comments based on both pro-government families. In terms of the maximization of scene, < Bok-Seon-Hwa-Eum-Rok > is also full length Gubang-Gasa. However, this work figures the expansion of the epic towards the `epic of husband` based on the `epic of self.` It is cl ear that the expansion of epic of the full length Gubang-Gasa is through the maximization of scene. This study investigates the various ways of the expansion of epic in both works, which reveal aspects of adescrip tive expansion based on the epic of patrilocality in the different series of Gubang-Gasa. The other full length Gubang-Gasa, <Tendong-Eumi W hajeonga〉, also existed in the late Cho-Sun period. The contrastive analysis between the two works and < Tendong-Eumi Whajeonga > will be investigated through a further study.

『덴동어미화전가』의 구조와 그 의미

허희수 ( Heo Hee-su ) 인하대학교 한국학연구소 2016 한국학연구 Vol.0 No.43

본 논문은 『덴동어미화전가』의 구조와 그 의미를 작품 실상에 입각하여 다시 고찰한 것이다. 이 작품은 『복선화음가』와 더불어 가장 많이 거론된 규방가사이지만, 구조적 실상에 입각한 작품론은 의외로 드문 편이다. 『복선화음가』가 그 다양한 이본군의 존재로 인하여 규방가사의 변이폭을 극대화한 작품으로 주목받았다면, 『덴동어미화전가』는 덴동어미라는 여성의 기구한 인생역정을 다룬 서사물로서 주목을 받았다. 그 결과 ‘덴동어미의 일생’은 전통시대 여성현실의 리얼리티와 그 함의는 충분히 조명을 받을 수 있었지만, 상대적으로 <화전가>로서의 작품성은 제대로 조명되지 못한 실정이다. 이에 필자는 『덴동어미화전가』도 <화전가>의 한 유형으로 하나의 전형성을 구현한 작품으로 보고, 작품의 구조와 인물구도, 서정-서사의 결합 양상, 그 대위법적(對位法的)인 맞섬의 양상에 주목하여 작품구조론(作品構造論)을 펴 보았다. 『덴동어미화전가』가 여타 <화전가>와 변별되는 지점은 우선 그 인물 구도의 설정에 있다. 여타의 <화전가>에 등장하는 인물들이 대개 파노라마적인 훑어보기 식으로 다뤄지는데 비해 『덴동어미화전가』에는 ‘덴동어미’와 ‘청춘과부’라는 두 인물이 뚜렷이 부조되어 있고, 그 작품 내적 기능 또한 뚜렷한 대비를 이루며 대위법적인 효과를 구현하고 있다. 이는 화전놀이와 <화전가>의 전형성을 특수한 방식으로 극화하기 위한 구조로 볼 수 있는데, 덴동어미가 인생살이 설움의 깊이를 극대화한 것인 반면, 청춘과부는 화전놀이의 신명과 그 흥취의 높이를 구현해 내고 있다. 판소리를 위시한 한국 서사 문학의 특질이 ‘웃음으로 눈물닦기’라면, <화전가>의 경우는 그 역상(逆像)으로 ‘눈물딛고 신명풀기’의 구도를 전형화하고 있다. 『덴동어미화전가』의 경우는 이러한 전형성을 인물구도와 인물의 역할을 통해 좀 더 극적으로 극대화하고 구체화한 경우라 할 수 있다. 그동안 덴동어미에 가려 청춘과부는 크게 주목받지 못했는데, 청춘과부야말로 화전놀이와 <화전가>의 전형성을 구현하기 위한 독특한 설정으로 새롭게 주목할 필요가 있다. 덴동어미가 자신의 기구한 인생을 서사적 진술로 풀어내고 있는데 반해, 청춘과 부는 덴동어미의 서사를 디딤돌 삼아 화전놀이의 흥취와 신명을 노래와 춤을 통해 율동적 서정으로 고양시키고 있다. 이러한 독특한 인물구도와 진술방식은 화전놀이의 ‘축제적 성격’과도 부합되는 바가 있다. This paper aims to figure out a new point of view about structure and the meaning of ‘Tendong-Eumi Whajeonga’. ‘Tendong-Eumi Whajeonga’ and ‘Bok-Seon-Hwa-Eum-Ga’ are literary landmarks of Gubang-Gasa that are frequently studied. Due to the presence of various hetero works, ‘Bok-Seon-Hwa-Eum-Ga’ is received attention as a literary work maximizing the variation width of Gubang-Gasa. ‘Tendong-Eumi Whajeonga’ is attracted attention as a descriptive epic depicting the Tendong-Eumi’s journey through unfortunate life. As a results, the Tendong-Eumi’s life has fully received the spotlight about the devastation and its implications for the realities of women in the late Cho-Sun period. Relatively, the literary value of ‘Tendong-Eumi Whajeonga’ as ‘Whajeonga’ has not properly been addressed. The aspect of discrimination between ‘Tendong-Eumi Whajeonga’ and other ‘Whajeonga’ is firstly the setting of the composition of the person. In other ‘Whajeonga’, the characters are usually treated with the panoptic ways, whereas the Tendong-Eumi and young widow are clearly distinguished, and the internal functions of work also are implemented with some contrapuntal effects in ‘Tendong-Eumi Whajeonga’. Tendong-Eumi maximizes the depths of sorrow about the living life, whereas young widow implements the Shinmyeong of Whajeonnori and the height of excitement. The characteristics of Korean epic literature including the Pansori are unified with the ‘from wiping tears’, whereas the characteristic of ‘Whajeonga’ is personified with the composition of the ‘after tears with laughter’ as its negative phase. In particular, the archetypal character of composition of the ‘after tears with laughter’ in ‘Tendong-Eumi Whajeonga’ is more dramatically over-expressed and materialized through the role of character and character composition. Meanwhile, young widow did not receive attention because of mentioning Tendong-Eumi’s story, but young widow is noteworthy new unique setting for implementing the archetypal character of ‘Whajeonga’ and Whajeonnori. Tendong-Eumi has released the her unfortunate life as a narrative statement, whereas young widow is lyrically and rhythmically exalted through song and dance about the Shinmyeong and excitement of Whajeonnori stepping on the Tendong-Eumi’s epic. The meaning which implemented through unique character composition and the way of a statement is likely to be interpreted in implementing aspects of the festival nature described by Baheuchin.

I-vector와 음향 특징을 결합한 DNN 기반의 행동식별

허희수(Hee-Soo Heo),양일호(IL-Ho Yang),김명재(Myung-Jae Kim),유하진(Ha-Jin Yu) 대한전자공학회 2015 대한전자공학회 학술대회 Vol.2015 No.6

교사 학생 심층신경망을 활용한 다채널 원거리 화자 인증

정지원,허희수,심혜진,유하진,Jung, Jee-weon,Heo, Hee-Soo,Shim, Hye-jin,Yu, Ha-Jin 한국음향학회 2018 韓國音響學會誌 Vol.37 No.6

원거리 발성은 화자 인증 시스템의 성능을 하락시키는 주요 요인으로 알려져 있다. 본 논문에서는 교사 학생 학습을 이용하여 원거리 발성에 의한 화자 인증 시스템의 성능 하락을 보상하는 기법을 제안한다. 교사 학생 학습은 미리 학습된 교사 심층신경망의 출력과 학생 신경망의 출력이 같아지도록 학생 신경망을 학습하는 기법이다. 여기서 교사 신경망에는 근거리 발성을, 학생 신경망에는 원거리 발성을 입력한 뒤, 두 신경망의 출력을 동일하게 만드는 과정을 통해 원거리 발성을 보상할 수 있을 것이라고 기대하였다. 하지만 원거리 발성을 보상하는 과정에서, 근거리 발성에 대한 인식률이 저하되는 현상을 실험적으로 발견하였다. 위와 같은 현상을 예방하기 위해 본 논문에서는 교사 심층신경망을 학생 심층신경망의 초깃값으로 사용하는 기법과 학생 심층신경망을 근거리 발성에 대해서도 학습하는 기법을 제안하였다. 모든 실험은 원 음성을 입력 받는 심층신경망을 활용해 수행하였다. 동일한 발성을 각각 4 채널로 근거리와 원거리에서 자체적으로 수집한 문장 종속 데이터셋을 활용하였다. 동일 오류율을 기준으로 근거리 / 원거리 발성에 대한 화자 인증 성능을 평가한 결과 교사 학생 학습을 사용하지 않을 경우 2.55 % / 2.8 %, 기존의 교사 학생 학습을 사용할 경우 9.75 % / 1.8 %, 제안한 기법들을 적용한 경우 2.5 % / 2.7 %의 오류율을 확인하였다. Far field input utterance is one of the major causes of performance degradation of speaker verification systems. In this study, we used teacher student learning framework to compensate for the performance degradation caused by far field utterances. Teacher student learning refers to training the student deep neural network in possible performance degradation condition using the teacher deep neural network trained without such condition. In this study, we use the teacher network trained with near distance utterances to train the student network with far distance utterances. However, through experiments, it was found that performance of near distance utterances were deteriorated. To avoid such phenomenon, we proposed techniques that use trained teacher network as initialization of student network and training the student network using both near and far field utterances. Experiments were conducted using deep neural networks that input raw waveforms of 4-channel utterances recorded in both near and far distance. Results show the equal error rate of near and far-field utterances respectively, 2.55 % / 2.8 % without teacher student learning, 9.75 % / 1.8 % for conventional teacher student learning, and 2.5 % / 2.7 % with proposed techniques.

짧은 음성을 대상으로 하는 화자 확인을 위한 심층 신경망

양일호,허희수,윤성현,유하진,Yang, IL-Ho,Heo, Hee-Soo,Yoon, Sung-Hyun,Yu, Ha-Jin 한국음향학회 2016 韓國音響學會誌 Vol.35 No.6

본 논문에서는 짧은 테스트 발성에 대한 화자 확인 성능을 개선하는 방법을 제안한다. 테스트 발성의 길이가 짧을 경우 i-벡터/확률적 선형판별분석 기반 화자 확인 시스템의 성능이 하락한다. 제안한 방법은 짧은 발성으로부터 추출한 특징 벡터를 심층 신경망으로 변환하여 발성 길이에 따른 변이를 보상한다. 이 때, 학습시의 출력 레이블에 따라 세 종류의 심층 신경망 이용 방법을 제안한다. 각 신경망은 입력 받은 짧은 발성 특징에 대한 출력 결과와 원래의 긴 발성으로부터 추출한 특징과의 차이를 줄이도록 학습한다. NIST (National Institute of Standards Technology, 미국) 2008 SRE(Speaker Recognition Evaluation) 코퍼스의 short 2-10 s 조건 하에서 제안한 방법의 성능을 평가한다. 실험 결과 부류 내 분산 정규화 및 선형 판별 분석을 이용하는 기존 방법에 비해 최소 검출 비용이 감소하는 것을 확인하였다. 또한 짧은 발성 분산 정규화 기반 방법과도 성능을 비교하였다. We propose a method to improve the robustness of speaker verification on short test utterances. The accuracy of the state-of-the-art i-vector/probabilistic linear discriminant analysis systems can be degraded when testing utterance durations are short. The proposed method compensates for utterance variations of short test feature vectors using deep neural networks. We design three different types of DNN (Deep Neural Network) structures which are trained with different target output vectors. Each DNN is trained to minimize the discrepancy between the feed-forwarded output of a given short utterance feature and its original long utterance feature. We use short 2-10 s condition of the NIST (National Institute of Standards Technology, U.S.) 2008 SRE (Speaker Recognition Evaluation) corpus to evaluate the method. The experimental results show that the proposed method reduces the minimum detection cost relative to the baseline system.

멀티태스크 러닝 심층신경망을 이용한 화자인증에서의 나이 정보 활용

김주호,허희수,정지원,심혜진,김승빈,유하진,Kim, Ju-ho,Heo, Hee-Soo,Jung, Jee-weon,Shim, Hye-jin,Kim, Seung-Bin,Yu, Ha-Jin 한국음향학회 2019 韓國音響學會誌 Vol.38 No.5

화자 간 음색의 유사성은 화자 인증 시스템의 성능을 하락 시킬 수 있는 요인이다. 본 논문은 화자 인증 시스템의 일반화 성능을 향상시키기 위해, 심층신경망에 멀티태스크 러닝 기법을 적용시켜 발화자의 화자 정보와 나이 정보를 함께 학습 시키는 기법을 제안한다. 멀티태스크 러닝 기법은 은닉층들이 하나의 태스크에 과적합 되지 않도록 하여 심층신경망의 일반화 성능을 향상시킨다고 알려져 있다. 하지만 심층신경망을 멀티태스크 러닝 기법으로 학습시키는 과정에서, 나이 정보에 대한 학습이 효율적으로 수행되지 않는 것을 실험적으로 확인하였다. 이와 같은 현상을 방지하기 위해, 본 논문에서는 심층신경망의 학습 과정 중 화자 식별과 나이 추정 목적 함수의 가중치를 동적으로 변경 하는 기법을 제안한다. 동일 오류율을 기준으로 RSR2015 평가 데이터세트에 대해 화자 인증 성능을 평가한 결과 나이 정보를 활용하지 않은 화자 인증 시스템의 경우 6.91 %, 나이 정보를 활용한 화자 인증 시스템의 경우 6.77 %, 나이 정보를 활용한 화자 인증 시스템에 가중치 변경 기법을 적용한 경우 4.73 %의 오류율을 확인하였다. The similarity in tones between speakers can lower the performance of speaker verification. To improve the performance of speaker verification systems, we propose a multi-task learning technique using deep neural network to learn speaker information and age information. Multi-task learning can improve generalization performances, because it helps deep neural networks to prevent hidden layers from overfitting into one task. However, we found in experiments that learning of age information does not work well in the process of learning the deep neural network. In order to improve the learning, we propose a method to dynamically change the objective function weights of speaker identification and age estimation in the learning process. Results show the equal error rate based on RSR2015 evaluation data set, 6.91 % for the speaker verification system without using age information, 6.77 % using age information only, and 4.73 % using age information when weight change technique was applied.

d-vector 기반 화자 인증 시스템의 성능 비교를 통한 심층 신경망의 범용성 확인

정지원(Jee-Won Jung),허희수(Hee-Soo Heo),양일호(IL-Ho Yang),윤성현(Sung-Hyun Yoon),유하진(Ha-Jin Yu) 한국HCI학회 2017 한국HCI학회 학술대회 Vol.2017 No.2

d-vector 는 심층 신경망으로부터 추출된 특징으로서, 특정 발성의 화자 특성을 표현한다. 학습데이터(development set)를 사용해 화자 식별기로 학습된 심층 신경망의 특정 은닉층의 출력값을 취함으로써 d-vector 를 추출할 수 있다. 본 연구에서는 d-vector 를 사용한 화자 인증 실험을 통해, 학습에 사용된 데이터와 d-vector 추출에 사용된 은닉층의 깊이에 따라 결정되는, 추출된 d-vector 의 범용성(generality power)이 화자 인증 성능에 미치는 영향을 확인하였다. 실험 결과, 심층 신경망을 화자식별기로 학습시킬 때 다른 도메인(domain)의 데이터를 추가 활용하여 더욱 범용성(generality power)이 높은 심층 신경망 화자 식별기를 학습시킬수 있음을 확인하였다.