5. Fuzzy Network 구성에 관하여

이행세(Haing Sei Lee) 대한전자공학회 1981 대한전자공학회 학술대회 Vol.1981 No.8

신경망을 이용한 우리말 음성의 인식에 관한 연구 - 복합 신경망을 이용한 초성자음 인식에 관한 연구

김석동,이행세,Kim, Suk-Dong,Lee, Haing-Sei 한국음향학회 1992 韓國音響學會誌 Vol.11 No.3

본 논문은 신경망을 이용한 자음인히기에 관한 연구이다. 우선 자음과 모음이 포함된 음성에서 자음부분을 분리하였다. 각각의 자음을 몇개의 집단으로 나누어서 자음구간대 영교차율을 조사하였다. 마지막으로 자음을 인식하기 위해 제어망과 몇개의 소규모 망으로 구성한 혼합 신경망을 제안한다. 제어망은 입력된 자음이 어느 집단에 속하는가를 결정하고, 소규모망에서는 각 집단에 속하는 자음을 인식한다. This paper is a study on the consonant recognition using neural network. First, the part of consonant was separated from the sound of vowel and consonant by the use of acoustic parameter. The rate of length vs. zero crossing rate in the sound of consonant had been studied by dividing each consonant into several groups. Finally, for the purpose of consonant recognition, the composite neural network which consists of a control network and several sub-network is proposed. The control network identifies the group to which the input consonant belongs and the sub-network recognizes the consonant in each group.

퍼셉트론 형태의 SOM : SOM의 일반화

송근배,이행세,Song, Geun-Bae,Lee, Haing-Sei 한국정보처리학회 2000 정보처리논문지 Vol.7 No.10

본 논문에서는 퍼셉트론 형태의 SOM(PSOM)을 정의한다. 그리고 이 PSOM의 출력뉴런의 목표 값을 적당히 설정할 경우 PSOM은 Kohonen's SOM이 됨을 보인다. 이는 PSOM가 SOM의 일반화된 알고리즘임을 시사한다. 또한 클러스터링 문제를 단위 초구면상(Hyperphere)에 분포한 벡터들로 한정할 경우 SOM은 Dot-product SOM(DSOM)과 동등한 알고리즘임을 보인다. 즉, DSOM은 SOM의 특수한 형태이며, 결론적으로, PSOM은 DSOM도 포함하는 알고리즘이다. 본 논문에서는 이를 증명하고 결론을 맺는다. This paper defiens a perceptron-like self-organizing map(PSOM) and show that PSOM is equivalent to Kohonen's self-organizing map(SOM) if target values of output neurons of PSOM are selected properly. This fact imphes that PSOM is a generalized SOM algorithm. This paper also show that if clustering is restricted to vector sets distributed on hypersphere with unit radius, SOM and dot-product SOM(DOSM) are equivalent algorithms. Therefore we conclude that DSOM is a special case of SOM, which in turn a special, case of PSOM.

분산 신경망을 이용한 고립 단어 음성에 나타난 음소 인식

김선일,이행세,Kim, Seon-Il,Lee, Haing-Sei 한국음향학회 1995 韓國音響學會誌 Vol.14 No.6

본 논문에서는 총 106개의 단어로 구성되는 30개의 한국어 속담 문장에 대해 프레임 단위로 인식하는 분산 신경망을 구현하였다. 음성에 대한 특징값으로는 PLP 켐스트럼과 에너지 및 영교차율을 사용하였으며 분산 신경망의 입력으로 사용되는 이 특징값들이 음성의 시간적 특성을 잘 반영할 수 있도록 한 프레임 주변의 넓은 영역에 걸쳐 데이타를 수집하였다. 20대 젊은 남자가 30개의 속담을 5번씩 발음하였다. 신경망 학습에 네집단을 사용하고 학습에 참여하지 않은 나머지 한집단은 인식용으로 사용하였다. 속담내의 단어와 단어 사이는 구별이 잘 되도록 묵음 구간을 두어 발음하였다. 인식 결과음소를 판 군별로 분류하는 대분류 신경망에서의 각 군의 프레임 인식율은 네 집단을 학습에 사용한 경우 $95.3\%$를 나타내었다. In this paper, we implemented distributed neural network that recognizes phonemes by frame unit for the 30 Korean proverbs sentences consist of 106 isolated words. The features of speech were chosen as PLP cepstrums, energy and zero crossings, where we get those being used as inputs to the distributed neural networks in wide area for a frame to get the good temperal characteristics. A young man of twenties has produced 30 proverbs 5 times. The learning of neural network uses 4 sets of them. 1 set being unused remains for test. There exists silence between words for the easy discrimination. The ratio of frame recognition in large grouping neural network is $95.3\%$ when 4 sets were used for the learning.

문맥종속 화자인식을 위한 준비반복 벡터 양자기 설계 알고리즘

임동철,이행세,Lim, Dong-Chul,Lee, Haing-Sei 한국정보처리학회 2003 정보처리학회논문지B Vol.10 No.1

이 논문은 문맥 종속 화자인식에 사용될 벡터 앙자기의 설계법 개선에 관한 연구이다. 구체적으로 벡터 양자기 코드북 생성 과정에서 기준 화자를 제외한 모든 비기준 화자에 대해 비반복적 학습 방법을 사용하여, 학습에 필요한 계산 복잡도를 획기적으로 줄이는 방법을 제안한다. 이 제안된 준비반복 벡터 양자기 설계법은, 종래의 설계법이 모든 화자의 코드북 생성에 반복적 학습 설계를 사용한다는 것과 대조를 이룬다. 준비반복 벡터 양자기 설계법의 특징은 다음과 같다. 첫째, 이 설계법은 단지 기준 화자에 대하여만 반복 학습을 수행하고 비기준 화자에 대하여는 반복 학습을 하지 않는다. 둘째, 설계된 비기준 화자의 양자 영역은 기준화자의 양자 영역을 원용하며, 양자점은 자신의 통계 분포에 대해 최적점으로 설정된다. 수치 실험은 화자 20명에 대하여 멜켑스트럼 12차 특징벡터를 사용하였고 코드북 크기를 2부터 32까지 변화시키면서 기존의 벡터 양자기 인식법과 비교하였다. 제안된 방법은 코드북 크기가 적절하고 학습 데이터 길이가 충분한 경우 인식률 100%로 기존의 방법과 같은 결과를 보였다. 따라서 제안된 준비반복 벡터 양자기 설계법은, 설계에 필요한 학습 횟수가 획기적으로 줄면서 인식률은 보존되어, 새로운 대안이 될 것으로 사료된다. In this paper, we study the enhancement of VQ (Vector Quantization) design for text dependent speaker recognition. In a concrete way, we present the non-Iterative method which makes a vector quantization codebook and this method Is nut Iterative learning so that the computational complexity is epochally reduced. The proposed semi-noniterative VQ design method contrasts with the existing design method which uses the iterative learning algorithm for every training speaker. The characteristics of a semi-noniterative VQ design is as follows. First, the proposed method performs the iterative learning only for the reference speaker, but the existing method performs the iterative learning for every speaker. Second, the quantization region of the non-reference speaker is equivalent for a quantization region of the reference speaker. And the quantization point of the non-reference speaker is the optimal point for the statistical distribution of the non-reference speaker In the numerical experiment, we use the 12th met-cepstrum feature vectors of 20 speakers and compare it with the existing method, changing the codebook size from 2 to 32. The recognition rate of the proposed method is 100% for suitable codebook size and adequate training data. It is equal to the recognition rate of the existing method. Therefore the proposed semi-noniterative VQ design method is, reducing computational complexity and maintaining the recognition rate, new alternative proposal.

Stochastic Relaxation 방법을 이용한 온라인 벡터 양자화기 설계

송근배,이행세,Song, Geun-Bae,Lee, Haing-Sei 대한전자공학회 2001 電子工學會論文誌-CI (Computer and Information) Vol.38 No.5

본 논문은 온라인 벡터 양자화기 설계에 stochastic relaxation (SR) 개념을 응용함으로써 SR 방법에 기초한 새로운 온라인 학습 알고리즘을 제안한다. 이는 전통적인 Kohonen 학습법 (KLA)이 안고 있는 극소점(local minimum)으로의 수렴 문제를 개선시켜준다. SR 방법의 응용은 simulated annealing (SA) 개념을 사용하느냐 안 하느냐에 따라 둘로 나눌 수 있는데, 이를 구분하기 위해 SA 개념을 이용하는 SR 알고리즘을 LOVQ-SA로, SA 개념을 이용하지 않는 알고리즘을 OLVQ SR로 부르기로 한다. 제안된 방법들은 KLA와 결합되어 있으며 KLA의 특성을 보존하도록 설계되었다. 이는 제안된 방법들의 수렴의 속도 및 안정성을 향상시켜준다. 제안된 방법의 우수성을 입증하기 위하여 Gauss-Markov 신호원과 음성 및 영상 자료에 대한 벡터양자화 실험을 하였으며 실험결과를 통하여 제안된 방법이 KLA 보다 일관되게 우수한 코드북을 생성함을 보인다. This paper proposes new design algorithms based on stochastic relaxation (SR) for an on-line vector quantizer (VQ) design. These proposed SR methods solve the local entrapment problems of the conventional Kohonen learning algorithm (KLA). These SR methods cover two different types depending upon the use of simulated annealing (SA) : the one that uses SA is called the OLVQ SA and the other the OLVQ SR. These methods arc combined with the KLA and therefore preserve the its convergence properties. Experimental results for Gauss Markov sources, real speech and image demonstrate that the proposed algorithms can consistently provide better codebooks than the KLA.

퍼셉트론 형태의 LVQ : LVQ의 일반화

송근배,이행세,Song, Geun-Bae,Lee, Haing-Sei 대한전자공학회 2001 電子工學會論文誌-CI (Computer and Information) Vol.38 No.1

본 논문에서는 Hebb 학습법에 기초한 Kohonen의 LVQ 학습법을 퍼셉트론 학습에 사용되는 경도 강하 (Gradient descent) 학습법에 의해 재해석한다. Kohonen의 LVQ는 학습법에 따라 두 가지로 나뉠 수 있는데 하나는 자율학습 LVQ(ULVQ)이며 다른 하나는 타율학습 LVQ(SLVQ)이다. 두 경우 모두 출력뉴런의 목표 값을 적당히 생성할 경우 타율학습 경도 강하학습법으로 표현될 수 있다. 결과적으로 LVQ학습법은 타율학습 경도 강하 학습법의 특수한 형태임을 알 수 있으며 또한 LVQ는 보다 일반화된 '퍼셉트론 형태의 LVQ(PLVQ)'알고리즘으로 표현될 수 있음을 알 수 있다. 본 논문에서는 이를 증명하고 결론을 맺는다. In this paper we reanalyze Kohonen‘s learning vector quantizing (LVQ) Learning rule which is based on Hcbb’s learning rule with a view to a gradient descent method. Kohonen's LVQ can be classified into two algorithms according to 6learning mode: unsupervised LVQ(ULVQ) and supervised LVQ(SLVQ). These two algorithms can be represented as gradient descent methods, if target values of output neurons are generated properly. As a result, we see that the LVQ learning method is a special case of a gradient descent method and also that LVQ is represented by a generalized percetron-like LVQ(PLVQ).

한국어 음성 파형의 편집에 의한 한국어 음운 변화에 관한 연구

김선일,홍기원,이행세,Kim, Seon-Il,Hong, Ki-Won,Lee, Haing-Sei 한국음향학회 1994 韓國音響學會誌 Vol.13 No.6

한국어의 음성 파형의 일부분을 제거하거나, 일부분을 교체하므로서 얻어진 파형을 인간의 청각에 의한 음운 변별하는 실험을 수행하였다. 이 실험을 통해서 위치에 따라 급격한 음운 변화가 발생하는 천이구간, 가감해도 음운 변화가 극히 미세하여 음운 변화가 없는 구간, 그리고 상호 치환해도 변화를 가져오지 않는 등가 음운 구간 및 음가에 결정적 영향을 미치는 구간등을 확인하였다. A study on phonemic feature changes is accomplished by human perception of the discrimination of the phonemic feature of Korean edited speech waveform which is partially elimination or exchange. We found that speech waveforms has tarnsitional, stationary. equivalent and critical phonemic parts.

국어 종성 자음의 음성학적 특징에 관한 연구

김선일,홍기원,이행세,Kim, Seon-Il,Hong, Ki-Won,Lee, Haing-Sei 한국음향학회 1995 韓國音響學會誌 Vol.14 No.1

An auditory experiments for the phonetic value of the last consonants when its signal is transmitted through the amplifier from the last to the first, shortly speaking, time reversed waveform, were done for the 14 Korean consonants. Then the last consonant becomes to the first consonant in the time reversed waveform. The listeners who heard the 14 reversed consonants have recorded the phonetic value being heard. We analyzed these results by the method of articulation and the position of articulation. By the results, the phonetic value of the last consonants /n/, /l/ and /m/ is the same as the first consonants. Last consonant /d/ is heard like first consonant /n/. Last consonant /ng/ is heard like first consonant /m/. Last consonants /k/ and /b/ don't have any particular phonetic values. These results were tested by the experiments and were analyzed by the principle of articulation. 국어 종성을 시간축에서 거꾸로 들었을 때 우리 귀에 들리는 음가에 대하여 청취실험을 실시하였다. 이를 위해 우리말 자음의 이름 14개를 발음하여 데이타를 수집하고 이를 시간축 상에서 역으로 출력시켜 스피커를 통해서 청취하여 들리는 대로 음가를 기록하였다. 역파형은 청취시에 초성으로 변하며 종성에 촛점을 맞추어 종성이 초성으로 변했을 때 어떻게 들리는가를 알아보고 조음 방법 및 조음 위치에 따라 분석하였다. 그 결과 대표 종성 7개 중에서 종성 ㄴ 은 초성 ㄴ으로 들렸으며 종성 ㄹ은 초성 ㄹ, 종성 ㅁ은 초성 a으로 들려서 ㄴ, ㄹ, ㅁ은 종성의 음가가 초성과 같다는 것을 확인할 수 있으며 종성 ㄷ은 초성 ㄴ처럼 들리고 종성 ㅇ은 ㅁ처럼 들리며 종성 ㄱ, ㅂ은 초성으로 들었을 때 음가를 갖지 않는 다는 것을 실험을 통해 확인하고 이를 조음 원리에 의해 해석하였다.

인지 모델을 이용한 제한된 한국어 연속음 인식

김선일,홍기원,이행세,Kim, Seon-Il,Hong, Ki-Won,Lee, Haing-Sei 한국음향학회 1995 韓國音響學會誌 Vol.14 No.3

본 논문에서는 사람의 인지 특성에 가까운 PLP 켑스트럼을 사용하여 음성의 시간적 특성을 잘 반영할 수 있도록 넓은 시간대에 걸쳐 특징을 추출하였으며 인간의 학습 방법과 유사한 인공신경망을 이용하여 음소를 인식하고 인식된 음소로부터 순서 특징을 잘 반영하는 Markov 모델을 통해 음소열을 인식하였다. 음소인식은 연속음성에 나타나는 음소에서 비균일한 프레임 개수로 채취된 음성 블록들을 사용하여 7차 PLP 켑스트럼, PTP, 영교차율 및 에너지를 구하고 이를 MLP 신경망의 입력으로 사용하여 두 사람이 각각 5번씩 발음한 10종류의 한국어 문장, 총 100개를 대상으로 음소 인식을 실시하여 최대 9.4%의 음소별 인식률을 얻을 수 있었다. 문장인식은 학습에 참여했던 두 사람이 각 문장에 대해 10번씩 새로 발음한 총 200개의 데이터에 대해 음소별 인식을 거쳐 첫 번째 실험을 통해 생성된 Markov 모델을 이용하여 문장 인식을 실시한 결과 92.5%의 문장 인식률을 얻었다. In this paper, the PLP cepstrum which is close to human perceptual characteristics was extracted through the spread time area to get the temperal feature. Phonemes were recognized by artificial neural network similar to the learning method of human. The phoneme strings were matched by Markov models which well suited for sequence. Phoneme recognition for the continuous Korean speech had been done using speech blocks in which speech frames were gathered with unequal numbers. We parameterized the blocks using 7th order PLPs, PTP, zero crossing rate and energy, which neural network used as inputs. The 100 data composed of 10 Korean sentences which were taken from the speech two men pronounced five times for each sentence were used for the the recognition. As a result, maximum recognition rate of 94.4% was obtained. The sentence was recognized using Markov models generated by the phoneme strings recognized from earlier results the recognition for the 200 data which two men sounded 10 times for each sentence had been carried out. The sentence recognition rate of 92.5% was obtained.