모의 음성 모델을 이용한 효과적인 구개인두부전증 환자 음성 인식

성미영,권택균,성명훈,김우일,Sung, Mee Young,Kwon, Tack-Kyun,Sung, Myung-Whun,Kim, Wooil 한국정보통신학회 2015 한국정보통신학회논문지 Vol.19 No.5

본 논문에서는 VPI 환자 음성을 정상인 음성으로 복원하기 위한 기술의 단계로서 효과적인 VPI 음성 인식 기술을 소개한다. 소량의 VPI 환자 음성을 모델 적응에 효과적으로 사용하기 위해 정상인의 모의 음성을 이용하여 화자 적응을 위한 사전 모델로 이용하는 기법을 제안한다. MLLR 기법을 이용한 화자 적응을 통해 평균 83.60%의 인식률을 보이고, 모의 음성 모델을 화자 적응의 사전 모델로 이용함으로써 평균 6.38%의 인식률 향상을 가져온다. 음소 인식 평가 결과는 제안한 화자 적응 방식이 대폭적인 음성 인식 성능 향상을 가져오는 것을 증명한다. 이러한 결과는 본 논문에서 제안하는 모의 음성 모델을 이용한 화자 적응 기법이 대량의 VPI 환자 음성을 취득하기 어려운 조건에서 보다 향상된 성능의 VPI 환자 음성 인식기를 구축하는데 효과적임을 입증한다. This paper presents an effective recognition method of VPI patient's speech for a VPI speech reconstruction system. Speaker adaptation technique is employed to improve VPI speech recognition. This paper proposes to use simulated speech for generating an initial model for speaker adaptation, in order to effectively utilize the small size of VPI speech for model adaptation. We obtain 83.60% in average word accuracy by applying MLLR for speaker adaptation. The proposed speaker adaptation method using simulated speech model brings 6.38% improvement in average accuracy. The experimental results demonstrate that the proposed speaker adaptation method is highly effective for developing recognition system of VPI speech which is not suitable for constructing large-size speech database.

구개인두부전증 환자와 모의 음성의 모음과 자음 분석

성미영,김희진,권택균,성명훈,김우일,Sung, Mee Young,Kim, Heejin,Kwon, Tack-Kyun,Sung, Myung-Whun,Kim, Wooil 한국정보통신학회 2014 한국정보통신학회논문지 Vol.18 No.7

본 논문에서는 구개인두부전증 (VPI) 환자 발음과 정상인의 모의 발음에 대한 듣기 평가와 음향 분석을 실시한다. 본 연구를 위해 음성 데이터 수집을 위해 50개의 단어, 모음 및 단음절로 이루어진 발음 목록을 설정한다. 듣기 평가실험의 편의를 위해 웹 기반의 듣기 평가 시스템을 구축한다. 듣기 평가 결과는 실제 VPI 환자의 발음에 대한 오인식 경향과 모의 발음의 오인식 경향이 유사함을 나타낸다. 이러한 유사성은 모음의 포먼트 위치와 자음의 스펙트럼의 비교를 통해서도 확인할 수 있다. 실험 결과는 본 연구에서 사용한 정상인의 VPI 모의 발화 기법이 실제 환자의 음성을 비교적 효과적으로 모의하는 것을 반영하는 결과이다. 향후 VPI 환자의 음성 인식 과정에서 정상인의 모의 발화음성 데이터를 음향 모델의 적응 기법과 같은 분야에 유용하게 사용할 수 있을 것으로 기대한다. This paper focuses on listening test and acoustic analysis of patients' speech with velopharyngeal insufficiency (VPI) and normal speakers' simulation speech. In this research, a set consisting of 50-words, vowels and single syllables is determined for speech database construction. A web-based listening evaluation system is developed for a convenient/automated evaluation procedure. The analysis results show the trend of incorrect recognition for VPI speech and the one for simulation speech are similar. Such similarity is also confirmed by comparing the formant locations of vowel and spectrum of consonant sounds. These results show that the simulation method for VPI speech is effective at generating the speech signals similar to actual VPI patient's speech. It is expected that the simulation speech data can be effectively employed for our future work such as acoustic model adaptation.

MissCW에서의 공유 객체 검색을 위한 가상 디렉토리의 설계와 구현

성미영(Mee Young Sung),김엄준(Eom Jun Kim),유재홍(Jae Hong Yoo),홍지철(Ji Cheol Hong),송은주(Eun Ju Song) 한국정보과학회 1997 한국정보과학회 학술발표논문집 Vol.24 No.1B

공동 저작 시스템 MissCW(Multiuser Interactive System for Synchronous Collaborative Writing)[1]에는 공유 객체들을 일관성 있게 유지하며 효율적으로 관리할 수 있게 도와주는 공유 객체 관리자가 있다. 이 공유 객체 관리자는 공유 객체의 관리를 위하여 공유 객체들에 대한 정보를 유지하여야 한다. 이 연구에서는 공유 객체 정보를 계층 구조의 가상 디렉토리로 표현함으로써 공유 객체의 검색과 관리를 편리하게 하였다. 가상 디렉토리는 공유자 디렉토리와 공동 문서 디렉토리의 두 부분으로 구성되어 있다. 공유자 디렉토리는 공유자 이름으로부터 출발하여 공유 객체 및 그 속성을 검색할 수 있는 구조이며 공유 문서 디렉토리는 문서의 논리 구조로부터 출발하여 공유 객체 및 그 속성을 검색할 수 있는 구조이다. 이 가상 디렉토리는 공유 객체의 열람 및 검색을 쉽게 하였을 뿐 아니라 접근 권한 및 동시성 제어를 효율적으로 처리하는데 많은 기여를 하였다.

웹 화상회의 시스템을 위한 KQML 기반의 멀티 에이전트 구조

성미영(Mee Young Sung),유재홍(Jae Hong Yoo) 한국정보처리학회 1999 정보처리학회논문지 Vol.6 No.12

Our study is focused on a multi-agent system which provides the efficient teleconferencing facility with the help of the intelligent agents who allow the participants to minimize the effort to call meeting. Our system has multi-agent architecture and use the KQML to communicate among agents. Communicating through the KQML allows us to overcome the heterogeneity when we add new agents into the system. In this paper, we propose a multi-agent structure for the teleconferencing system based on the web and describe in detail the flow of the KQML messages among agents.

혼합형 하부 구조를 가진 멀티미디어 회의 시스템

성미영(Sung Mee Young) 한국정보처리학회 1997 정보처리학회논문지 Vol.4 No.2

This paper presents the design and the implementation of a Multiuser Multimedia Conference System for synchronous groupwork. The infrastructure of this system is a hybrid architecture of centralized and replicated architectures, that is to maintain shared information consistently and to reduce the overhead of network traffic to the central part. The communication control of data for groupwork management is centralized to the virtual node and the communication control of real data such as audio, video, text is replicated. In order to provide a realtime audio and video processing, this system uses dynamic queues and multithreads.

공동저작 시스템에서의 동시성 제어와 쓰기 권한 제어

성미영(Mee Young Sung),김엄준(Eom Jun Kim),유재홍(Jae Hong Yoo),홍지철(Ji Cheol Hong),류병창(Beyoung Chang Ryu) 한국정보과학회 1997 한국정보과학회 학술발표논문집 Vol.24 No.2Ⅰ

이 논문에서는 공동저작 시스템에서의 동시성 제어와 쓰기 권한 제어를 위한 효율적인 방안을 제시한다. 동시성 제어 기법으로는 계층적으로 구성된 객체들에 대해 각 계층별로 잠금을 요청할 수 있는 다중 잠금(multiple granularity locking) 기법을 확장하는 접근을 채택하였다. 계층적으로 구성된 객체들에 대한 연산을 세분화하여 다양한 잠금 모드를 포함하는 잠금 호환 테이블을 정의하고, 이 테이블을 기반으로 시스템의 처리 부담은 크나 여러 사용자들의 공유 객체에 대한 동시 접근을 극대화 하는 장점이 있다. 또한, 쓰기 권한 기법으로는 그룹/비그룹(Group/Non-Group) 개념을 적용하여 비그룹 사용자들의 쓰기를 방지하는 메커니즘을 제안한다. 이 기법은 정보의 개방성은 다소 제한하지만 합리적으로 저작권을 보호하는 장점이 있다.

MissCW ; 다중 사용자 동기적 공동 저작 시스템

성미영(Sung Mee Young) 한국정보처리학회 1996 정보처리학회논문지 Vol.3 No.7

This paper presents the design and the implementation of a MissCW(Multiuser Interactive System for Synchronous Collaborative Writing). The document model DMDA(Distributed Multimedia Document Architecture) of MissCW consists of the logical structure, presentation style object, and mark object. The synchronousness of this system can be realized by the multimedia conferencing and the shared mode of editing windows. The collaborative editor of this system proposes a structure oriented editng mechanism to combine distributed objects into one document. The middleware SOM(Shared Object Manager) maintains shared objects consistently and helps application programs use objects efficiently. The infrastructure of this system is a hybrid structure of replicated and centralized architectures, that is to maintain shared objects consistently inside of SOM and to reduce the overhead of network traffic. The central part is a virtual node which corresponds to the Object Controller of SOM with the SOT(Shared Object Table).

멀티미디어 프레젠데이션을 위한 시ㆍ공간 합성의 시각화

성미영(Mee-Young SUNG),윤자천(Ja-Cheon Yoon) 한국정보과학회 1995 한국정보과학회 학술발표논문집 Vol.1995 No.2

개념적 시간관계 기반의 멀티미디어 프레젠테이션 저작 시스템

성미영(Mee Young Sung),노승진(Seung Jin Rho),장진희(Jinhee Jang) 한국정보과학회 2003 정보과학회 컴퓨팅의 실제 논문지 Vol.9 No.3

모든 개념적 시간관계는 7가지의 관계('before', 'meets', 'starts', 'finishes', 'overlaps', 'during', 'equals') 중 하나로 표현될 수 있다. 개념적 표현은 멀티미디어 저작 시스템의 자동 생성에 필요한 세부적 시간에 대해 효과적인 수단을 제공한다. 본 연구에서는 서로 다른 미디어들 간의 시간관계를 개념적으로 표현하는 사용하기 쉽고 효과적인 멀티미디어 프레젠테이션 저작 시스템을 개발하였다. 본 시스템을 구성하는 시간관계 편집기는 사용자에게 다른 편집기들로부터의 시간 정보를 간단하고 직접적인 그래픽 조작을 이용하여 프레젠테이션의 개념적 흐름을 직관적으로 표현할 수 있는 메커니즘을 제공한다. 본 시스템은 SMIL(Synchronized Multimedia Integration Language)에 기반한다. 본 시스템의 편집기들은 SMIL 객체 관리자를 통해 실시간으로 정보를 서로 교환하여 SMIL 코드를 자동 생성한다. 그리고, 본 시스템에서는 멀티미디어 프레젠테이션의 내부표현 구조로 TRN(Temporal Relation Network)을 제안한다. TRN은 프레젠테이션의 흐름을 방향 그래프 구조로 표현한 것이다. TRN의 모든 병렬관계는 하나의 동기화된 블록으로 간소화될 수 있다. 이것은 컴포넌트들 간의 재생시간을 결정하는데 유용하며, 이미 구성되어 있는 프레젠테이션 문서를 재사용 할 때 그 기본단위로 이용될 수 있다. 또한, 멀티미디어 프레젠테이션 플레이어의 스케줄러로의 응용에도 적합하다. Every conceptual temporal relationship can be described using one of seven relations (before, meets, overlaps, during, starts, finishes, and equals). The conceptual representation provides an efficient means for our multimedia authoring system to automatically fill in the necessary timing details. We developed a multimedia presentation authoring system that supports a mechanism for conceptually representing the temporal relations of different media. Among the many editors that make up our system, the temporal relation editor provides users with an intuitive mechanism for representing the conceptual flow of a presentation by simple and direct graphical manipulations. Our system is based on the SMIL(Synchronized Multimedia Integration Language). The conceptual temporal relation editor and other editors of our system exchange their information in real-time and automatically generate SMIL codes through the SMIL Object Manager. Our system uses TRN(Temporal Relation Network) as its internal multimedia presentation representation. The TRN corresponds exactly to the structure seen in the graphical representation of the presentation. A parallel relationship found in a TRN can be collapsed into a single synchronization block. This facilitates the determination of the playing time of each component and can be the basic unit for reusability of already prepared blocks of presentation code.

구개열 환자 발음 판별을 위한 특징 추출 방법 분석

김성민(Sung Min Kim),김우일(Wooil Kim),권택균(Tack-Kyun Kwon),성명훈(Myung-Whun Sung),성미영(Mee Young Sung) 한국정보과학회 2015 정보과학회논문지 Vol.42 No.11

본 논문에서는 구개열 환자의 장애 발음과 정상인의 발음을 자동으로 구분하여 판별하는데 사용될 수 있는 특징 추출 방법들의 성능을 분석하는 실험에 대하여 소개한다. 이 연구는 발성 장애인의 복지 향상을 추구하며 수행하고 있는 장애 음성 자동 인식 및 복원 소프트웨어 시스템 개발의 기초과정이다. 실험에 사용된 음성 데이터는 정상인의 발음, 구개열 환자의 발음, 그리고 모의 환자의 발음의 세 그룹으로부터 수집된 한국어 단음절로서 14개의 기본 자음과 5개의 복합 자음, 7개 모음이다. 발음의 특징 추출은 LPCC, MFCC, PLP의 세 가지 방법으로 각각 수행하였고, GMM 음향 모델로 인식 훈련을 한 후, 수집된 단음절 데이터를 대상으로 하여 인식 실험을 실시하였다. 실험 결과, 정상인과 구개열 환자의 장애발음을 구별하기 위하여 특징을 추출함에 있어서 MFCC 방법이 전반적으로 가장 우수하였다. 본 연구의 결과는 구개열 환자의 부정확한 발음을 자동으로 인식하고 복원하는 연구와 구개열 장애 발음의 정도를 측정할 수 있는 도구에 대한 연구에 도움이 될 것으로 기대된다. This paper presents an analysis of feature extraction methods used for distinguishing the speech of patients with cleft palates and people with normal palates. This research is a basic study on the development of a software system for automatic recognition and restoration of speech disorders, in pursuit of improving the welfare of speech disabled persons. Monosyllable voice data for experiments were collected for three groups: normal speech, cleft palate speech, and simulated clef palate speech. The data consists of 14 basic Korean consonants, 5 complex consonants, and 7 vowels. Feature extractions are performed using three well-known methods: LPC, MFCC, and PLP. The pattern recognition process is executed using the acoustic model GMM. From our experiments, we concluded that the MFCC method is generally the most effective way to identify speech distortions. These results may contribute to the automatic detection and correction of the distorted speech of cleft palate patients, along with the development of an identification tool for levels of speech distortion.