http://chineseinput.net/에서 pinyin(병음)방식으로 중국어를 변환할 수 있습니다.
변환된 중국어를 복사하여 사용하시면 됩니다.
콘포머 기반 FastSpeech2를 이용한 한국어 음식 주문 문장 음성합성기
최예린,장재후,구명완,Choi, Yerin,Jang, JaeHoo,Koo, Myoung-Wan 한국음향학회 2022 韓國音響學會誌 Vol.41 No.3
In this paper, we present the Korean menu-ordering Sentence Text-to-Speech (TTS) system using conformer-based FastSpeech2. Conformer is the convolution-augmented transformer, which was originally proposed in Speech Recognition. Combining two different structures, the Conformer extracts better local and global features. It comprises two half Feed Forward module at the front and the end, sandwiching the Multi-Head Self-Attention module and Convolution module. We introduce the Conformer in Korean TTS, as we know it works well in Korean Speech Recognition. For comparison between transformer-based TTS model and Conformer-based one, we train FastSpeech2 and Conformer-based FastSpeech2. We collected a phoneme-balanced data set and used this for training our models. This corpus comprises not only general conversation, but also menu-ordering conversation consisting mainly of loanwords. This data set is the solution to the current Korean TTS model's degradation in loanwords. As a result of generating a synthesized sound using ParallelWave Gan, the Conformer-based FastSpeech2 achieved superior performance of MOS 4.04. We confirm that the model performance improved when the same structure was changed from transformer to Conformer in the Korean TTS.
음성인식 모델 및 언어 모델 기반의 음성 전사 코퍼스 오류 자동 검출 방법
이정필,이지현,최예린,장재후,구명완 한국정보과학회 2024 정보과학회논문지 Vol.51 No.4
본 연구에서는 CTC 기반 음성인식 모델과 언어 모델의 지식을 결합하여 한국어 음성 코퍼스에서 전사 오류를 자동 검출하는 machine-in-the-loop 방법을 제안한다. 음성인식 모델의 문자오류율(CER)과 언어 모델의 혼잡도(PPL)를 활용한 세 단계 절차를 통해 전사 오류 후보군을 찾아내고, 검출된 후보의 텍스트 레이블을 검수하는 방식으로 오류 검출의 성능을 실험적으로 확인하였다. 이 연구는 한국어 음성인식 코퍼스 KsponSpeech 를 대상으로 진행하였으며, 테스트셋의 문자오류율이 검수 전 9.44%에서 8.9%로 개선되었다. 이는 테스트셋 중 약 11%의 데이터만 검수하더라도 성능 향상을 보여주며, 전체 검수에 비해 효율적인 방법임을 입증한다. 이를 통해 음성 데이터의 검수 비용을 줄일 수 있는 효율적인 machine-in-the-loop 오류 검출의 가능성을 확인하였다. This research proposes a 'machine-in-the-loop' approach for automatic error detection in Korean speech corpora by integrating the knowledge of CTC-based speech recognition models and language models. We experimentally validated its error detection performance through a three-step procedure that leveraged Character Error Rate (CER) from the speech recognition model and Perplexity (PPL) from the language model to identify potential transcription error candidates and verify their text labels. This research focused on the Korean speech corpus, KsponSpeech, resulting in a reduction of the character error rate on the test set from 9.44% to 8.9%. Notably, this performance enhancement was achieved even when inspecting only approximately 11% of the test data, highlighting the higher efficiency of our proposed method than a comprehensive manual inspection process. Our study affirms the potential of this efficient 'machine-in-the-loop' approach for a cost-effective error detection mechanism in speech data while ensuring accuracy.