음성위조 탐지에 있어서 데이터 증강 기법의 성능에 관한 비교 연구

박관열,곽일엽 한국통계학회 2023 응용통계연구 Vol.36 No.2

The data augmentation technique is effectively used to solve the problem of overfitting the model by allowing the training dataset to be viewed from various perspectives. In addition to image augmentation techniques such as rotation, cropping, horizontal flip, and vertical flip, occlusion-based data augmentation methods such as Cutmix and Cutout have been proposed. For models based on speech data, it is possible to use an occlusion-based data-based augmentation technique after converting a 1D speech signal into a 2D spectrogram. In particular, SpecAugment is an occlusion-based augmentation technique for speech spectrograms. In this study, we intend to compare and study data augmentation techniques that can be used in the problem of false-voice detection. Using data from the ASVspoof2017 and ASVspoof2019 competitions held to detect fake audio, a dataset applied with Cutout, Cutmix, and SpecAugment, an occlusion-based data augmentation method, was trained through an LCNN model. All three augmentation techniques, Cutout, Cutmix, and SpecAugment, generally improved the performance of the model. In ASVspoof2017, Cutmix, in ASVspoof2019 LA, Mixup, and in ASVspoof2019 PA, SpecAugment showed the best performance. In addition, increasing the number of masks for SpecAugment helps to improve performance. In conclusion, it is understood that the appropriate augmentation technique differs depending on the situation and data. 데이터 증강 기법은 학습용 데이터셋을 다양한 관점에서 볼 수 있게 해주어 모형의 과적합 문제를 해결하는데 효과적으로 사용되고 있다. 이미지 데이터 증강기법으로 회전, 잘라내기, 좌우대칭, 상하대칭등의 증강 기법 외에도 occlusion 기반 데이터 증강 방법인 Cutmix, Cutout 등이 제안되었다. 음성 데이터에 기반한 모형들에 있어서도, 1D 음성 신호를 2D 스펙트로그램으로 변환한 후, occlusion 기반 데이터 기반 증강기법의 사용이 가능하다. 특히, SpecAugment는 음성 스펙트로그램을 위해 제안된 occlusion 기반 증강 기법이다. 본 연구에서는 위조 음성 탐지 문제에 있어서 사용될 수 있는 데이터 증강기법에 대해 비교 연구해보고자 한다. Fake audio를 탐지하기 위해 개최된 ASVspoof2017과 ASVspoof2019 데이터를 사용하여 음성을 2D 스펙트로그램으로 변경시켜 occlusion 기반 데이터 증강 방식인 Cutout, Cutmix, SpecAugment를 적용한 데이터셋을 훈련 데이터로 하여 CNN 모형을 경량화시킨 LCNN 모형을 훈련시켰다. Cutout, Cutmix, SpecAugment 세 증강 기법 모두 대체적으로 모형의 성능을 향상시켰으나 방법에 따라 오히려 성능을 저하시키거나 성능에 변화가 없을 수도 있었다. ASVspoof2017 에서는 Cutmix, ASVspoof2019 LA 에서는 Mixup, ASVspoof2019 PA 에서는 SpecAugment 가 가장 좋은 성능을 보였다. 또, SpecAugment는 mask의 개수를 늘리는 것이 성능 향상에 도움이 된다. 결론적으로, 상황과 데이터에 따라 적합한 augmentation 기법이 다른 것으로 파악된다.

선형 구조 방정식 모형 분석 사례

김세용,곽일엽,이문주 고려대학교 대학원 통계학과 2008 통계상담 Vol.사례 21 No.1

본 연구에 대한 구체적인 내용은 상담의뢰자가 밝히기를 꺼려하므로 의뢰자가 분석을 요청한 구조 방정식 모형에 대한 분석 과정과 결과에 대해서만 기술 하려고 한다. 그러므로 앞으로 기술할 모든 내용에서도 구체적인 내용에 대한 언급은 피하고 변수 이름도 모두 알파벳과 그리스 문자로만 기술할 것임을 밝혀 둔다.

평행좌표 플롯을 활용한 유전자발현 자료의 시각화

박미라,곽일엽,허명회,Park, Mi-Ra,Kwak, Il-Youp,Huh, Myung-Hoe 한국통계학회 2008 응용통계연구 Vol.21 No.6

유전자발현 자료로터 유용한 생물학적 정보를 얻기 위해 여러 시각화 방법이 개발되어 왔다. 본 논문에서는 평행좌표 플롯(parallel coordinate plot: PCP)을 이용하여 유전자발현 패턴을 찾아내어 표현하고자 하였다. 평행좌표 플롯의 두 변형인 ePCP(enhanced parallel coordinate plot)와 APCP(Andrews' type parallel coordinate plot)를 림포마(lymphoma) 자료에 적용하여 62개 샘플을 의미있게 배열하고 300개 유전자를 평활 곡선으로 표현하였다. Visualization of the gene expression data on a low-dimensional graph is helpful in uncovering biological information contained in the data. In this study, we focus on two modified versions of the parallel coordinate plot. First one is the ePCP(enhanced parallel coordinate plot) which shows "near smooth" connecting curves between axes spaced proportionately to the proximity of re-ordered variables. Second one is APCP(Andrews' type parallel coordinate plot) which is obtained by rotating Andrews' plot that has a form of the parallel coordinate plot. Visualization procdures using ePCP and APCP are given for the lymphoma data case.

데이터 증강기법을 이용한 음성 위조 공격 탐지모형의 성능 향상에 대한 연구

최효정,곽일엽,Choi, Hyo-Jung,Kwak, Il-Youp 한국통계학회 2021 응용통계연구 Vol.34 No.3

본 논문에서는 음성위조공격탐지(Voice spoofing detection) 문제에 데이터 증강을 적용한다. ASVspoof 2017은 리플레이 공격 탐지에 대해 다루며 진짜 사람의 음성과 환경이나 녹음·재생 장치의 조건들을 다르게 하여 위조한 가짜 음성을 분류하는 것을 목적으로 한다. 지금까지 이미지 데이터에 대한 데이터 증강 연구가 활발히 이루어졌으며 음성에도 데이터 증강을 시도하는 여러 연구가 진행되어왔다. 하지만 음성 리플레이 공격에 대한 데이터 증강시도는 이루어지지 않아 본 논문에서는 데이터 증강기법을 통한 오디오 변형이 리플레이 공격 탐지에 어떠한 영향을 미치는지에 대해 탐구해본다. 총 7가지의 데이터 증강기법을 적용해보았으며 그 중 DVC, Pitch 음성 증강기법이 성능향상에 도움되었다. DVC와 Pitch는 기본 모델 EER의 약 8% 개선을 보여주었으며, 특히 DVC는 57개의 환경변수 중 일부 환경에서 눈에 띄는 정확도 향상이 있었다. 가장 큰 폭으로 증가한 RC53의 경우 DVC가 기본 모델 정확도의 약 45% 향상을 이끌어내며 기존에 탐지하기 어려웠던 고사양의 녹음·재생 장치를 잘 구분해냈다. 본 연구를 토대로 기존에 증강기법의 효과에 대한 연구가 이루어지지 않았던 음성 위조 탐지 문제에서 DVC, Pitch 데이터 증강기법이 성능 향상에 도움이 된다는 것을 알아내었다. ASVspoof 2017 deals with detection of replay attacks and aims to classify real human voices and fake voices. The spoofed voice refers to the voice that reproduces the original voice by different types of microphones and speakers. data augmentation research on image data has been actively conducted, and several studies have been conducted to attempt data augmentation on voice. However, there are not many attempts to augment data for voice replay attacks, so this paper explores how audio modification through data augmentation techniques affects the detection of replay attacks. A total of 7 data augmentation techniques were applied, and among them, dynamic value change (DVC) and pitch techniques helped improve performance. DVC and pitch showed an improvement of about 8% of the base model EER, and DVC in particular showed noticeable improvement in accuracy in some environments among 57 replay configurations. The greatest increase was achieved in RC53, and DVC led to an approximately 45% improvement in base model accuracy. The high-end recording and playback devices that were previously difficult to detect were well identified. Based on this study, we found that the DVC and pitch data augmentation techniques are helpful in improving performance in the voice spoofing detection problem.

Developing Robust Performance in Korean Speech Recognition Using JASPER-GRU with Similarity Loss Function

김병찬,곽일엽 한국자료분석학회 2023 한국자료분석학회 학술대회자료집 Vol.2023 No.1

음향 장면 분류를 위한 경량화 모형 연구

임소영,곽일엽 한국통계학회 2021 응용통계연구 Vol.34 No.6

Acoustic scene classification (ASC) categorizes an audio file based on the environment in which it has been recorded. This has long been studied in the detection and classification of acoustic scenes and events (DCASE). In this study, we considered the problem that ASC faces in real-world applications that the model used should have low-complexity. We compared several models that apply light-weight techniques. First, a base CNN model was proposed using log mel-spectrogram, deltas, and delta-deltas features. Second, depthwise separable convolution, linear bottleneck inverted residual block was applied to the convolutional layer, and Quantization was applied to the models to develop a low-complexity model. The model considering low-complexity was similar or slightly inferior to the performance of the base model, but the model size was significantly reduced from 503 KB to 42.76 KB. 음향 장면 분류는 오디오 파일이 녹음된 환경이 어디인지 분류하는 문제이다. 이는 음향 장면 분류와 관련한 대회인 DCASE 대회에서 꾸준하게 연구되었던 분야이다. 실제 응용 분야에 음향 장면 분류 문제를 적용할 때, 모델의 복잡도를 고려하여야 한다. 특히 경량 기기에 적용하기 위해서는 경량 딥러닝 모델이 필요하다. 우리는 경량 기술이 적용된 여러 모델을 비교하였다. 먼저 log mel-spectrogram, deltas, delta-deltas 피쳐를 사용한 합성곱 신경망(CNN) 기반의 기본 모델을 제안하였다. 그리고 원래의 합성곱 층을 depthwise separable convolution block, linear bottleneck inverted residual block과 같은 효율적인 합성곱 블록으로 대체하고, 각 모델에 대하여 Quantization를 적용하여 경량 모델을 제안하였다. 경량화 기술을 고려한 모델은 기본 모델에 대비하여 성능이 비슷하거나 조금 낮은 성능을 보였지만, 모델 사이즈는 503KB에서 42.76KB로 작아진 것을 확인하였다.

초록데이터를 활용한 국내외 통계학 분야 연구동향

양종훈,곽일엽,Yang, Jong-Hoon,Kwak, Il-Youp 한국통계학회 2021 응용통계연구 Vol.34 No.2

시간이 갈 수록, 정부, 기업, 국내, 해외를 막론하고 데이터의 양이 증가하고 있다. 이에따라 학계에서도 빅데이터에 대한 연구들이 늘어나고 있다. 통계학은 빅데이터 연구의 중심이 되는 학문들 중 하나이며, 늘어나는 통계학 분야 논문 빅데이터를 통해 통계학의 연구동향을 파악해 보는 것도 재미있을 것이다. 본 연구에서는 국내와 해외의 통계학 논문들의 초록데이터를 통해 어떤 연구들이 이루어지고 있는지 분석을 진행하였다. 저자들이 선정한 논문들의 키워드 데이터 빈도를 통해 국내외 연구 동향을 분석하였고, Word Embedding 방법을 통해 해당 키워드들의 관계성을 시각화 하였다. 여기서 저자들이 선정한 키워드들 외에 Textrank를 통해 선정된 통계학 분야 논문들에서 중요하게 사용되는 단어들도 추가적으로 시각화 하였다. 마지막으로 초록 데이터에 LDA 기법을 적용하여 10가지 토픽을 알아보았다. 각 토픽들에 대한 분석을 통해 어떤 연구 주제들이 자주 연구되며, 어떤 단어들이 중요하게 사용되는지 알아보았다. As time goes by, the amount of data is increasing regardless of government, business, domestic or overseas. Accordingly, research on big data is increasing in academia. Statistics is one of the major disciplines of big data research, and it will be interesting to understand the research trend of statistics through big data in the growing number of papers in statistics. In this study, we analyzed what studies are being conducted through abstract data of statistical papers in Korea and abroad. Research trends in domestic and international were analyzed through the frequency of keyword data of the papers, and the relationship between the keywords was visualized through the Word Embedding method. In addition to the keywords selected by the authors, words that are importantly used in statistical papers selected through Textrank were also visualized. Lastly, 10 topics were investigated by applying the LDA technique to the abstract data. Through the analysis of each topic, we investigated which research topics are frequently studied and which words are used importantly.

CUDA: Convolutional Unet based Defense Architecture for Adversarial Patch Attack

김희민,김병찬,곽일엽 한국자료분석학회 2023 한국자료분석학회 학술대회자료집 Vol.2023 No.1

사전 학습 모델과 앙상블 기법을 통한 음성 감정인식

서재진,강태인,곽일엽 한국데이터정보과학회 2024 한국데이터정보과학회지 Vol.35 No.4

음성 감정 인식 연구는 인간-기계 상호작용을 향상시키는 데 중요하고, 의료, 교육, 고객 서비스 등 다양한 분야에서 효율성을 높이고 사용자 경험을 개선할 수 있다. 본 연구에서는 DACON의 `월간 데이콘 음성 감정 인식 AI 경진대회'에 참가하여 여섯 가지 감정을 분류하는 AI 모델을 개발을 목표로 하였다. 전통적인 음성 처리 기술 기반 방법과 사전 학습된 모델을 이용한 방법들의 성능을 비교하였고, 사전 학습된 모델을 통해 음성의 일반화된 특징을 효과적으로 학습한 임베딩 벡터의 추가 학습 가능성을 탐구하였다. 그 결과, WavLM에 1D CNN을 결합한 모델이 79.80\%의 성능으로 우수한 결과를 보였고, 사용한 모든 사전 학습된 모델들을 하드 보팅 앙상블하여 5등에 준하는 80.79\%까지 성능을 향상시켰다. 본 연구는 음성 감정 분류에서 높은 성능을 달성하여 음성 감정 인식 기술의 적용 가능성을 높임으로써, 다양한 실제 응용 분야에서 감정 인식 모델의 활용을 가능하게 하는 데 기여할 것이다. Research on speech emotion recognition plays a crucial role in enhancing human-machine interaction and improving efficiency and user experience in various fields such as healthcare, education, and customer service. In this study, we aimed to develop an AI model to classify six emotions by participating in DACON's `Monthly DACON Speech Emotion Recognition AI Competition'. We compared the performance using traditional speech processing techniques and pretrained models, and investigated the potential for additional learning using embedding vectors effectively learned through pretrained models. As a result, a model combining WavLM with 1D CNN demonstrated superior performance at 79.80\%, and by ensembling all pretrained models using hard voting, we further improved performance to 80.79\%, achieving a ranking equivalent to 5th place in the competition. This research is expected to contribute to the application potential of speech emotion recognition technology, enabling the utilization of emotion recognition models in various real-world applications.

Level of Contamination of Positive Airway Pressure Devices Used in Obstructive Sleep Apnea

최재형,민현진,곽일엽,김경수 대한이비인후과학회 2024 Clinical and Experimental Otorhinolaryngology Vol.17 No.2

Objectives. No study has yet evaluated the degree of contamination after the total disassembly of continuous positive air-way pressure (CPAP) devices. We investigated the extent of contamination of CPAP devices used daily by patientswith obstructive sleep apnea (OSA) by disassembling the systems and identifying the factors that influenced the de-gree of CPAP contamination. Methods. We conducted a chart review of the medical records of patients with OSA for whom the CPAP devices were dis-assembled and cleaned. Two skilled technicians photographed the levels of contamination of each component andscored them using a visual analog scale. Patients’ clinical characteristics and records of CPAP device usage were sta-tistically analyzed to identify characteristics that were significantly associated with the degree of CPAP device con-tamination. Results. Among the 55 participants, both the external components, including the mask and tube, and the internal compo-nents, such as the humidifier and the interior of the main body, showed a substantial degree of contamination. Thetotal and average daily duration of usage of the CPAP device did not show significant associations with the degree ofcontamination. Age was most consistently associated with the degree of contamination, such as in masks, humidifiers,and interior and exterior main parts. The degree of contamination of the internal components of the device was sig-nificantly correlated with the degree of contamination of the external components. Conclusion. Age-specific guidelines for managing the hygiene of external and internal CPAP components should be pre-pared.