변분 오토인코더를 이용한 적대적 생성 네트워크 학습의 안정성 개선

다국어 초록 (Multilingual Abstract)

Unlike the discriminative model, the generative model has a characteristic that enables generation of new data by learning the distribution of data and has been attracting attention for its performance in powerful functions that can not be made with the discriminative model. Despite its theoretical necessity, the development of the generative model, which has to solve more complex problems than the discriminative model, was relatively slow. In recent years, deep learning has dramatically improved the performance of decision models, and researches have been carried out to apply them to learning of generative models. - 52 - Using these deep learning methods, we have developed a generative model with a neural network model based on Standard Function Approximator and a generative model based on Stochastic Gradient Descent (SGD) on a large amount of data. It is called a deep generative model. GANs (Generative Adversarial Networks), a kind of deep generative model, proposed a competitive network of two neural network models that can indirectly learn data distribution while minimizing assumptions on data distribution. In particular, among the deep generative models, it was noticed for its exceptional result. Although GANs learning is generally unstable, the amazing quality of data conserved in high-dimensions is not only useful in many applications, but also in solving many difficult problems in modern machine learning researches. Therefore, it has become one of the core ideas in the field. As a matter of fact, the need for researches in improving the biggest problem of learning instability while maintaining the quality has been increased. In this paper, we propose a method to solve learning instability, a presented problem of GANs, by combining it with VAE (Variational Autoencoder) which is another deep generative model. We define a new objective function that combines GANs and VAE, which is a deep generative model based on an autoencoder that can be reliably learned, to solve the problem by solving vanishing gradient problem, which is one of the key reasons of GANs learning instability. We show that we can successfully combine VAE and GANs and that using this new structure can simultaneously achieve two key goals of a deep generative model, which are stable learning and good quality products, in our experiments

국문 초록 (Abstract)

생성 모델(generative model)은 결정 모델(discriminative model)과 달리 데 이터의 분포를 학습하여 새로운 데이터를 생성할 수 있는 특성을 가진 모델 로 결정 모델로는 할 수 없는 강력한 기능들을 수행할 수 있어 꾸준히 주목 받아 왔다. 그 이론적 필요성에도 불구하고, 결정 모델보다 더 복잡한 문제 를 풀어야 하는 생성 모델의 발전은 상대적으로 더뎠다. 최근 몇 년간 딥러 닝 방법이 결정 모델들의 성능을 급격하게 개선하였는데, 이를 생성 모델의 학습에도 적용할 수 있도록 하는 연구가 진행되었으며 이런 딥러닝 방법을 사용하여 보편 함수 근사기(standard function approximator)로서의 인공신경 망 구조를 가지면서 대량의 데이터에 대해 미니 배치 기반의 SGD(Stochastic Gradient Descent) 기반의 방법으로 학습할 수 있는 생성 모델을 심층 생성 모델(deep generative model)이라고 한다. 심층 생성 모델의 일종인 GANs(Generative Adversarial Networks)은 데이터 분포에 가정을 최소화 하면서 간접적으로 데이터 분포를 학습할 수 있는 두 신경망 모델의 경쟁적 네트워크를 제안하였고, 심층 생성 모델 들 중에서 특 - ii - 히 눈에 띄는 훌륭한 품질의 생성물을 만들어낼 수 있어 주목받았다. GANs 의 학습은 일반적으로 불안정하다는 문제가 있음에도 불구하고 고차원 이미 지 데이터에서도 유지되는 GANs의 놀라운 생성 데이터 품질 때문에 여러 어플리케이션들에서 유용하게 사용될 수 있음을 넘어, 현대 머신러닝 연구에 서 여러 어려운 문제들을 풀 수 있는 핵심 아이디어 중 하나로 자리 잡았다. 자연스럽게 GANs의 품질을 유지하면서 GANs의 가장 큰 문제점인 학습 불안 정성을 개선하려는 연구의 필요성이 높아졌다. 본 논문에서는 GANs의 문제점으로 지목되는 학습 불안정성을 또 다른 심 층 생성 모델인 VAE(Variational Auto-Encoder)와의 결합을 통해 해결하는 방법을 제안한다. 우리는 GANs과 안정적으로 학습할 수 있는 오토인코더 기 반의 심층 생성 모델인 VAE를 결합한 새로운 목적함수를 정의하고, 이를 최 적화함으로써 GANs 학습 불안정성의 핵심적인 이유로 꼽히는 그레디언트 소실(vanishing gradient) 문제를 해결하고 GANs을 안정적으로 학습 시킬 수 있음을 확인하였다. 우리는 VAE와 GANs을 성공적으로 결합 할 수 있음을 보이고, 실험을 통해 이 새로운 구조를 이용하면 안정적인 학습과 좋은 품질 의 생성물이라는 심층 생성 모델의 두 가지 핵심 목표를 동시에 달성할 수 있음을 보인다.

목차 (Table of Contents)

• 국문초록 i
• 감사의 말 iii
• 목차 iv
• 표목차 vi
• 그림목차 vii
• I. 서론 1
• II. 관련연구 4
• 2.1. 생성 모델 4
• 2.1.1) 명시적 밀도 5
• 2.1.2) 묵시적 밀도 6
• 2.2. GANs 7
• 2.3. VAE 10
• III. 제안방법 16
• 3.1. GANs와 VAE의 비교 16
• 3.2. GANs와 VAE의 결합 18
• 3.2. 그레디언트 소실 문제 20
• 3.2. 제안방법 22
• IV. 실험 및 결과 27
• 4.1. 실험 환경 및 데이터 셋 27
• 4.2. 실험에 사용된 모델 28
• 4.3. 실험 결과 33
• 4.3.1) 생성 샘플 33
• 4.3.2) 잠재 공간 보행 34
• 4.3.3) 그레디언트 소실 현상 해결 36
• 4.3.4) 학습 시간 41
• 4.3.5) 데이터 품질 43
• V. 결론 44
• 참고문헌 45
• 영문요약 51