IDNet-A : 인셉션 기반의 고밀도 합성곱 신경망 = IDNet A : Inception based Densely Connected Convolutional Neural Networks

다국어 초록 (Multilingual Abstract)

A lot of interest in A.I.(Artificial Intelligence) and the advance in computer hardware (especially GPUs), many studies on A.I Network structures are being conducted in various fields. Technologies using A.I. in various fields show good performance. Especially in the field of computer vision, solutions using convolutional neural networks (CNNs) have gained much better performance than solutions using image processing algorithms. And the solutions have become overwhelming. Various network structures have been introduced through competitions and studies in the field of computer vision, and among them, various studies have been conducted on a network structure based on a CNNs with good performance. We have studied various network structures based on CNNs introduced in the previous study. And We studied how to increase the network size (depth and width) efficiently to obtain good performance. Increasing the network depth and width in the network structure can increase the network representational power that the network can represent, which can improve performance. However, increasing the size without careful consideration causes an exponential increase in the number of parameters, which can lead to computational and overfitting problems. In addition, in a deep network structure, gradient vanishing/exploding or degradation problems that adversely affect learning may occur. These problems have a critical negative impact on network performance, making it impossible to increase the size of the network.
In this paper, we introduce a method of combining the Inception Module in densely connected network structure to solve the above problem. Since densely connected network structure is connected from one layer to all other layers, information from the front of the network is well transferred to the back. This makes it possible to construct the network structure deeply by alleviating gradient vanishing/exploding or degradation. This densely connected network structure has one drawback. Since it is a densely connected structure, when the width of the network is increased, the number of parameters increases a lot, which may cause a problem of computation and overfitting. So, we combined the inception module in densely connected network structure to efficiently increase the network width. The inception module extracts various features of an input value through filters of various scales, which can be used as useful information during learning. And it is possible to reduce the number of parameters and the amount of computation by adjusting the number of channels through the 1x1 Conv inside the module. By combining such an inception module with densely connected network structure, it is possible to increase the network size efficiently without significantly increasing the number of parameters and computation. It also extracts the various features required for learning, so that the parameters efficiency in densely connected structure can be improved, and good performance can be achieved with a small number of parameters. We introduce a network structure called IDNet-A that applies the idea we introduced in this paper. IDNet-A is a network structure that combines the inception module with DenseNet, densely connected network. And several IDNet-A models with different hyperparameters were constructed and tested with the CIFAR dataset to confirm the performance according to the network size. IDNet-A proposed by us increases the network size by appropriately increasing the depth and width of the network. And IDNet-A shows better performance than DenseNet.

국문 초록 (Abstract)

인공지능에 대한 많은 관심과 컴퓨터 하드웨어(특히 GPU)의 발전으로 다양한 분야에서 인공지능 네트워크 구조에 대한 많은 연구가 진행되고 있다. 다양한 분야에서 인공지능을 활용한 기술은 좋은 성능을 거두고 있으며, 특히 컴퓨터 비전 분야에서는 합성곱 신경망(CNNs: Convolutional Neural Networks)을 사용한 솔루션들이 기존의 영상처리 알고리즘을 사용한 솔루션보다 훨씬 좋은 성능을 얻어 압도적인 존재로 자리 잡았다. 컴퓨터 비전 분야의 경진대회와 연구들을 통해 다양한 네트워크 구조가 소개되었고, 그 중 좋은 성능을 보인 합성곱 신경망 기반의 네트워크 구조에 대한 다양한 연구가 진행되어 왔다. 우리는 앞선 연구에서 소개된 합성곱 신경망 기반의 다양한 네트워크 구조들에 대한 연구를 진행하였고, 효율적으로 네트워크 크기(깊이와 넓이)를 키워 좋은 성능을 얻을 수 있는 방법에 대해 연구하였다. 네트워크 구조에서 네트워크 깊이와 넓이를 증가시키면 네트워크가 표현할 수 있는 네트워크 표현력(Representational Power)이 증가해 성능이 좋아질 수 있다. 하지만 심사숙고 없이 무작정 크기를 키우는 것은 파라미터 수의 기하급수적인 증가를 유발하고, 이는 연산량 및 오버피팅(Overfitting) 문제가 발생할 수 있다. 또한 깊은 네트워크 구조에서는 학습에 악영향을 끼치는 Gradient Vanishing/Exploding or Degradation 문제가 발생할 수 있다. 이러한 문제들은 네트워크 성능에 치명적인 악영향을 끼쳐 네트워크의 크기를 키울 수 없게 한다.
본 논문에서 우리는 위의 문제를 해결하기 위해 고밀도 네트워크 구조에 인셉션 모듈(Inception Module)을 결합하는 방법을 소개한다. 고밀도 네트워크 구조는 한 층에서부터 이어지는 다른 모든 층에 연결이 되므로 네트워크 앞 단의 정보를 뒤 단까지 잘 전달이 된다. 이는 Gradient Vanishing/Exploding or Degradation을 완화시켜 네트워크 구조를 깊게 구성할 수 있도록 한다. 이러한 고밀도 네트워크 구조에도 한 가지 단점이 있다. 조밀하게 연결된 구조이다 보니 네트워크의 넓이를 증가시키는 경우에는 파라미터의 수가 많이 증가하여 연산량 및 오버피팅 문제가 발생할 수 있다. 그래서 우리는 고밀도 네트워크 구조에 인셉션 모듈을 결합하여 효율적으로 네트워크의 넓이 또한 키울 수 있도록 구성하였다. 인셉션 모듈은 다양한 스케일의 필터를 통해 입력 값의 다양한 특징을 추출하고, 이는 학습 시 유용한 정보로 사용될 수 있다. 그리고 모듈 내부 1x1 Conv를 통해 채널 수를 조절하여 파라미터 수와 연산량을 감소시킬 수 있다. 이러한 인셉션 모듈을 고밀도 네트워크 구조에 결합하여 파라미터 수와 연산량은 크게 증가시키지 않으면서도 네트워크 크기를 효율적으로 키울 수 있다. 또한 학습에 필요한 다양한 특징을 추출하기 때문에 학습 시 앞 단의 정보가 풍부하여 고밀도 구조에서 파라미터의 효율성(Parameter Efficiency)을 높여 적은 수의 파라미터로도 좋은 성능을 보여줄 수 있다. 우리는 본 논문에서 우리가 소개한 아이디어를 적용한 IDNet-A 라는 네트워크 구조를 소개한다. IDNet-A는 인셉션 모듈을 고밀도 네트워크인 DenseNet에 결합한 네트워크 구조이다. 그리고 각기 다른 하이퍼파라미터(Hyperparameter)를 가진 IDNet-A 여러 모델을 구성하여 CIFAR 데이터셋으로 실험하여 네트워크 크기에 따른 성능을 확인하였다. 우리가 제안한 IDNet-A는 네트워크의 깊이와 넓이를 적절하게 증가시켜 네트워크 크기를 키웠으며, 기존 고밀도 네트워크인 DenseNet보다 좋은 성능을 보여준다.

목차 (Table of Contents)

• 제1장 서론 1
• 제2장 관련 연구 5
• 제1절 LeNet-5 5
• 제2절 AlexNet 6
• 제3절 VGGNet 8
• 제4절 ResNet 10
• 제5절 DenseNet 12
• 제6절 GoogleNet 14
• 제3장 IDNet-A 17
• 제1절 Dense Layer with Inception Module 18
• 제2절 Growth Rate and Bottleneck Layer with im 22
• 제3절 Transition Layer and Composite Function 25
• 제4절 Implements Details 27
• 제4장 실험 및 분석 29
• 제1절 데이터 셋(Datasets) 29
• 제2절 학습(Training) 30
• 제3절 결과 및 분석 32
• 제4절 논의 40
• 제5장 결론 43
• 참고문헌 45
• 부록 48
• 국문초록 52