딥러닝 기반 도시장면의 의미론적 분할 = Deep learning based semantic segmentation of urban scenes

국문 초록 (Abstract)

인공지능의 발전을 통해 운전자의 개입이 필요하지 않고 스스로 판단하여 움직이는 자율주행 기술이 성숙기에 다다르고 있다. 자율주행 기술은 제한적 조건에서 완전히 마음을 놓는 완전 자율 주행을 목표로 하고 있다. 자율주행이 이루어지기 위해서는 인지, 판단, 제어하는 세가지 핵심 기술이 필요하며 인지는 자율주행 기술 중 선행되어야 하는 중요한 기술이다. 또한, 딥러닝을 활용한 의미론적 분할은 이미지에서 픽셀 단위로 어떤 클래스에 속해 있는지 분류하는 기술로서 인지기술을 한층 더 성숙 시킬 수 있는 기술이다.
본 논문에서는 실제 자율주행에 적용시키기 위한 효율적인 연산과 정확도가 높은 의미론적 분할 네트워크 모델인 efficient-residual-inception network (ERINet) 를 개발하였다. 이 네트워크 모델은 크게 딥러닝 모델 전체구조와 레이어 구조로 나누어 성능을 향상 시켰다. 모델의 전체골격 최적화를 시키기 위해 여섯 가지 최신 딥러닝 네트워크 모델을 응용하여 개발 하였다. 첫 번째는 fully convolutional networks (FCN) 으로 합성곱신경망의 마지막 부분인 fully connected layer를 1×1 합성곱으로 위치정보를 유지한 방법을 디코더에 넣어주는 방법을 적용하였다. 두 번째는 실제 자율주행 데이터셋인 Cityscapes를 학습 데이터셋으로 두고 높은 정확도와 효율적인 연산 네트워크 모델을 제안한 efficient residual factorized convnet (ERFNet) 의 디코더를 변형하여 개발하였다. 세 번째는 레이어의 깊이, 너비, 및 필터 크기 최적화를 시도한 wide residual inception networks (WRINet) 레이어 구조를 응용하였다. 네 번째는 특징에 대한 연산량 감소를 위해서 Inception의 1×1 합성곱을 적용하였다. 다섯 번째는 깊은 신경망을 최적화 할 수 있는 ResNet을 적용하여 네트워크 모델을 설계 하였다. 여섯 번째는 Efficient Neural Networks (ENet) 네트워크의 다운샘플링의 구조를 벤치마킹 하였다.
그리고, 레이어 구조의 성능향상을 위해 효율적인 연산과 이미지 픽셀 특징을 깊게 추출할 수 있는 non-bottleneck with 1D and 2D 레이어와 Wide non-bottleneck with 1D and 2D 레이어를 개발하였다. 이를 통해서 레이어는 깊지만 정확도가 높아질 수 있었다.
실험결과 본 논문의 제안 기법은 기존에 Cityscapes의 IoU, iIoU class와 IoU, iIoU category 성능지표에서 정확도와 효율적인 연산속도 측면에서 최고의 모델이라 할 수 있는 ERFNet 모델 보다 본 제안 방법이 좋은 성능을 나타내었다. 특히, 사람과 차량을 카테고리로 나눈 성능지표에서 높은 정확도를 나타내었을 뿐만 아니라 19개의 개별 클래스 성능지표에서도 대부분 높은 정확도를 나타내었다.
특히, 연산속도 측면에서는 고화질의 1024×512 이미지에서 Titan X GPU를 네트워크 모델에 적용하여 초당 43 프레임의 속도를 나타내었다. 이를 통해 제안된 네트워크 모델의 효율적인 연산 속도와 정확도의 결과물은 실제 자율주행 상용화에 바로 적용될 수 있는 기술임을 보여주고 있다.

목차 (Table of Contents)

• 1. 서론
• 1.1 연구 배경
• 1.2 연구 문제
• 1.3 이론적 배경
• 1.3.1 분할
• 1.3.2 의미론적분할
• 1.3.3 합성곱신경망
• 1.3.4 Inception
• 1.3.5 ResNet
• 1.3.6 합성곱신경망 기술 요약
• 1.4 제안된 모델에 적용된 기법
• 1.4.1 Fully Convolutional Networks
• 1.4.2 Efficient Residual Factorized ConvNet
• 1.4.3 Wide Residual Inception Networks
• 1.4.4 Efficient Neural Networks
• 2. 제안하는 도시공간의 의미론적 분할 기법
• 2.1 도시공간의 의미론적 분할
• 2.2 제안된 모델
• 2.2.1 ERI 네트워크 모델
• 2.2.2 ERI 네트워크 모델 구조
• 2.2.3 Non-bottleneck with 1D and 2D
• 2.2.4 다운샘플링과 업샘플링
• 2.2.5 확장된 합성곱
• 2.2.6 드롭아웃과 배치노말라이제이션
• 2.2.7 배치사이즈와 경사 하강 최적화
• 2.2.8 네트워크 모델 요약
• 3. 성능평가
• 3.1 성능평가 개요
• 3.2 Cityscapes 데이터셋
• 3.3 성능측정방법
• 3.4 네트워크 모델 성능비교
• 3.4.1 정확도 측정
• 3.4.2 속도 측정
• 4. 결론