Robust deep neural networks against limited resources, data unavailability, and adversarial attacks

국문 초록 (Abstract)

최근 심층 신경망 기법이 다양한 응용 분야에 접목됨에 따라, 심층 신경망 기법을 개발하는 환경과는 전혀 다른 특성을 지니는, 응용 분야가 적용되는 실제 환경의 특성을 이해하는 것이 중요해지고 있다. 특히, 심층 신경망을 연구하는 환경은 주로 풍부한 계산 자원과 오류가 발생하지 않는 데이터 획득 상황을 가정한다. 그러나, 실제 환경은 고비용의 계산 자원과 기술적인 오류로 인한 데이터 손실이 필연적으로 발생할 수 있으므로, 통제된 환경을 보장할 수 없다.

심층 신경망 기법을 응용 분야에 바로 접목하기 어렵게 하는 요인으로는 크게 세가지가 있다. 첫째, 심층 신경망 기법이 배포된 환경의 경우 효율성을 확보하기 위해 데이터의 정보량을 감소하는 기법을 사용할 가능성이 높으며, 이는 기법의 인식 및 재건 성능을 직접적으로 하락시킬 수 있다. 둘째, 실제 환경에서는 기술적인 오류로 인해 일부 데이터가 손실될 수 있으며, 이는 사용하는 모든 데이터 정보가 항상 존재한다고 보장할 수 없게 한다. 셋째, 심층 신경망 기법을 교란시키기 위해 악의적인 공격이 가해질 수 있으며, 이는 치명적인 보안 문제를 야기한다.

본 학위논문에서는 실제 응용 분야에서 활용될 수 있는 심층 신경망 기법들의 강인성을 위에서 언급한 요인들을 중심으로 분석하고, 이에 강인한 심층 신경망 기법을 제안한다.
연구 대상 및 방법은 다음과 같다. 우선, 행동 인식 작업에 주로 수반되는 전통적인 특징 추출 기반 기법과 심층 신경망 기반 기법에 대해 삼차원 영상 확장성(video scalability)을 바탕으로 강인성을 비교한다. 이를 통해, 심층 신경망 기반 기법이 정보량 감소에 보다 강인한 성능을 보이며, 성능을 유지할 수 있는 최적의 영상 확장성 요소 조합을 제안한다. 다음으로, 다중 모달리티(multimodal) 정보를 활용하는 인식 작업에서 수반되는 데이터 손실에 강인한 심층 신경망 기법을 제안하며, 기존의 최신 모달리티 정보 융합 방법과의 성능 비교를 통해 높은 성능을 확인한다. 마지막으로, 최근 주로 활용되는 이미지 재건 기법 중 하나인 초해상도 작업용 심층 신경망 모델의 적대적 공격(adversarial attack)에 대한 강인성을 분석한다. 이를 통해 최신 심층 신경망 기법들이 적대적 공격에 매우 취약함을 확인하며, 이를 해결할 수 있는 방어 기법을 제안한다.

다국어 초록 (Multilingual Abstract)

As deep neural networks have been widely used in various applications nowadays, it is important to understand the characteristics of the real-world environments that are quite different from the conditions where the deep network models are built. In particular, studies for deep neural networks usually assume well-controlled environments with abundant computing resources and errorless data acquisition processes. When it comes to the wild, these conditions cannot be ensured due to limited and expensive computing resources and possible technical data corruption.

The main obstacles of the direct application of deep neural networks to real-world situations are as follows. First, the deployed environments may employ some processes to reduce the amount of data for efficiency, directly affecting the recognition and reconstruction performance. Second, some data may be lost due to some technical difficulties; i.e., it is hard to guarantee that data of all modalities always exist. Third, there can be some malicious attacks to fool the deep neural networks, which may cause critical security concerns.

This thesis examines the robustness of deep neural networks in real-world applications regarding the obstacles mentioned above in three-fold.

First, both traditional feature extraction-based and deep learning-based activity recognition methods are investigated with respect to three-dimensional video scalability dimensions. The results show that the deep learning-based approach is more robust against data loss than the traditional approaches. A thorough analysis of various scalability combinations is also shown, suggesting optimal combinations to keep performance with the reduced data rate.

Second, a novel multimodal fusion approach for deep recognition methods is proposed, which can naturally handle data loss. The performance is compared with various state-of-the-art fusion approaches. The results show that the proposed approach achieves high recognition performance even when some parts of data are missing.

Third, deep models for super-resolution, which is one of the widely used reconstruction tasks, are evaluated against adversarial attacks. The results show the high vulnerability of state-of-the-art methods. In addition, a defense method is proposed, which is formulated as an entropy regularization loss for model training.