Semantic Segmentation for a Mobile Robot Operating in a Manufacturing Factory = 제조 공장 내에서 모바일 로봇의 자율주행을 위한 의미 분할 기술

다국어 초록 (Multilingual Abstract)

In factory automation, semantic segmentation plays a vital role in guiding mobile robots to perform various tasks, such as scene understanding, obstacle avoidance, and localization. Unfortunately, no publicly available dataset shows visual information inside the manufacturing factory due to confidentiality issues. Users must manually collect samples to operate mobile robots inside the factory, which is a laborious and expensive task. Since collecting labeled samples is time-consuming, this paper proposes a practical semi-supervised semantic segmentation method specified for a manufacturing factory, where labeled samples are extremely limited.

Based on the intrinsic properties in the manufacturing factory we have carefully identified, we propose Multiple-view Aggregation Module to generate high-quality pseudo-labels by filtering out inaccuracies via different predictions on multiple views. Furthermore, we introduce Depth-Aware Cut-and-Paste and a robust augmentation method called Cut-Line adequate for a factory environment. Since there are no publicly available factory datasets, we release our synthetic dataset IsaacFactory, which was generated using the NVIDIA simulator Isaac Sim. Our method achieves high performance on our synthetic dataset IsaacFactory, as well as in the real factory dataset Zed2iFactory we have acquired. Furthermore, we leverage depth information to enhance the robustness of our approach in challenging no-light scenarios commonly encountered in factory environments.

국문 초록 (Abstract)

제조 공장 자동화 분야에서 모바일 로봇의 자율주행은 시각 정보가 중요한 역할을 한다. 장면 이해, 장애물 회피, 위치 파악과 같은 작업을 위해서는 픽셀 수준의 객체 분류가 가능한 의미 분할을 수행하는 것이 가장 적합한 방법이다. 그러나 제조 공장 내부의 시각 정보 데이터셋은 기밀성 문제로 인해 오픈 데이터셋이 존재하지 않는다. 따라서 사용자들은 직접 데이터를 수집해야 하지만, 이는 많은 시간과 비용이 드는 작업이다. 따라서 이 연구는 제조 공장 환경에서 레이블이 극히 제한적인 상황에서도 효과적인 RGB-D 준지도 의미론적 세분화 방법을 개발하고자 한다. 또한 정확한 인식 정보를 얻기 위해 깊이 정보도 함께 활용한다. 연구에 앞서, 제조 공장 내 본질적인 특성을 심층적으로 분석한 이후, 각 특성에 맞는 해결 방법을 제시한다.

첫째로, 제조 공장은 일반적으로 천장이 높아서 강한 조명이 활용되며, 이로 인해 비닐 포장된 물류 제품, 철골 구조물, 평평한 바닥과 같은 물체는 빛을 강하게 반사한다. 이러한 환경에서 다양한 반사체들이 존재하므로, 딥러닝 네트워크가 객체를 오인식하는 문제가 빈번하게 발생한다. 이를 해결하기 위해 Multiple-view Aggregation Module을 제안하여 고품질의 수도레이블을 생성한다. 둘째로, 도심 속 자율주행 자동차는 다양한 도시 환경에서 운행해야 하므로 딥러닝 네트워크가 여러 도메인에 일반화되어야 한다. 그러나 제조 공장에서 사용되는 모바일 로봇의 경우, 사용자는 대체로 작동할 공간을 정확히 인지하고 있다. 따라서 해당 딥러닝 네트워크는 일반화보다는 특정 작업 도메인에 더욱 특화되어야 한다. 이를 위해 Depth-Aware Cut-and-Paste 기법을 활용하여 깊이 정보를 고려하여 라벨이 있는 샘플을 효과적으로 활용한다. 셋째로, 제조 공장에는 맨해튼 형식의 구조물이 많이 존재한다. 따라서 선 형태로 샘플을 가리는 Cut-Line이라는 새로운 증강 방법을 제안하여 네트워크의 학습 성능을 향상시킨다.

제안한 방법을 검증하게 위해 기밀 정보가 포함되지 않은 가상 공장 환경 데이터셋 IsaacFactory를 구축하였고, 이를 활용하여 제안된 방법을 평가한다. 더불어, 실제 공장 환경에서 직접 취득한 Zed2iFactory에서도 성능평가를 진행하여 제안한 방법의 유효성을 검증한다. 제안된 방법을 통하여 사용자는 극히 적은 라벨의 양으로도 뛰어난 성능을 도출할 수 있을 것이다.