AI 기반 설비의 LED 영상 분석을 통한 고장 진단 및 조치 매뉴얼 제공 시스템

국문 초록 (Abstract)

부산 도시철도 1~4호선은 장기간에 걸쳐 순차적으로 개통되었으며, 통신분야는 여 러 종류의 설비를 유지관리하고 있다. 통신설비는 호선별 개통 시기뿐만 아니라, 예 비품 수급시기에 따라 다양한 제조사의 장비가 혼재되어 있다. 이러한 장비의 다양 성과 이질성으로 인해 동종 설비라 하더라도 제조사별 비표준화된 LED 표시 방식 으로 인해 유지보수 인력이 육안 점검만으로 고장을 신속하게 진단하는 데 한계가 있다. 이에 본 연구에서는 고장진단의 효율성을 높이고, 평균 복구시간(MTTR)을 단축하기 위해, 인공지능(AI) 기술을 활용하여 LED 동작 상태를 자동으로 진단하 고 조치 메시지를 실시간으로 제공하는 시스템을 제안한다. 제안된 시스템은 스마 트폰 등 모바일 기기를 통해 장비를 촬영하면, YOLO 모델을 이용하여 설비와 LED 객체를 검출하고, OpenCV 기반 영상 처리 기법을 통해 LED의 색상 과 점등 패턴을 분석한다. 추출된 데이터는 LSTM 모델을 통해 고장 여부 및 고장 유형을 자동으로 분류하며, 진단 결과에 따라 적절한 조치 메시지를 실시간으로 제공한다. 본 시스템은 표준화되고 자동화된 고장진단 및 조치 메시지 제공을 통해 도시철도 유지보수 업무의 효율성을 제고하고, 도시철도 분야를 포함한 다양한 산업 현장에 확대 적용 가능할 것으로 기대된다

다국어 초록 (Multilingual Abstract)

The Busan Metro Lines 1 through 4 have opened sequentially over an extended period, requiring the communication sector to maintain a wide variety of facilities. Communication equipment involves a mix of devices from various manufacturers, depending not only on the opening dates of each line but also on the timing of spare parts procurement. Due to this equipment diversity and heterogeneity, even identical types of facilities employ non-standardized LED display methods across different manufacturers. Consequently, maintenance personnel face limitations in rapidly diagnosing faults solely through visual inspection. To address these issues, this study proposes a system that utilizes Artificial Intelligence (AI) technology to automatically diagnose LED operating states and provide real-time remedial action messages, thereby enhancing fault diagnosis efficiency and reducing Mean Time To Repair (MTTR). The proposed system operates by capturing video of the equipment via mobile devices such as smartphones. It detects the equipment and LED objects using the YOLO model and analyzes the LED color and blinking patterns using OpenCV-based image processing techniques. The extracted data is then processed by an LSTM (Long Short-Term Memory) model to automatically classify the presence and type of faults. Based on the diagnostic results, the system provides appropriate action messages in real time. This system is expected to enhance the efficiency of metro maintenance by providing standardized and automated fault diagnosis and action messages. Furthermore, it holds potential for expanded application across various industrial sectors beyond metro systems.

목차 (Table of Contents)

• Ⅰ. 서 론 1
• 1. 연구 배경 1
• 2. 연구 목적 2
• Ⅱ. 이론적 배경 4
• 1. 부산교통공사 통신설비 4
• 1) 통신설비 현황 4
• 2) 통신설비 유지보수 6
• 2. 객체탐지 기술 7
• 3. YOLO 10
• 1) YOLO 개요 10
• 2) YOLO 동작원리 11
• 3) YOLO 네트워크 구조 및 특징 12
• 4) YOLO 선정 이유 13
• 5) YOLO 모델 선정 14
• 4. OpenCV 15
• 1) OpenCV 개요 15
• 2) OpenCV 주요기능 16
• 3) YOLO 기반 객체 탐지와 OpenCV의 연계성 17
• 5. LSTM 18
• 1) LSTM 개요 18
• 2) LSTM 구조 18
• 6. 원핫인코딩 20
• 7. 선행연구 22
• Ⅲ. 연구 방법 23
• 1. 시스템 설계 23
• 2. 학습단계 24
• 1) 데이터셋 구축 및 전처리 24
• 2) YOLO 모델 학습(가중치 생성) 27
• 3) LSTM 학습(가중치 생성) 29
• 3. 추론단계 39
• 1) 모델 초기화 및 동영상 입력 39
• 2) 프레임 단위 객체 탐지 및 특징 추출 40
• 3) 세그먼트 기반 패턴 압축 및 시퀀스 복원 40
• 4) LSTM 시퀀스 구성 및 윈도우 생성 40
• 5) LSTM 기반 패턴 분류 및 확률 임계값 적용 41
• 6) 최종 의사결정 42
• 7) 장비별 진단 결과 통합 및 메시지 출력 43
• Ⅳ. 성능평가 46
• 1. 학습 데이터양에 따른 YOLO 모델 성능 분석 46
• 2. 데이터 증강 적용 여부 따른 YOLO 모델 성능 비교 48
• 3. LSTM 기반 패턴 분류 성능 50
• 4. 결과분석 52
• 1) 성능평가 방법 52
• 2) 분류 정확도 및 혼동 행렬(Confusion Matrix) 분석 53
• 3) Unknown 임계값 적용의 안정성 검증 56
• Ⅴ. 결 론 58
• 1. 연구 요약 및 성과 58
• 2. 연구의 의의 및 기대효과 59
• 3. 향후 연구 과제 59