영상 정보 기반 콘크리트 교각에 대한 멀티 모달 다중 손상 평가

국문 초록 (Abstract)

이 연구에서는 지진 하중 하 RC 교각의 손상을 영상 기반으로 분할(segmentation)하고, 영상 단일 모달의 한계(손상 이력·구조적 의미 해석의 불일치)를 보완하기 위해
물리 응답 정보를 결합한 멀티 모달 다중 손상 평가를 위한 프레임워크를 제안하였다. 손상 평가를 위한 학습 데이터는 실시간 하이브리드 시뮬레이션(Real Time Hybrid
Simulation, RTHS) 기반 내진 성능 실험을 통해 구축하였으며, 교각 손상 진전 과정을 각 면의 근접한 카메라로 촬영함과 동시에 하중을 계측하였다. 하중–변위 히스테
리시스 루프를 주기 단위로 구성하여 누적 에너지 소산을 산정하였다. 영상 프레임은 주기 기반 시간축에 정합되도록 추출하여, 각 이미지 샘플이 물리 메타데이터와 1:1로 대응되도록 데이터셋을 구성하였다. 레이블은 손상을 6개 범주로 픽셀 단위로 분할해 구축하였으며, 연산 효율과 문맥 정보의 영향을 함께 검토하기 위해 동일 데이터를 128×128, 256×256, 512×512 패치로 분할하여 케이스를 구성하고, 학습–시험 분할 시나리오별로 영상 단독 학습과 멀티 모달 학습을 비교하였다. 성능 평가는 Precision,Recall, F1-score 지표를 통해 이루어졌다. 손상 탐지를 위한 인공지능 모델은 U-Net 계열을 출발점으로 하였다. 기존 연구를 통해 복합 손상·손상 진전 문제에서 CNN 기반 지역 특징이 제한적인 것을 고려하여, 이 연구에서는 Swin U-Net 기반 구조로 확장하고, 병목 구간에서 물리 메타데이터를 주입해 영상으로부터 확보한 이미지 데이터와 결합하도록 맞춤설정하였다. 또한, 다중스케일 문맥 확보와 유효 스킵 특징 선택을 위해 Atrous Spatial Pyramid Pooling(ASPP)와 Attention Gate를 결합하였다. 결과적으로 멀티 모달 학습은 동일 외관 손상이라도 하중 수준·이력에 따른 차이를 반영할 수 있어, 분할 결과의 일관성과해석 가능성을 높이는 방향으로 작동함을 확인하였다.

다국어 초록 (Multilingual Abstract)

This study proposes a multimodal framework for multi-class damage assessment of reinforced-concrete (RC) bridge piers subjected to seismic loading. The framework performs image-based damage segmentation and incorporates structural response information to alleviate the limitations of a purely visual approach, particularly the potential inconsistency between surface appearance and the underlying structural state driven by loading history. The dataset was established from a real-time hybrid simulation (RTHS)–based seismic performance test. During the test, the damage evolution of the pier was recorded by close-range cameras from multiple faces while the applied loads were simultaneously measured. Cycle-wise load–displacement hysteresis loops were derived, and the cumulative dissipated energy was computed. Video frames were extracted and synchronized with the cycle-based timeline, and each frame was assigned the corresponding cycle-level physical metadata. Pixel-wise labels were prepared by categorizing damage into six classes. To examine computational efficiency and the effect of spatial context (field-of-view), the dataset was further partitioned into patches of 128×128, 256×256, and 512×512. The segmentation performance of an image-only model was compared with that of a multimodal model under different train–test split settings. Predictive performance was evaluated using pixel-wise Precision, Recall, and F1-score.
For damage segmentation, the learning model was developed from a U-Net baseline. Because CNN-based local representations may be insufficient for complex and progressive damage under seismic loading, the network adopts a Swin-UNet–based backbone and is customized to fuse physical metadata with image-derived features at the bottleneck stage (e.g., via feature projection and concatenation). In addition, Atrous Spatial Pyramid Pooling (ASPP) and attention gates were incorporated to enhance multi-scale contextual representation and selectively pass informative skip features. Overall, multimodal training improved the consistency of segmentation outputs with respect to load level and loading history, even when visual damage patterns appeared similar.

목차 (Table of Contents)

• 제 1 장 서론 1
• 1.1 연구 배경 및 필요성 1
• 1.2 선행 연구 고찰 4
• 1.3 연구 목표 및 제언 5
• 제 2 장 실험 데이터 및 학습 모델 7
• 2.1 Real Time Hybrid Simulation(RTHS) 기반 내진 성능 실험 7
• 2.2 학습 데이터셋 구축 11
• 2.3 U-Net 기반 손상 탐지 선행 연구 24
• 2.4 Swin U-Net 구조와 작동 원리 33
• 2.5 Customized Swin U-Net 35
• 제 3 장 딥러닝을 활용한 손상 예측 정합성 평가 42
• 3.1 학습 및 평가 데이터셋 구축 42
• 3.2 예측 결과 43
• 3.3 손상 등급 평가 56
• 제 4 장 결론 60
• 참고문헌 63
• Abstract 67