AI 기반 노후 건축물 건전성 모니터링 시스템을 위한 FPGA 설계

국문 초록 (Abstract)

도시 노후화가 진행됨에 따라 노후 건축물 건전성을 측정이 중요해지고 있다. 이러한 노후 건축물은 태풍 지진 등의 자연재해와 화재와 같은 재해에 취약하고 붕괴 가능성 또한 높아 적절한 관리와 계측이 필수적이다. 그러나 육안측정 방법, 센서 기반 측정 방법 등의 기존 방법들은 시간이 오래 걸리고 비용이 많이 소모되며 판단 기준이 주관적이라는 단점이 있다. 이로 인해 최근 다양한 건전성 측정 방법들이 연구되고 있다.
본 논문에서는 앞서 말한 단점들을 보완하기 위해 AI Detecting Algorithm을 통해 건물 의 균열을 검출하고 해당 알고리즘을 FPGA안에서 구현하여 On-device 시스템을 만든 연구다. Darknet에서 YOLOv4 tiny모델과 일반화 평가를 위한 균열 판단 알고리즘 학습 에 많이 이용되는 SDNET Dataset을 사용하여 노후 건축물의 건전성 판단 기준 중 하나인 균열 탐지 알고리즘을 학습시켰다. 학습한 모델은 mAP가 80.09%인 가중치 파일을 사용하여 컴파일 후 FPGA의 PS부분에서 동작시킨다. 다음으로 Verilog HDL을 사용해 Systolic Array, Acceleration, ALU를 설계하였다. 설계한 부분들을 통해 가속기를 구현하였고 설계한 가속기는 YOLO의 Convolution 연산과 FC 층에서 사용되는 연산인 행렬 곱연산을 대규모 병렬처리를 통해 가속한다. 학습한 YOLOv4 tiny 모델과 가속기는 각각 Ultra96v2 FPGA 보드의 PS와 PL을 통해 구현하고 보드에 Webcam을 연결하여 균열 검 출을 수행한다.
설계한 시스템을 통해 균열 검출을 진행했을 때 균열 검출이 진행되고 해당 검출은 가속기를 사용하지 않았을 때 fps는 약 1.26 fps가 출력되지만 가속기를 사용하면 약 3.59fps가 출력되어 약 2.85배 향상된 속도로 검출을 진행한다.
이렇게 구성된 시스템은 기존의 균열 검출 시스템들에 비해 비교적 적은 시간과 적은 인력이 필요하고 객관적인 기준을 통해 실시간으로 건전성 모니터링을 진행하고 추후 드론, 자율주행 자동차 등을 통하여 원격 건전성 모니터링 시스템에 적용이 가능할 것으로 보인다.

다국어 초록 (Multilingual Abstract)

As urban aging progresses, it is becoming important to measure the soundness of old buildings. These old buildings are vulnerable to natural disasters such as typhoons and earthquakes and disasters such as fires, and have a high possibility of collapse, so proper management and measurement are essential. However, existing methods such as visual measurement methods and sensor-based measurement methods have
disadvantages in that it takes a long time, is expensive, and the judgment criterion is subjective. For this reason, various methods of measuring soundness have been recently studied.
In this paper, to compensate for the aforementioned shortcomings, an on-device system was created by detecting cracks in buildings through the AI Detecting Algorithm and implementing the algorithm in the FPGA. The crack detection algorithm, one of the criteria for determining the soundness of old buildings, was learned using the YOLOv4 ty model in Darknet and the SDNET Dataset, which is widely used to learn the crack judgment algorithm for generalization evaluation. The learned model operates on the PS part of the FPGA after compiling using a weight
file with an mAP of 80.09%. Next, Systolic Array, Acceleration, and ALU were designed using Verilog HDL. The accelerator was implemented through the designed parts, and the designed accelerator accelerates YOLO's convolution operation and matrix product operation, which is an operation used in the FC layer, through large-scale parallel processing. The learned YOLOv4 ty model and accelerator are implemented through PS and PL of the Ultra96v2 FPGA board, respectively, and crack detection is performed by connecting a Webcam to the board.
When crack detection is performed through the designed system, crack detection proceeds, and the detection outputs about 1.26 fps when the accelerator is not used, but when the accelerator is used, about 3.59 fps is output, which is about 2.85 times improved.
This configured system requires relatively little time and manpower compared to existing crack detection systems, and it is expected that it can be applied to remote soundness monitoring systems through drones and autonomous vehicles in real time through objective standards.

목차 (Table of Contents)

• 목차 ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙ ⅰ
• 도표 목차 ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙ ⅲ
• 그림 목차 ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙ ⅳ
• Ⅰ. 서론
• 1.1 연구 배경 및 필요성 ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙ 1
• 1.2 연구 목적 및 논문 구성 ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙ 3
• Ⅱ. 이론적 배경 및 관련 연구
• 2.1 노후 건축물 건전성 모니터링 방법 ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙ 4
• 2.1.1 육안 기반 측정 시스템 ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙ 5
• 2.1.2 센서 기반 측정 시스템 ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙ 6
• 2.1.3 AI 기반 측정 시스템 ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙ 8
• 2.2 객체 인식을 위한 AI Algorithm ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙ 11
• 2.2.1 CNN ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙ 14
• 2.2.2 YOLO ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙ 20
• 2.3 On-Device AI ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙ 22
• 2.3.1 FPGA ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙ 22
• 2.3.2 Accelerator ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙ 24
• Ⅲ. 연구 내용 및 시스템 설계
• 3.1 시스템의 개요 ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙ 26
• 3.2 시스템 구성 ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙ 27
• 3.2.1 개발 환경 ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙ 29
• 3.2.2 Ultra96v2 Board ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙ 30
• 3.3 시스템 설계 ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙ 32
• 3.3.1 Acceleration(가속기) 설계 ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙ 32
• 3.3.2 YOLO v4 tiny 설계 ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙ 38
• Ⅳ. 실험 구현 및 평가
• 4.1 설계 가속기 성능 실험 ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙ 41
• 4.2 균열 검출 실험 ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙ 43
• Ⅴ. 결론 및 추후 연구 ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙ 46
• 참고문헌 ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙ 47
• 국문초록 ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙ 50
• 영문초록 ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙ 51