건설현장 ‘일일 위험성 평가서’ 자동 생성 모델 : ‘Vision-Language Model (VLM)’을 활용하여 = Automated Generation Model for Daily Construction Risk Assessment Reports : Utilizing Vision-Language Model (VLM)

국문 초록 (Abstract)

최근 「중대재해처벌법」 시행 등으로 인해 건설현장의 안전관리, 특히 위험성 평가 업무의 부담이 급격히 증가하고 있다. 현재 건설업에서는 위험성 평가를 통해 각 공종의 위험요인을 식별하고 안전관리대책을 수립하고 있다. 이에 대한 체계적인 관리를 위해, 건설현장에서의 안전관리대책 이행 사진을 촬영하고, 이를 본사에서 검토 및 관리하는 방식으로 ‘일일 위험성 평가서’를 작성하고 있다. 그런데, 현장에서 촬영된 사진의 품질이 안전관리 담당자의 이해도 및 태도에 따라 상당히 달라질 수 있고, 대규모 현장의 모든 이미지를 일일이 확인하기 어려운 상황이기 때문에, 안전관리대책 이행이 ‘미흡’한 경우에도, 이를 명확히 평가하지 못한 채 ‘이행’으로 처리되는 한계가 존재한다. 이와 같이, 안전관리대책 수립을 위해 많은 인력과 시간이 투입되고 있지만, 안전관리대책 ‘이행’ 여부에 대한 관리가 미흡한 실정이다.
이러한 한계를 극복하기 위하여, 본 연구에서는 'Vision-Language Model(VLM)'을 활용하여 '일일 위험성 평가서' 자동 생성 모델을 구축하였다. 제안모델에서는, 안전관리대책에 대한 이미지를 3가지 평가 기준 ((i) 핵심 객체 식별성, (ii) 상황 적합성, (iii) 실행 적정성)에 따라 분석할 수 있도록 ‘프롬프트 엔지니어링(Prompt Engineering)’ 기법을 적용하였다. 더불어, 각 평가 기준에 대한 분석 설명이 추출되면, 상용 LLM(GPT-4o) 모델을 통해 1~5점(소수점 1자리)의 점수 산출을 위한 루브릭 평가를 수행함으로써, 안전관리대학에 대한 ‘이행/미이행’을 자동 분류하도록 하였다.
본 연구에서는 일일 위험성 평가서의 분류체계 중 “골조공사 - 콘크리트 타설 - 슬라브 타설” 공종을 대상으로 구축한 1,146건의 ‘안전관리대책-이미지’ 1:1 매칭 데이터셋을 활용하였다. 분석 결과에 따르면, 기본 ‘상용 VLM’ 모델과 비교하여, 제안모델의 정확도 (Weighted Accuracy)가 74.77%에서 88.58%로 약 13.81%p 향상되었다. 이와 같이, ‘프롬프트 엔지니어링’ 기반의 제안 모델에 대한 타당성을 입증하였다. 본 연구는 ‘VLM과 같은 AI 기술’을 활용하여 건설현장 안전관리 자동화의 가능성을 검증하였다는 점에서 의의가 있다. 본 연구에서 제안한 모델을 ‘일일 위험성 평가 시스템’에 통합하여, 안전관리대책 이행 여부의 자동 판별 및 보고서 생성 자동화를 실현시킴으로써, 건설현장의 안전관리 효율성과 신뢰성을 동시에 향상시킬 수 있을 것으로 기대된다.

목차 (Table of Contents)

• 국 문 초 록 i
• 목 차 iii
• 표 목 차 v
• 그 림 목 차 vi
• 제 1장 서론 1
• 1.1. 연구 배경 및 목적 1
• 1.2. 기존 연구의 동향 4
• 1.3. 기존 연구의 한계 7
• 제 2장 연구 방법 10
• 2.1. 연구 범위 및 데이터 수집 11
• 2.2. 모델 개발 14
• 2.2.1. ‘상용 VLM’을 활용한 이행/미이행 분류 모델 14
• 2.2.2. ‘프롬프트 엔지니어링’ 기반 이행/미이행 분류 모델 15
• 2.3. 모델 평가 23
• 2.3.1. Weighted Accuracy 24
• 2.3.2. 미이행 오답률(Type2) 26
• 2.3.3. 이행 오답률(Type3) 28
• 제 3장 분석 결과 30
• 3.1. 모델별 분류성능 비교 30
• 3.2. 모델별 현장 적용성 비교 33
• 3.3. 고찰 41
• 제 4장 결론 45
• 참고문헌 49
• Abstract 54