LLM과 RAG를 활용한 PMBOK 기반 건설 사업계획서 자동 평가 모델 개발에 관한 연구 = A Study on the Development of a PMBOK-based Automated Evaluation Model for Construction Business Plans Using LLM and RAG

국문 초록 (Abstract)

전 세계적으로 건설 산업은 타 산업 대비 낮은 생산성과 디지털 전 환율을 보이고 있다. 특히 시공 단계의 물리적 자동화(로봇, 드론 등) 연구에 비해, 프로젝트의 성패를 좌우하는 초기 기획 및 사업계획 단 계의 지능화 연구는 상대적으로 미흡한 실정이다. 기존의 건설 사업 계획서 검토 방식은 관리자의 경험과 주관에 의존하여 인적 오류 (Human-error)의 위험이 있고, 방대한 문서를 검토하는 데 많은 시간 과 비용이 소요된다는 한계가 있다. 이에 본 연구는 대규모 언어 모 델(Large Language Model)과 검색 증강 생성(Retrieval-Augmented Generation) 기술을 결합하여, 국제 프로젝트 관리 표준인 PMBOKⓇ (A Guide to the Project Management Body of Knowledge) 6th Edition을 기준으로 건설 사업계획서를 자동으로 분석하고 평가하는 모델을 개발하는 것을 목적으로 한다. 이를 통해 검토 업무의 효율성 을 높이고, 객관적이고 표준화된 평가 체계를 구축하고자 한다. 본 연구는 건설 프로젝트 초기 단계의 비정형 텍스트 데이터인 사 업계획서를 분석 대상으로 한다. 평가 기준으로는 PMBOK의 10대 지 식 영역(통합, 범위, 일정, 원가, 품질, 자원, 의사소통, 리스크, 조달, 이해관계자 관리)과 5대 프로세스 그룹(착수, 기획, 실행, 감시 및 통 제, 종료)을 설정하였다. 기술적으로는 데이터 보안을 위해 외부 서버 전송이 없는 로컬 LLM 환경을 구축하였으며, LLM의 환각 현상 (Hallucination)을 방지하기 위해 RAG 기술을 적용하여 답변의 근거 를 PMBOK과 사업계획서 내에서 찾도록 설계하였다. 또한, BERTScore(Bidirectional Encoder Representations from Transformers Score)를 활용한 정량적 평가와 LLM-as-a-Judge를 도입한 자가 검증 시스템을 통해 평가 결과의 논리성과 구체성을 검 증하였다. 개발된 자동 평가 모델을 실제 건설 사업계획서 2건(○○ 지식산업 센터, △△ 지식산업센터)에 적용하여 분석한 결과는 다음과 같다. 첫 째, 정량적 평가에서 BERTScore F1 점수가 0.75 이상으로 측정되어, 생성된 평가 보고서가 PMBOK 및 사업계획서의 원문 맥락을 충실히 반영하고 있음을 확인하였다. 또한, 방사형 그래프를 통해 프로젝트별 강점과 약점을 시각적으로 도출하였다. 둘째, 정성적 평가 결과, 모델 은 각 지식 영역별로 구체적인 문제점을 식별하고, PMBOK에 근거한 실무적 개선 방안을 논리적으로 제시하였다. 셋째, 본 연구에서 제안 하는 LAG를 활용한 LLM과 범용 LLM인 GPT-5에 대한 비교 실험 을 통해, 일반적인 범용 LLM인 GPT-5에 비해 본 연구의 RAG를 활 용한 모델이 전문적인 문서 평가에서 훨씬 높은 정확도와 맥락 이해 도를 보임으로써 도메인 특화 RAG 시스템의 필요성을 입증하였다. 본 연구는 기존의 정형 데이터 중심 분석에서 벗어나, 서술형 텍스 트로 된 건설 사업계획서를 PMBOK이라는 국제 표준에 맞춰 자동으 로 해석하고 진단하는 파이프라인을 구축했다는 데 의의가 있다. 제 안된 모델은 초기 사업계획 단계에서 반복적인 검토 업무를 자동화하 여 업무 효율성을 획기적으로 개선하고, 리스크를 사전에 식별하여 프로젝트 성공률을 높이는 데 기여할 수 있다. 또한, 로컬 LLM 구축 을 통해 기업의 민감한 데이터 보안 문제를 해결하면서도 실무에 적 용 가능한 AI 도입의 기반을 마련하였다. 향후 다양한 유형의 사업계 획서 데이터 확보와 회사 내규 등 참조 문서의 확장을 통해 모델의 범용성을 더욱 높일 수 있을 것으로 기대된다.

목차 (Table of Contents)

• 국문요약 ⅰ
• 목 차 ⅲ
• 표 목 차 ⅵ
• 그림목차 ⅶ
• I. 서론 1
• 1.1 연구 배경 및 목적 1
• 1.1.1 연구 배경 1
• 1.1.2 연구 목적 3
• 1.2 연구 범위 및 방법 5
• 1.2.1 연구 범위 5
• 1.2.2 연구 방법 5
• II. 이론적 고찰 7
• 2.1 사업계획서 검토 연구 현황 7
• 2.1.1 국내 선행연구 7
• 2.1.2 해외 선행연구 8
• 2.2 건설 산업의 AI 관련 연구 현황 10
• 2.2.1 국내 선행연구 10
• 2.2.2 해외 선행연구 11
• 2.3 거대 언어 모델 연구 현황 12
• 2.3.1 국내 선행연구 12
• 2.3.2 해외 선행연구 13
• 2.4 PMBOK 6th Edition 분석 15
• 2.4.1 10가지 지식 영역 15
• 2.4.2 5가지 프로세스 그룹 21
• 2.5 소결 24
• III. 자동 평가 모델 개발 31
• 3.1 평가 모델 작동 흐름 31
• 3.2 모델 설계 33
• 3.2.1 개발 환경 33
• 3.2.2 활용 Python 패키지 33
• 3.2.3 활용 Python 함수 35
• 3.3 프롬프트 설계 38
• 3.3.1 프롬프트 설계의 중요성 38
• 3.3.2 프롬프트 설계 개요 38
• 3.3.3 사업계획서 요약 프롬프트 설계 39
• 3.3.4 평가 및 영역별 총평 프롬프트 설계 40
• 3.3.5 Judge 평가 프롬프트 설계 41
• 3.4 보고서의 품질 평가 설계 42
• 3.4.1 BERTScore 개요 42
• 3.4.2 BERTScore 적용 방안 42
• 3.4.3 LLM-as-a-judge 개요 43
• 3.4.4 LLM-as-a-judge 적용 방안 44
• IV. 사례 적용 및 평가 결과 45
• 4.1 사례 분석 45
• 4.1.1 ○○ 지식산업센터 사업계획서 분석 45
• 4.1.2 △△ 지식산업센터 사업계획서 분석 46
• 4.2 평가 결과 48
• 4.2.1 정량적 평가 48
• 4.2.2 정성적 평가 52
• V. 결론 55
• 참고문헌 57
• Abstract 61
• 감사의글 63
• Appendix 65