대규모 언어모델을 활용한 건설기준 온톨로지 기반 지식그래프 질의응답 시스템 = Ontology-driven Knowledge Graph-based Question Answering System for Building Codes using LLM

국문 초록 (Abstract)

최근 건설산업에서 디지털 전환(Digital Transformation, DT)이 경쟁력 강화를 위한 핵심 전략으로 주목받고 있다. 이에 따라 건설 전 과정에서 데이터 기반 의사결정의 중요성이 증대되고 있다. 특히 건설기준을 수작업으로 검토하는 기존의 방식은 많은 시간과 비용을 요구할 뿐 아니라, 해석 오류 및 검토 누락의 가능성이 존재하였다. 이를 해결하기 위한 하나의 방안으로 건설기준에 대한 질의응답 시스템을 통해 건설기준 검토 과정에서 실무자가 필요한 정보를 탐색할 수 있도록 지원하려는 연구들이 수행되고 있다. 특히 설계와 시공 단계에서의 건설기준은 검토 항목이 복잡하고 구조 안전성 확보를 위해 필수적으로 검토가 수행되어야 하므로, 이를 지원하는 질의응답 시스템의 개발이 중요하다. 하지만 기존의 건설기준 질의응답 시스템에 대한 연구들은 주로 건설 안전 관리 및 시공 품질 관리를 중심으로 하여 설계 및 시공 단계에서의 연구는 미흡한 실정이다. 따라서 설계 및 시공 단계의 건설기준을 대상으로 한 질의응답 시스템의 개발이 필요하다. 본 연구에서는 국내 철근콘크리트 보의 휨설계 기준을 대상으로 지식그래프 (Knowledge Graph, KG)를 구축하여 건설기준문서를 컴퓨터가 처리할 수 있는 방식으로 디지털화하고, 이를 LLM (Large Language Model) 기반의 질의응답 시스템과 결합하여 복잡한 설계·시공 단계의 건설기준에 대한 자연어 질문 기반의 질의응답 시스템을 개발하였다. 이를 위해 국내 건설기준문서에서 개체 간 의미적 관계를 반영하여 온톨로지 클래스 및 클래스간 관계를 정의하고, 총 1,035개의 삼중항을 라벨링하였다. 구축된 삼중항을 통해 도메인 지식그래프를 구축하여 건설기준문서를 디지털화하고 질의응답 시스템의 데이터베이스를 구축하였다. 또한 사용자의 자연어 질문으로부터 지식그래프 검색을 수행하기 위해 LLM 파인튜닝을 기반으로 질의유형 분류, 개체명 인식 (Named Entity Recognition, NER), 관계추출 (Relation Extraction, RE) 모듈을 구현하였다. 마지막으로, 응답 생성 모듈을 구현하여 자연어 질문과 지식그래프 검색 결과가 입력되었을 때 응답을 자동으로 생성하는 질의응답 시스템을 개발하였다. 개발된 질의응답 시스템과 기존 LLM만을 활용한 질의응답 시스템의 응답 생성 결과를 비교하여 지식그래프 활용 여부가 응답 성능에 미치는 영향을 분석하였다. 그 결과, 본 연구에서 개발한 질의응답 시스템이 예측한 응답의 EM (Exact Match)이 72.5%로, 기존의 LLM 기반의 방식보다 10.7% 높은 것으로 나타났다. 또한, 질문 유형 중에서 건설기준 내에서 복잡한 개체간 관계나 설계변수 간의 관계에 대한 판단이 필요한 경우 EM이 최대 37.5% 증가하여 지식그래프를 활용하였을 때 보다 정확한 응답을 생성할 수 있음을 확인하였다. 또한, Precision을 산정하여 질의응답 시스템이 예측한 응답의 오류 원인을 검토한 결과 본 연구에서 개발한 질의응답 시스템의 Precision은 82.5%로, 기존의 방식보다 14.6% 증가하여 LLM의 환각이 감소하는 것을 확인하였다. 이에 따라 복잡한 규정 해석이 요구되는 건설기준에 대한 질의응답 과정에서 지식그래프를 활용하였을 때 응답의 정확도를 높이고 환각률을 감소시킬수 있을 것으로 사료된다.

다국어 초록 (Multilingual Abstract)

Recently, Digital Transformation (DT) has emerged as a key strategy for enhancing competitiveness in the construction industry, leading to the growing importance of data-driven decision-making. The traditional review of building code is not only time consuming and but also prone to interpretational errors and omissions. To address these issues, studies is being conducted on Question Answering (QA) systems to support practitioners in information retrieval. While QA systems for design and construction stages are critical due to complex regulatory requirements and structural safety, existing studies have primarily focused on safety and quality management. This study developed a natural languaged-based QA systems for the flexural design standars of reinforced concrete beams in Korea. A Knowledge Graph (KG) was constructed to transform building codes into a computable format, which was then intergrated with a Large Language Model (LLM). To achieve this, ontology classes and relationships were defined based on the semantic logic of the codes, resulting in the labeling of 1,035 triples. These triples were used forming the domain KG ans the database for QA system. Furthermore, LLM fine-tuning was employed to implement modules for quest type classification, Named Entity Recognition (NER), and Relation Extraction (RE) to perform KG searches. Finally, a response generation module was developed to provide automated answers based on the retrieved KG paths. Experimental results demonstrated that the proposed system achieved an Exact Match (EM) score of 72.5%, which is 10.7% higher than the traditional LLM approach. Especially, for complex queries involving intricate entity relationships or design variables, the EM scores increased by up to 37.5%. Additionally, the proposed system achieved a Precision of 82.5% which is 14.6% higher than the traditional approach, effectively mitigating LLM hallucinations. In conclusion, this study established a technical foundation for digitalizing building codes and implementing smart design review systems by demonstrating that the integration of KG can significantly enhance the reliability and accuracy of QA systems in the construction domain.

목차 (Table of Contents)

• 제 1 장 서 론 1
• 제 1 절 연구배경 및 필요성 1
• 제 2 절 연구목적 4
• 제 2 장 연구사 6
• 제 1 절 건설 분야 법규 자동검토 6
• 제 2 절 온톨로지 8
• 1. 온톨로지의 개념 및 표현 8
• 2. 건설 분야 온톨로지 활용 9
• 제 3 절 지식그래프 11
• 제 4 절 질의응답 시스템 12
• 제 3 장 재료 및 방법 14
• 제 1 절 연구대상 14
• 1. 도메인 문서 14
• 2. LLM 15
• 제 2 절 도메인 지식그래프 구축 16
• 1. 온톨로지 모델링 17
• 2. 지식그래프 스키마 설계 19
• 3. 지식그래프 구축 23
• 4. 지식그래프 검증 25
• 제 3 절 지식기반 질문 생성 26
• 1. 템플릿 기반 질문 생성 26
• 2. LLM 재작성을 통한 자연어 질문 생성 27
• 3. 품질 평가 28
• 제 4 절 건설기준 질의응답 시스템 29
• 1. 질의응답 시스템 설계 29
• 2. 지식그래프 시스템 구축을 위한 LLM 학습 방법 32
• 3. 질문 분석 모듈 설계 34
• 4. 응답 생성 모듈 설계 40
• 5. 질의응답 시스템 평가 45
• 제 4 장 결과 및 고찰 48
• 제 1 절 실험설계 48
• 1. 도메인 문서 선정 48
• 2. 질의응답 시스템 설계 48
• 제 2 절 도메인 지식그래프 구축 결과 50
• 1. 온톨로지 구축 결과 50
• 2. 지식그래프 구축 결과 50
• 3. 지식그래프 검증 결과 51
• 제 3 절 지식기반 질문 생성 결과 56
• 1. 질문 생성 결과 56
• 2. 품질 평가 58
• 제 4 절 건설기준 질의응답 시스템 구축 결과 60
• 1. 데이터셋 60
• 2. 질문 분석 모듈 성능 평가 60
• 3. 응답 생성 모듈 성능 평가 61
• 제 5 장 요약 및 결론 70
• 참고문헌 73
• Abstract 80