BIM 기반 LLM 모델 개발을 위한 학습 데이터 처리와 파인튜닝 프로세스 개발 = Training data and fine-tuning process for developing LLM-based BIM domain knowledge model

국문 초록 (Abstract)

최근, 발전 중인 생성 AI 기술인 LLM(Large Language Model)은 건설을 포함한 다양한 산업 분야에 많은 관심을 받고 있다. 본 연구는 건설 분야에서 데이터 허브 역할을 하는 BIM(Building Information Modeling)을 LLM과 효과적으로 연계하여, BIM 기반 의사결정시스템 구현 시 필요한 전문가 시스템의 핵심 기술로서 LLM 기술 적용 가능성을 연구하고자 한다. BIM 지식 전문가 시스템 개발의 관점에서 보면, LLM을 효과적으로 활용하기 위해서는 과도한 학습 데이터 개발 비용, 환각 문제 등을 해결해야 한다. 본 연구는 이런 문제를 해결하기 위해 BIM 기반 LLM 모델 개발을 위한 학습 데이터 처리와 파인튜닝 프로세스를 제시한다. 이후, 프로토타입을 개발하고, 성능을 비교 분석하여, BIM기반 LLM모델 개발 시 고려사항을 도출한다. 이를 통해, 제시한 방법의 효율성, 한계점 및 향후 연구방향을 기술하였다. 프로토타입 개발을 통한 성능 분석 결과, BIM기반 LLM은 학습 컨텐츠의 맥락 내에서 유사한 결과를 요약해 생성하는 것을 확인할 수 있었다. 좋은 BIM 기반 LLM모델 성능을 위해서는 고품질 학습 데이터셋 및 파인튜닝 기법 개발이 중요하다.

다국어 초록 (Multilingual Abstract)

Recently, LLM (Large Language Model), a generative AI technology under development, has attracted considerable attention in various industries, including construction. This study examined the possibility of applying LLM technology as a core technology of the expert system required for implementing a BIM (Building Information Modeling)-based decision-making system by effectively linking BIM, which acts as a data hub in the construction field, with LLM. From the perspective of developing a BIM knowledge expert system, excessive learning data development costs and hallucination problems must be solved to utilize LLM. This study presents learning data processing and fine-tuning processes for developing a BIM-based LLM model to solve these problems. Subsequently, a prototype was developed. The performance was compared, and the considerations for developing a BIM-based LLM model were derived. Through this, the efficiency, limitations, and future research directions of the proposed method are described. Performance analysis through prototype development confirmed that BIM-based LLM summarizes and generates similar results within the context of the training dataset. For good BIM-based LLM model performance, high-quality learning datasets and fine-tuning technique development are important.

참고문헌 (Reference)

1 V. Raunak, "The curious case of hallucinations in neural machine translation"

2 권오철 ; 조주원, "Space Usage Knowledge Extraction from BIM Data by Decision Tree and Expert System" 24 (24): 126-134, 2019

3 강태욱, "Ontology BIM-based Knowledge Service Framework Architecture Development" 12 (12): 52-60, 2022

4 E. J. Hu, "Lora : Low-rank adaptation of large language models"

5 ISO, "ISO/TS 19166, Geographic information - BIM to GIS conceptual mapping (B2GM)"

6 U. M. Kim, "Efficacy of Retrieval Augmented Generation-Based Large Language Models for Generating Construction Safety Information" 1-12, 2024

7 J. Zheng, "Dynamic prompt-based virtual assistant framework for BIM information search" 155 : 10-15, 2023

8 우치문 ; 김미경 ; 전한종, "Design Knowledge Classification based BIM Design System Framework-Representation of Building Scale Estimation Design Knowledge" 32 (32): 21-28, 2016

9 J. G. Jeong, "Current Research and Future Directions for Off-Site Construction through LangChain with a Large Language Model" 14 (14): 23-27, 2024

10 J. Zhang, "ArchGPT : harnessing large language models for supporting renovation and conservation of traditional architectural heritage" 12 (12): 220-229, 2024

11 이현수 ; 박서경 ; 김인한 ; 이진국, "A Logical Rule-based Approach to the Korea Architecture Code Sentences for BIM-enabled Design Assessment Systems" 34 : 101-110, 2015