An Interactive Large Language Model Framework for Trust Formation in Construction Cost Estimation : From User Intent to Preliminary Cost = 사용자 설계의도 반영 대화형 LLM 기반 건설 개산견적 및 신뢰 형성

다국어 초록 (Multilingual Abstract)

Preliminary cost estimation is a high-stakes decision-making activity in construction, where early judgments made under uncertainty constrain downstream design, budgeting, and procurement outcomes. While recent AI-based preliminary cost estimation systems have improved data processing and predictive performance, they largely remain non-interactive and black-box in nature, providing limited support for the revision-oriented workflows and process transparency that characterize real-world early-stage cost decision making. As a result, user trust in AI-generated outcomes is often poorly calibrated and weakly grounded in the estimation process. Accordingly, this study develops an LLM-based interactive system that enables iterative, user-driven cost reasoning and examines how such interaction shapes user trust in preliminary construction cost estimation. The system integrates reference-project retrieval, structural adjustment, and unit-price-based cost calculation within a unified orchestration architecture, exposing intermediate estimation states and allowing users to revise structural and finishing assumptions while receiving immediate cost feedback. The system was validated as a plausible preliminary cost-estimation tool using 25 real public building projects, confirming that its cost outputs fall within the AACE Class-2 accuracy range. Building on this validated framework, a within-subject user study compared interactive and non-interactive estimation workflows using identical computational logic and project data. User trust and perceived understanding were measured using the Trust in Automation Scale (TIAS) and the Trust of Automated Systems Test (TOAST). The results show that interactive estimation produced significantly higher levels of trust and understanding than non-interactive estimation. Qualitative analysis indicates that this effect is driven by stepwise visibility of intermediate estimation states, immediate responsiveness to user-initiated revisions, and the ability to explore alternative cost scenarios. By demonstrating how revision-oriented interaction governs user trust in AI-assisted cost estimation, this study highlights the central role of interaction design in enabling the practical adoption of LLM-based decision-support systems in high-uncertainty construction contexts.

국문 초록 (Abstract)

건설 프로젝트의 개산견적은 불완전한 정보 하에서 사업 타당성, 예산, 설계 결정을 좌우하는 고위험 의사결정 과정이다. 기존의 AI 기반 개산견적 방식은 고정된 변수 구조와 비대화형 추론에 의존하여, 설계 조건이 반복적으로 변화하는 초기 단계 개산견적의 실제 업무 흐름을 충분히 반영하지 못하며, 이로 인해 AI가 생성한 결과에 대한 사용자 신뢰가 불안정하게 형성되는 문제가 존재한다. 이에 본 연구는 자연어 기반 상호작용을 통해 사용자가 개산견적 과정을 반복적으로 수정할 수 있는 대화형 LLM 기반 개산견적 시스템을 구축하고, 이러한 상호작용이 사용자 신뢰 형성에 미치는 영향을 실증적으로 분석한다. 제안 시스템은 기준 프로젝트 검색, 구조 및 공사비지수 보정, 마감재 추출, 의미 기반 단가 매칭, 합성단가 계산을 하나의 통합 오케스트레이션 구조로 결합하여, 중간 추정 상태와 가정을 단계적으로 노출하고 사용자가 구조와 마감재를 수정할 때마다 비용 변화를 즉시 반영하도록 설계되었다. 먼저 실제 공공건축 25개 프로젝트를 대상으로 시스템의 개산견적 타당성을 검증한 결과, 평균절대오차율(MAPE)은 7.43%였으며, 상대오차의 95% 신뢰구간(−6.9%~+3.1%)이 AACE RP 56R-08 Class 2 범위에 포함되어 개념설계 단계에서 기술적으로 합리적인 수준의 추정 성능을 확인하였다. 이 분석은 이후 사용자 실험에서 활용된 추정 로직이 신뢰 분석을 수행하기에 안정적인지를 판단하기 위한 기술적 기준선으로 사용되었다. 이를 기반으로 동일한 계산 로직과 데이터 환경 하에서 비대화형 조건과 대화형 조건을 비교하는 사용자 실험을 수행하였다. 사용자 신뢰와 이해도는 각각 TIAS와 TOAST로 측정되었으며, 실험 결과 대화형 조건에서 비대화형 조건보다 유의하게 높은 신뢰와 이해도가 나타났다(TIAS: 5.88 vs. 5.06, TOAST: 6.08 vs. 5.53; p = .0002). 정성 분석 결과, 이러한 차이는 중간 추정 상태의 단계적 가시화, 사용자 요청에 대한 즉각적 반응, 그리고 대안 시나리오를 탐색 및 비교할 수 있는 가능성에 의해 형성된 것으로 나타났다. 본 연구는 동일한 계산 체계를 유지한 채 상호작용 방식만을 변화시켜, 대화형 LLM 기반 개산견적에서 사용자 신뢰가 어떻게 형성되는지를 규명하였다. 이는 고불확실성 건설 의사결정 환경에서 개산견적의 신뢰성은 단순한 수치 정확도만이 아니라, 사용자가 AI의 추론 과정을 어떻게 경험하고 개입할 수 있는지에 의해 좌우된다는 점을 보여준다.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• 1. 1. Motivation 1
• 1. 2. Problem Statement 4
• 1. 3. Research Objectives 7
• Chapter 2. Background 9
• 2. 1. Application of LLMs in Construction Cost Estimation 9
• 2. 2. Enabling Components for LLM - based Automation in Construction 11
• 2. 3. Trust Formation and Human–AI Interaction in Construction Decision-making 14
• Chapter 3. Development of an Interactive LLM-based Cost Estimation Framework 17
• 3. 1. Methodology Framework 17
• 3. 2. Reference Project Selection and Structural Modification 20
• 3. 3. Finishing Material Extraction 27
• 3. 4. Unit Price Matching 33
• 3. 5. Composite Unit Rate Calculation 38
• 3. 6. Interactive Orchestration 45
• Chapter 4. Experimental Design 48
• 4. 1. Experiment Setup – Prediction accuracy 48
• 4. 2. Experiment Setup – User Trust 51
• Chapter 5. Results 62
• 5. 1. Cost Estimation Accuracy Results 62
• 5. 2. User Trust Evaluation Results 67
• 5. 3. Post-survey Qualitative Results 70
• Chapter 6. Discussion 76
• 6. 1. Technical Performance and Its Role as a Controlled Baseline for Trust Analysis 76
• 6. 2. Cognitive and Experiential Factors Shaping User Trust in Interactive Estimation 78
• 6. 3. Practical Implications for Construction Cost Management 81
• Chapter 7. Conclusion 83
• 7. 1. Conclusion 83
• 7. 2. Limitations and Future Work 85
• Bibliography 87
• Abstract in Korean 95