원자력 품질증빙서류의 배관 화학조성 데이터 자동 추출 및 연계를 위한 지능형 시스템 연구 = A Study on an Intelligent System for Automated Extraction and Linkage of Piping Chemical Composition Data from Nuclear Quality Verification Documents

다국어 초록 (Multilingual Abstract)

Pipe wall thinning assessment is essential for ensuring the long-term operational safety of nuclear power plants, which requires accurate acquisition of the actual chemical composition of piping materials. However, the Quality Verification Documents (QVD) that contain this information exist primarily as unstructured scanned images, and their visual layout and structural patterns are highly inconsistent, making systematic database construction fundamentally difficult.
To address these challenges, this study proposes an intelligent system that automatically extracts and links piping chemical composition data by integrating deep learning-based document analysis with the stepwise reasoning capabilities of a Multi-Modal Large Language Model (MM-LLM). Although conventional approaches that combine object detection and Optical Character Recognition (OCR) are effective for structured documents, they exhibit inherent limitations in reconstructing complex logical relationships within unstructured documents. To overcome this, we designed a hierarchical inference methodology for the MM-LLM based on a Divide-and-Conquer strategy and Conditional Prompting.
Instead of interpreting a full document at once, the proposed system first analyzes small, high-confidence regions containing chemical composition data, then progressively expands its reasoning scope to larger table regions and full-page images containing identifying information such as Heat No. At each stage, tailored conditional prompts guide the MM-LLM to infer precise semantic relationships between identifying information and corresponding chemical composition values by leveraging visual cues. Additionally, recognizing the practical difficulty of complete automation for industrial documents, a user correction interface was integrated to establish a realistic human-in-the-loop workflow that ensures data integrity.
Experiments conducted using actual QVD from nuclear power plants demonstrated that the proposed divide-and-conquer-based reasoning strategy significantly improved the stability of chemical composition table recognition and the accuracy of data linkage compared with conventional single-image processing. The system effectively restored the underlying logical structure even in irregular document layouts, substantially reducing manual workload and improving operational efficiency.
Overall, this study presents an intelligent system that maximizes the inferential capabilities of MM-LLM for unstructured industrial documents. The proposed approach provides a technological foundation for automatically constructing key data required for pipe wall thinning prediction and is expected to contribute to digital transformation and the advancement of predictive maintenance strategies in the nuclear sector.

국문 초록 (Abstract)

원자력 발전소의 장기적인 운영 안전성을 확보하기 위해서는 배관 감육 평가가 필수적이며, 이를 위해서는 실제 배관 재질의 화학조성 데이터를 정확하게 확보하는 것이 요구된다. 그러나 해당 데이터를 포함하는 품질증빙서류(Quality Verification Documents, QVD)는 대부분 비정형 스캔 이미지 형태로 존재하며, 정보의 배치와 구조가 일관되지 않아 체계적인 데이터베이스화에 근본적인 어려움이 있다.
본 연구는 이러한 문제를 해결하기 위해, 딥러닝 기반의 문서 분석 기술과 멀티모달 대규모 언어 모델(Multi-Modal Large Language Model, MM-LLM)의 단계적 추론을 통합하여 배관 화학조성 데이터를 자동으로 추출 및 연계하는 지능형 시스템을 제안한다. 기존의 객체 탐지 및 OCR(Optical Character Recognition)을 결합한 접근은 정형 문서의 인식에는 유효하나, 비정형 문서 내에 산재된 정보 간의 복잡한 논리적 관계를 재구성하는 데에는 구조적 한계가 있다. 이를 극복하기 위해, MM-LLM에 분할 정복(Divide and Conquer) 전략과 조건부 프롬프팅(Conditional Prompting)을 적용한 단계적 추론 방법론을 설계하였다.
제안된 시스템은 문서를 한 번에 해석하는 대신, 신뢰도가 높은 작은 단위의 화학조성 데이터 영역부터 우선 분석하고, 점차 Heat No.와 같은 식별 정보를 포함한 확장된 테이블 및 전체 이미지로 해석 범위를 넓혀가는 점진적 확장 방식을 채택하였다. 이 과정에서 각 단계에 최적화된 조건부 프롬프트를 적용하여 MM-LLM이 식별 정보와 화학조성 데이터 간의 의미적 연결을 시각 정보를 활용하여 정밀하게 추론하도록 유도하였다. 또한, 100% 자동화가 어려운 산업 문서의 특성을 고려하여, 사용자 보정 인터페이스를 통합함으로써 데이터의 무결성을 보장하는 현실적인 협업 워크플로우를 구축하였다.
실제 원자력 발전소 QVD 데이터를 이용한 실험 결과, 제안된 분할 정복 기반 추론 전략은 기존의 단일 이미지 처리 방식 대비 화학조성 테이블의 인식 안정성과 데이터 연계의 정확성을 현저히 향상시킴을 확인하였다. 특히, 비정형적인 레이아웃에서도 데이터의 논리적 구조를 효과적으로 복원함으로써, 기존 수작업 대비 업무 효율성을 크게 개선할 수 있음을 입증하였다.
본 연구는 비정형 산업 문서를 대상으로 MM-LLM의 인지적 추론 능력을 극대화할 수 있는 지능형 시스템을 구현하였다. 이는 배관 감육 예측에 필요한 핵심 데이터를 자동으로 구축할 수 있는 기술적 기반을 제공함과 동시에, 향후 원자력 분야의 디지털 전환과 예지적 유지보수 체계 고도화에 기여할 것으로 기대된다.