Similar Engineering Drawing Retrieval System Integrating Shape and Attribute Information = 형상 및 속성 정보를 통합한 유사 공학 도면 검색 시스템

다국어 초록 (Multilingual Abstract)

The efficient utilization of 2D-CAD drawing assets accumulated in the manufacturing industry is crucial for cost reduction and the inheritance of design knowledge. However, existing retrieval systems face two significant challenges: the prohibitive labor costs re- quired for manual attribute registration, and the limitations in search accuracy due to reliance solely on geometric shapes, which fails to capture semantic nuances. Further- more, unlike general imagery, the interpretation of technical drawings requires advanced engineering knowledge. Consequently, acquiring large-scale labeled datasets, which are indispensable for deep learning applications, poses a significant challenge specific to this domain. To address these issues, this study proposes a novel drawing retrieval system that leverages deep learning to automate the extraction of both shape and attribute in- formation. The proposed system features an automated registration pipeline utilizing YOLO11 for region detection, Qwen2-VL for structuring title block attributes such as part names and materials, and Yomitoku for digitizing annotation information, thereby eliminating the need for manual data entry. Additionally, this study introduces a feature extraction model trained via con- trastive learning based on the CLIP framework. By utilizing part name text automati- cally extracted by a VLM as pseudo-labels for drawing images, the model learns semantic visual representations from a large-scale dataset of 20,000 unlabeled drawings without requiring manual annotation. In evaluation experiments using actual manufacturing drawings, the proposed method achieved a Recall@5 of 91.1%, significantly outperforming the baseline model trained on manually labeled data, which recorded 80.7%. Furthermore, the method achieved a Re- call@10 of 96.4%, demonstrating that the proposed approach effectively integrates visual and semantic information to realize high-precision retrieval while dramatically reducing implementation costs.

국문 초록 (Abstract)

제조업에서 축적된 2D-CAD 도면 자산의 효율적인 활용은 비용 절감과 설계 지식의 계승을 위해 매우 중요하다. 그러나 기존 검색 시스템은 속성 정보를 수동으로 등록하는 데 소요되는 막대한 인력 비용과, 기하학적 형상에만 의존하여 의미적 차이를 포착하지 못하는 검색 정확도의 한계라는 두 가지 큰 문제에 직면해 있다. 또한 일반 적인 이미지와 달리 도면 해석에는 고도의 공학적 지식이 요구되므로, 딥러닝 적용에 필수적인 라벨링 데이터를 대규모로 확보하기가 현저히 어렵다는 분야 특유의 과제도 존재한다. 이러한 문제들을 해결하기 위해 본 연구는 딥러닝을 이용하여 형상과 속성 정보의 추출을 모두 자동화하는 새로운 도면 검색 시스템을 제안한다. 제안하는 시스템은 영역 검출에 YOLO11, 부품명 및 재질 등 표제란 속성의 구조화에 Qwen2-VL, 그리고 주석 정보의 디지털화에 Yomitoku를 활용한 자동 등록 파이프라인을 갖추고 있으며, 이를 통해 수동 데이터 입력의 필요성을 배제하였다. 또한 본 연구에서는 CLIP 프레임워크 기반의 대조 학습을 통해 훈련된 특징 추출 모델을 도입한다. VLM에 의해 자동 추출된 ‘부품명’ 텍스트를 도면 이미지의 지도 라벨로 활용함으로써, 모델은 별도의 수동 주석 없이 20,000장의 라벨 없는 대규모 도면 데이터셋으로부터 의미론적 시각 표현을 학습한다. 실제 제조 도면을 이용한 평가 실험에서 제안 방법은 Recall@5 지표에서 91.1%를 달성하여, 수동 라벨 데이터로 훈련된 베이스라 인 모델이 기록한 80.7%의 성능을 크게 상회하였다. 아울러 Recall@10에서도 96.4%를 달성하여 제안 기법이 시각적 및 의미적 정보를 효과적으로 통합하여 도입 비용을 획기적으로 절감하면서도 고정밀 검색을 실현함을 입증하였다.

목차 (Table of Contents)

• I. Introduction 1
• 1. Background and Objective of the Research 1
• 2. Related Work 5
• 3. Overview of the Research 7
• 4. Organization of This Thesis 8
• II. Deep Learning 9
• 1. Convolutional Neural Network (CNN) 10
• 1.1. Pooling Layer 11
• 1.2. Representative CNN Architectures 11
• 2. Vision Transformer (ViT) 13
• 2.1. Transformer and Self-Attention 14
• 2.2. Image Processing Mechanism of ViT 15
• 3. Embedding Representations and Similarity Search 15
• 3.1. Embedding Representations 15
• 3.2. Similarity Calculation 16
• 4. You Only Look Once (YOLO) 17
• 4.1. Overview of YOLO 17
• 4.2. YOLO11 20
• 5. CLIP (Contrastive Language-Image Pre-training) 22
• 5.1. Principle of Contrastive Learning 23
• 6. Qwen2-VL 24
• 6.1. Overview of Qwen2-VL 24
• 6.2. Model Structure and Multimodal Processing 25
• 7. Low-Rank Adaptation (LoRA) 27
• 7.1. Algorithm of LoRA 27
• 7.2. Advantages of LoRA and Behavior during Inference 28
• 8. Yomitoku 29
• III. Proposed Drawing Retrieval System 30
• 1. Overall Workflow of the Drawing Retrieval System 31
• 1.1. Separation of Information via Region Extraction 32
• 1.2. Structuring of Title Block Information via VLM 33
• 1.3. Structuring of Note Information via OCR and Keyword Ex- traction 34
• 1.4. Extraction of Shape Features via Trained Model 36
• 1.5. Construction of Multimodal Database 36
• 2. Retrieval Process 37
• 2.1. Similar Shape Retrieval 37
• 2.2. Keyword Search based on Attribute Information 37
• IV. Construction and Performance Evaluation of Feature Extrac- tion Model 38
• 1. Construction of Feature Extraction Model 38
• 2. Performance Evaluation via Similarity Retrieval Task 40
• 2.1. Comparative Methods 40
• 2.2. Experimental Setup 41
• 2.3. Experimental Results and Discussion 43
• V. Conclusion 45
• 1. Summary of This Thesis 45
• 2. Future Work 46