Detecting Multi-Writer Mixtures in Handwritten Documents via Multiple Instance Learning = 다중인스턴스학습을이용한필기 문서내 혼합필자탐지

다국어 초록 (Multilingual Abstract)

Handwriting examination techniques have traditionally been developed under the assumption that all handwriting within a document comes from a single writer, which imposes fundamental limitations on detecting locally mixed forgeries within the document. To overcome this, the present study proposes a Multiple Instance Learning (MIL)–based framework for the automatic detection of partial forgeries in a single document. The proposed framework combines deep learning–based feature extraction with metric learning to obtain fine-grained embeddings of writer-specific characteristics, and applies these embeddings within an MIL algorithm to determine whether a document has been forged. Experimental results show that the framework achieves meaningful performance not only in sentence-level forgery scenarios with rich information, but also in more challenging word-level local forgery scenarios. Detailed analyses reveal that detection performance improves as the proportion of forged instances increases, and additional experiments identify the data scale required for stable convergence of the model’s performance. Furthermore, by using an attention mechanism to visually highlight suspicious regions, the framework enhances interpretability beyond simple binary decisions.
In conclusion, this study demonstrates that the proposed MIL framework learns solely from bag-level document labels without explicit instance-level annotations indicating forged locations, while still detecting within-document writer mixtures effectively.

국문 초록 (Abstract)

필적 감정 기술은 주로 단일 필자 가정을 전제로 발전해 왔으나, 이는 문서 내에 국소적으로 혼합된 위조를 탐지하는 데 근본적인 한계를 갖는다. 이에 본 연구는 단일 문서 내에서 발생하는 부분 위조를 자동으로 탐지하기 위해 Multiple Instance Learning (MIL) 기반의 프레임워크를 제안한다. 제안된 프레임워크는 딥러닝 기반의 특징 추출 모델과 메트릭 러닝 기법을 결합하여 필자 고유의 특징을 정교하게 임베딩하고, 이를 MIL 알고리즘에 적용하여 문서의 위조 여부를 판별하도록 설계되었다. 실험 결과, 정보량이 풍부한 문장 단위의 위조 시나리오뿐만 아니라, 탐지 난이도가 높은 단어 단위의 국소적 위조 시나리오에서도 유의미한 성과를 기록하였다. 상 세 분석에서는 문서 내 위조된 인스턴스의 비율이 높아질수록 탐지 성능이 비례하여 향상되는 경향을 확인하였으며, 추가적인 실험을 통해 모델의 성능이 안정적으로 수렴하기 위해 요구되는 학습 데이터의 규모 조건을 제시하였다. 아울러 모델의 어텐션 메커니즘을 통해 위조가 의심되 는 특정 구간을 시각적으로 강조하여 제시함으로써, 단순한 위조 여부 판별을 넘어 결과의 해석 가능성까지 확보하였다. 결론적으로 본 연구는 개별 단어에 대한 레이블 없이도 문서 수준의 학습만으로 단일 문서 내 필적 혼합 여부를 탐지할 수 있음을 입증하였다.

목차 (Table of Contents)

• 1 Introduction 1
• 2 Previous work 3
• 3 Proposed Method 8
• 3.1 Feature Extraction 8
• 3.1.1 Transfer Learning (ViT) 9
• 3.1.2 Metric Learning (ArcFace) 11
• 3.2 Forgery Detection 13
• 3.2.1 Overview of MIL-based forgery detection 13
• 3.2.2 Forgery detection models 17
• 4 Data analysis 21
• 4.1 Dataset 21
• 4.2 Scenario-wise experiments and analysis 22
• 4.2.1 Case A: Local (word-level) forgery scenario and data generation 23
• 4.2.2 Case B: Sentence-level forgery scenario and data generation 33
• 4.3 Effect of training scale 42
• 5 Conclusion 45
• 6 References 47
• 7 Korean Abstract 50