손글씨 폰트를 활용한 한글 손글씨 인식 성능 향상 연구 = Improving Korean Handwritten Character Recognition Using Handwriting Fonts

국문 초록 (Abstract)

본 논문은 한글 손글씨 OCR의 성능 저하 문제를 분석하기 위해, 한글 단일문자 인식을 완성형 기준 11,172개 클래스를 갖는 대규모 다중 클래스 분류 문제로 정의하고, 합성 데이터 기반 학습의 일반화 한계와 도메인 적응 특성을 분석한다. 문맥 정보와 언어 모델 효과를 배제함으로써, 문자 형태 난이도와 데이터 분포 차이가 모델 성능에 미치는 영향을 독립적으로 평가한다.
이를 위해 Clean Synthetic, Handwriting-like Synthetic, Mixed 데이터셋을 구축하고, ResNet18 기반 단일문자 분류 모델을 동일한 조건에서 학습·비교하였다. 실험은 합성 데이터, 실제 손글씨 zero-shot, 전처리 적용, 그리고 소량의 실제 손글씨를 이용한 파인튜닝 단계로 구성되었다. 그 결과, 합성 데이터 환경에서는 모든 모델이 높은 성능을 보였으나 zero-shot 손글씨 성능은 매우 제한적이었고, 전처리는 제한적인 개선만을 제공하였다. 반면 파인튜닝 이후 Mixed 학습 모델은 Clean 학습 모델 대비 현저히 우수한 성능을 기록하였다.
이는 Mixed 학습의 효과가 zero-shot 일반화가 아닌, 파인튜닝 단계에서의 도메인 적응 효율 향상에 있음을 보여준다.

다국어 초록 (Multilingual Abstract)

This paper analyzes the performance degradation observed in Korean handwritten OCR by formulating single-character recognition as a large-scale multi-class classification problem with 11,172 classes corresponding to complete Hangul syllables. By excluding contextual information and language model effects, the study independently evaluates the impact of character shape complexity and data distribution differences on model performance.
To this end, Clean Synthetic, Handwriting-like Synthetic, and Mixed datasets are constructed, and a ResNet18-based single-character classification model is trained and compared under identical conditions. Experiments are conducted across synthetic data evaluation, zero-shot evaluation on real handwritten data, tuned preprocessing, and fine-tuning using a small amount of real handwritten data. While all models achieve high performance in the synthetic domain, zero-shot performance on handwritten data remains extremely limited, and preprocessing provides only marginal improvement. In contrast, after fine-tuning, the model trained with the Mixed dataset significantly outperforms the model trained with the Clean dataset.
These results indicate that the primary benefit of Mixed training lies not in zero-shot generalization, but in improving the efficiency of domain adaptation during fine-tuning.

목차 (Table of Contents)

• I. 서론 1
• 1. 연구 배경 1
• 2. 한글 OCR의 구조적 특성과 단일문자 인식 문제 2
• 3. 합성 데이터 기반 OCR 학습과 도메인 차이 3
• 4. 연구 문제 정의 및 접근 방식 4
• 5. 연구 기여 5
• 6. 논문의 구성 5
• II. 관련 연구 6
• 1. 딥러닝 기반 OCR 연구 동향 6
• 2. 시퀀스 기반 OCR과 단일문자 인식 설정의 차이 6
• 3. 한글 OCR에서 사용되는 주요 모델 구조 비교 7
• 1) CNN 기반 분류 모델 (ResNet/VGG 등) 8
• 2) CNN+CTC 기반 시퀀스 모델 (CRNN 계열) 8
• 3) Attention / Transformer 기반 OCR 8
• 4) 경량화 모델 (MobileNet/EfficientNet 등) 8
• 4. 한글 OCR 연구 동향 9
• 5. 손글씨 OCR과 합성-실제 도메인 차이 문제 10
• 6. 본 연구의 위치 및 차별점 11
• III. 데이터셋 구축 방법 12
• 1. 데이터셋 설계 개요 12
• 2. 폰트 기반 한글 단일문자 합성 데이터 (Clean Synthetic) 12
• 3. 손글씨 유사 합성 데이터 (Handwriting-like Synthetic) 13
• 4. Mixed 데이터셋 구성 전략 15
• 5. 실제 손글씨 데이터 구성 및 전처리 16
• 6. 데이터셋 구축의 의의 17
• IV. 모델 구조 및 학습 방법 18
• 1. 기준 모델 선택 배경 18
• 2. 입력 특성에 따른 네트워크 구조 수정 18
• 3. 출력 계층 및 학습 목표 정의 19
• 4. 학습 데이터 구성 및 학습 전략 19
• 1) Clean 학습: 구조적 성능 기준선 20
• 2) Mixed 학습: 분포 다양성 기반 사전 학습 20
• 3) Mixed 학습의 검증 전략 20
• 4) Finetune 학습: 도메인 적응 능력의 정량적 평가 21
• 5. 최적화 설정 및 학습 절차 22
• 6. 구현 환경 및 재현성 22
• V. 실험 설계 및 결과 분석 23
• 1. 실험 설계 개요 23
• 2. 평가 지표 24
• 3. 합성 데이터 환경 성능 (Synthetic Test) 25
• 4. Zero-shot 손글씨 인식 성능 25
• 5. Tuned 전처리 적용 효과 26
• 6. 파인튜닝 기반 도메인 적응 효과 26
• 7. 결과 종합 및 해석 27
• VI. 결론 및 향후 연구 방향 28
• 1. 연구 결과 요약 28
• 2. 연구의 의의 29
• 3. 한계점 29
• 4. 향후 연구 방향 29
• 참고문헌 31
• 영문요약 33