한글 획요소 정보를 이용한 CNN 기반 유사 폰트 추천 기법

다국어 초록 (Multilingual Abstract)

With the rise of new media, various forms of communication have emerged, and as a result, online communication has diversified. In order to improve the efficiency and competitiveness of their contents, people’s interest in typeface design is rapidly increasing, and the number of fonts and the designs are diversifying.
Although the influence of typefaces is rapidly increasing, the Hangul font system stores font information only by font names or font manufacturing company names. There are limits when trying to identify the fonts with just the shape of the characters. If the font used is not saved in the computer, the user needs to replace the font with a font similar to the one used in the file, so finding the font can be difficult with the current system since checking all the fonts one by one is time consuming. Also, if the users design a font, they need to find if there are existing ones that are similar to the one they designed which is an exhausting job currently. It is practically impossible to identify and use thousands of Hangul fonts.
Therefore, the influence and importance of typefaces has increased rapidly, but the lack of the Hangul font system has caused inconvenience for both users of fonts and designers who create fonts, making it difficult to use them efficiently. Recently, an increasing number of attempts have been made to solve the typeface-related problem using deep learning technology, but Hangul is a combination of characters, and unlike Roman characters, its structure is complicated, making it difficult to analyze the characters.
The structure of Hangul consists of Stroke Element, Skeleton, and Spacing. Therefore, we believe that analyzing fonts according to the characteristics of Hangul will produce better results.
In this study, we aim to analyze the characteristics of Hangul fonts based on the information from Stroke Elements of Hangul fonts which is different from the previous attempts to analyze by looking at the font as a whole. Furthermore, we propose a method to automatically recommend similar fonts based on the information.

국문 초록 (Abstract)

뉴미디어가 등장하면서 다양한 형태의 커뮤니케이션이 등장하였고 그로 인해 온라인 커뮤니케이션도 다각화 되었다. 따라서 콘텐츠의 효율성과 경쟁력을 높이기 위해서 글꼴 디자인에 대한 관심도가 급격하게 증가하였으며 폰트의 수와 디자인의 형태 또한 다양해지고 있다.
한글 폰트 시스템은 단순히 폰트명 혹은 폰트 제작사명으로만 글꼴 정보를 저장한다. 따라서 일부 글자의 모양만을 보고 해당 폰트를 식별하고자 할 경우나 파일 내에 사용된 폰트가 시스템 PC에 설치되어 있지 않아 이를 대체할 비슷한 모양의 폰트를 찾는 경우 혹은 제작된 폰트의 디자인이 기존의 폰트와 유사한 디자인인지 판단해야하는 경우 등의 여러 문제가 발생하였을 때 이들을 일일이 확인하며 수동적으로 이용해야만 하는 한계가 존재한다. 수천 종이 넘는 한글 폰트를 모두 확인하고 사용하기에는 현실적으로 불가능하다.
따라서 글꼴의 영향력과 중요성은 급증되었으나 한글 폰트 시스템의 미비로 글꼴을 이용하는 사용자와 글꼴을 제작하는 디자이너 모두 불편함을 느끼며 더 나아가 한글 폰트를 효율적으로 사용하는 데 어려움을 겪고 있다. 최근 딥러닝 기술을 이용하여 이러한 글꼴 관련 문제를 해결하려는 시도가 증가하고 있으나 한글은 조합형 글자로 로마자와 달리 구조가 복잡하여 글자를 분석하는데 비교적 어려움이 많이 발생한다.
한글의 구조는 모양을 나타내는 획요소(Stroke Element)와 골격 정보(Skeleton) 그리고 공간 정보(Spacing)로 이루어져 있다. 따라서 한글의 특성에 맞게 글꼴을 분석한다면 더 나은 결과가 도출될 것이라 판단하여 본 연구에서는 글자 전체를 기반으로 하는 기존의 방법 대신 한글의 획요소 정보를 기반으로 글꼴의 특성을 분석하고자 하며 더 나아가 해당 정보를 통해 유사한 폰트를 자동으로 추천하는 기법을 제안하고자 한다.
첫 번째로, 한글 글꼴의 모양을 주제로 연구된 논문들을 기반으로 한글 글꼴의 모양에 대한 속성을 수집하고 전문가를 대상 으로 중요도 평가를 진행하여 글꼴을 분석하는데 사용할 대표 획요소 특성을 선정하였다.
두 번째로, 선정한 대표 획요소 특성으로 글꼴 간 유사도를 분석하기 위해 글자에서 획요소 정보를 자동으로 검출하는 시스템을 딥러닝 학습을 통해 구현하였다. 딥러닝 객체 모델 Faster R-CNN Inception V2를 파인 튜닝(Fine-Tuning)하였으며 mAP 기반 검증 결과 99.99%의 검출 정확도가 도출되었다. 추가로 학습하지 않은 글자와 글꼴에서 획요소 검출을 진행했을 때도 평균 91.4%의 정확도가 도출되었다.
마지막으로 선정한 대표 획요소 특성을 모두 조합(Combination)하여 각각의 조합으로 도출된 유사 폰트 추천 결과와 사람이 평가한 Ground-Truth를 비교하였다. 글꼴 간의 유사도는 CNN 모델을 기반으로 이미지 임베딩을 진행하고 Cosine Similarity를 통해 분석하였다. 그 결과, 획요소 특성의 조합 개수는 4-5개정도 조합하였을 때 가장 최적의 추천 결과를 보였으며 ‘상투’, ‘꼭지점’, ‘가지’의 획요소가 필수적으로 포함되어야 한다는 것을 확인할 수 있었다. 최적의 획요소 조합과 CNN 모델로 추천하였을 때 0.955의 코사인 유사도 값을 얻었으며, 기존의 방식보다 매우 정확한 결과가 도출된다는 것을 통계 분석을 통해 확인하였다.
따라서 본 연구에서는 한글의 획요소 정보를 이용해 글꼴을 분석하여 CNN 기반 유사 폰트 추천 기법을 제안하였고 유의미한 획요소 정보의 조합을 도출하였다. 이를 통해 한글 글꼴 자동화가 가능해질 것이라 판단하며 더 발전하여 손글씨 등의 비정형범위까지 적용하게 된다면 필적 감정 등의 다양한 분야에서 응용되어 사용할 수 있을 것이다.

목차 (Table of Contents)

• 제1장 서론 = 1
• 1.1 연구 배경 및 목적 = 1
• 1.2 연구의 방법 및 구성 = 4
• 제2장 관련 연구 = 6
• 2.1 한글 글꼴 모양 특성에 관한 연구 = 6
• 2.1.1 한글 글꼴 추천을 위한 모양 속성 분석 알고리즘 연구 = 6
• 2.1.2 한글 활자꼴 보호범위와 유사성 판단기준 = 8
• 2.2 Multi Component 단위의 객체 검출 연구 = 12
• 2.2.1 신체의 구성 요소 검출 기반 행동 인식에 관한 연구 = 12
• 2.2.2 동물의 구성 요소 검출 기반 품종 분류에 관한 연구 = 14
• 2.3 CNN 기반 이미지 인식 모델 = 16
• 2.3.1 ResNet = 16
• 2.3.2 Wide ResNet = 18
• 2.3.3 ResNeXt = 19
• 제3장 한글 구조 정보 기반 획요소 특성 정보 선정 = 21
• 3.1 연구 목표 = 21
• 3.2 한글의 구조 정보 분석 = 23
• 3.2.1 한글의 글자 특성과 구조 분석 = 23
• 3.2.2 한글글꼴모양분류체계표준 기반 대표 글꼴 선정 = 26
• 3.3 대표 획요소 정보 선정 = 28
• 3.3.1 선행 연구 기반 한글 글꼴 모양 속성 목록화 = 28
• 3.3.2 유사 폰트 추천을 위한 대표 획요소 정보 선정 = 31
• 제4장 딥러닝 객체 검출 학습을 이용한 한글 획요소 정보 자동 추출 시스템 = 34
• 4.1. 시스템 개요 = 34
• 4.1.1 연구 목표 = 34
• 4.1.2 학습에 적용한 알고리즘 = 36
• 4.1.3 시스템 구성 및 실행 환경 = 39
• 4.2 한글 글꼴 획요소 정보 자동 추출 시스템 구현 = 40
• 4.2.1 글꼴 기준 평가 및 학습 데이터셋 구축 = 40
• 4.2.2 레이블링 = 43
• 4.2.3 딥러닝 기반 획요소 특성 검출 학습 및 수행 결과 = 45
• 4.2.4 검출 결과의 추출 = 49
• 4.3 한글 글꼴 획요소 정보 자동 추출 시스템 성능 평가 = 52
• 4.3.1 평가 목표 및 성능 측정 방법 = 52
• 4.3.2 mAP 기반 시스템 평가 = 55
• 4.4 한글 획요소 정보 자동 추출 시스템의 적용 대상 확장 = 58
• 4.4.1 적용 대상 확장 범위 정의 = 58
• 4.4.2 평가 태스크 및 실험용 글꼴 및 글자 선정 = 60
• 4.4.3 적용 대상 확장에 따른 획요소 검출 = 62
• 4.4.4 mAP 기반 적용 대상 확장 평가 = 65
• 4.4.5 mAP 기반 적용 대상 확장 평가 통계 분석 = 69
• 제5장 한글 획요소 정보를 이용한 CNN 기반 유사 폰트 추천 기법 = 74
• 5.1. 시스템 개요 = 74
• 5.1.1 연구 목표 = 74
• 5.1.2 모델에 적용한 알고리즘 = 76
• 5.1.3 시스템 구성 및 실행 환경 = 78
• 5.2. 한글 획요소 정보를 이용한 CNN 기반 유사 폰트 추천 = 79
• 5.2.1 CNN 기반 이미지 임베딩을 이용한 글꼴 간 유사도 분석 = 79
• 5.2.2 특징 벡터 기반의 유사 폰트 추천 = 82
• 5.3. 유사 폰트 추천에 사용할 획요소 특성 조합 및 CNN 모델 선정 = 84
• 5.3.1 평가 목적 및 평가 방법 = 84
• 5.3.2 유사 글꼴 추천 기준 평가 및 Ground-Truth 구축 = 86
• 5.3.3 CNN 모델별 Ground-Truth와의 유사도 분석 = 89
• 5.3.4 획요소별 유사도 분석 = 91
• 5.3.5 획요소 조합(Combination)별 유사도 분석 = 92
• 5.4. 한글 획요소 정보를 이용한 CNN 기반 유사 폰트 추천 기법의 검증 = 97
• 5.4.1 유사 폰트 추천 시스템 검증 방법 = 97
• 5.4.2 글자 정보 기반의 Ground-Truth와 유사도 분석 = 98
• 5.4.3 검증 결과 및 평가 분석 = 100
• 제6장 결론 = 105
• 참고문헌 = 108
• ABSTRACT = 114
• 부록 = 116