Text and Font Manipulation in the Wild = 실환경 영상내의 글자 및 폰트 조작 기법

다국어 초록 (Multilingual Abstract)

Text is a combination of readable characters for the purpose of conveying information. Unlike texts printed on a flat, solid color background, texts in images shot in the wild have backgrounds of various textures, different orientations, shadows of embossed or engraved characters from light sources. Therefore, manipulating texts in the wild (i.e., a real environment) is a challenging task. Text manipulation in the wild can be applied in various computer vision tasks. First, it is possible to edit the text by translating the text or changing the font of the text. Second, improving the performance of text detection and recognition models through realistic text data augmentation.

Manipulating text has two objectives: the process of deleting the text, and the process of creating and synthesizing the text. Regarding the first objective, we propose a novel method for scene text removal in the wild. Scene text removal is a challenging task that aims to erase wild text regions that include text strokes and text-dependent elements, such as embossing, shade, or flare. We propose a new loss function for blending two tasks in a new network structure that depicts wild text regions in a soft mask and selectively inpaints them into a sensible background. The proposed loss function aids the learning of two seemingly separate tasks in a synergistic way via the soft mask to achieve remarkable performance in scene text removal.

Font, which is a graphical representation of text, can deliver certain visual feelings through its matching style set of glyphs. For the font style manipulation, we propose a novel font representation learning scheme to embed font styles into the latent space to create various styles of fonts. The proposed font representation learning allows users to explore vast font styles and create new font styles. For the discriminative representation of a font from others, we propose a paired-glyph matching-based font representation learning model that attracts the representations of glyphs in the same font to one another, but pushes away those of other fonts.

국문 초록 (Abstract)

글자는 정보를 전달할 목적으로 읽을 수 있는 문자의 조합입니다. 평평하고 단색의 배경에 인쇄된 글자와 달리 실환경에서 촬영된 영상내 글자는 다양한 질감의 배경, 다양한 방향, 광원과 글자의 양각 또는 음각 형태에서 생겨나는 그림자가 있습니다. 따라서 실제 환경에서 글자를 조작하는 것은 어려운 작업입니다. 실환경 영상내 글자 조작은 다양한 컴퓨터 비전 문제에 적용될 수 있습니다. 첫째, 글자를 번역하거나 글자의 글꼴을 변경하여 글자를 편집할 수 있습니다. 둘째, 사실적인 글자 데이터셋 증강을 통해 글자 검출 및 인식 모델의 성능을 개선할 수 있습니다.

글자를 조작하는 것은 글자를 삭제하는 과정과 글자를 만들고 합성하는 과정의 두 가지 목표를 가지고 있습니다. 첫 번째 목표와 관련하여 우리는 실환경 영상내의 글자를 제거하는 새로운 방법을 제안합니다. 영상 내 글자 삭제 기법은 글자 획뿐만 아니라 글자의 음각, 양각에 의한 그림자 그리고 광원이 있는 글자의 빛 번짐등과 같은 글자에 종속되는 영역까지 깨끗하게 지우는 것을 목표로 하는 어려운 작업입니다. 우리는 이러한 문제를 해결하기 위해 소프트 마스크로 글자 영역을 예측하는 모듈과 그 영역을 그럴듯한 배경으로 선택적으로 인페인팅하는 모듈을 가지는 새로운 네트워크 구조를 제안합니다. 따라서 제안하는 네트워크 모델과 손실 함수는 실환경 영상내의 글자 삭제에 특히 최적화된 글자 탐지를 학습합니다.

글자의 형태를 표현하는 글꼴은 스타일이 일치하는 자체 (glyph) 들로 특정 시각적 느낌을 전달할 수 있습니다. 글꼴 스타일 조작을 위해 글꼴 스타일을 잠재공간 (latent space)에 임베딩하여 다양한 스타일의 글꼴을 생성하는 새로운 글꼴 표현 학습 기법을 제안합니다. 제안된 글꼴 표현 학습을 통해 사용자는 방대한 글꼴 스타일을 탐색하고 새로운 글꼴 스타일을 만들 수 있습니다. 서로 다른 글꼴을 잘 구별하는 글꼴 표현 학습을 위해 동일한 글꼴의 자체의 표현은 서로 끌어 당기고 다른 글꼴의 자체의 표현은 밀어내는 자체의 쌍 매칭 기반 글꼴 표현 학습 모델을 제안합니다.

목차 (Table of Contents)

• Abstract i
• Contents ii
• List of Tables iv
• List of Figures v
• 1 Introduction 1
• 2 Scene Text Removal 3
• 2.1 Overview 3
• 2.2 Related Work 8
• 2.3 Text Removal 12
• 2.3.1 Network Structure 13
• 2.3.2 Training scheme 16
• 2.3.3 Implementation Details 21
• 2.4 Text Augmentation 23
• 2.5 Evaluation for Text Removal 26
• 2.5.1 Datasets 26
• 2.5.2 Evaluation Metrics 27
• 2.5.3 Experimental Results 27
• 2.5.4 Region-wise Analysis 33
• 2.6 Evaluation for Text Augmentation 35
• 2.6.1 Text Detection with Generated Scene-Text 35
• 2.6.2 Dataset Descriptions 41
• 2.6.3 Evaluation 44
• 2.7 Discussion 50
• 3 Font Embedding 53
• 3.1 Overview 53
• 3.2 Related Work 55
• 3.2.1 Font Classification & Retrieval 55
• 3.2.2 Font Style Transfer & Font Generation 56
• 3.2.3 Glyph-font-consistency 57
• 3.2.4 Similarity-based Representation Learning 57
• 3.3 Methodology 58
• 3.3.1 Notations and Our Research Objective 58
• 3.3.2 Paired-glyph Matching Learning 60
• 3.3.3 Evaluations of Font Embedding Quality 62
• 3.4 Experiments 66
• 3.4.1 Datasets 66
• 3.4.2 Baseline Font-Glyph Embedding methods 67
• 3.4.3 Implementation Details 68
• 3.4.4 Experimental Results 71
• 3.5 Discussion 86
• 4 Conclusions 87
• Abstract (In Korean) 103

참고문헌 (Reference)

1. Transfer learning from pre-trained models, Pedro Marcelino, 10:23, , 2018

2. Multi-content gan for few-shot font style transfer, Samaneh Azadi , Matthew Fisher , Vladimir Kim , ZhaowenWang , Eli Shechtman , and Trevor Darrell ., volume 11 , page 13, , 2018

3. Exploratory Font Selection Using Crowdsourced Attributes ., Peter O ’ Donovan , Janis Libeks , Aseem Agarwala , and Aaron Hertzmann ., 33 ( 4 ), , 2014

4. Separating style and content for generalized style transfer, Yexun Zhang , Ya Zhang , and Wenbin Cai ., volume 1, , 2018

5. Patch- Match : A randomized correspondence algorithm for structural image editing, Connelly Barnes , Eli Shechtman , Adam Finkelstein , and Dan B Goldman ., 28 ( 3 ), , 2009

6. Distributed representations of words and phrases and their compositionalityAdvances in Neural Information Processing Systems, Tomas Mikolov , Ilya Sutskever , Kai Chen , Greg S Corrado , and Jeff DeanIn C. J. C. Burges , L. Bottou , M. Welling , Z. Ghahramani , and K. Q. Weinberger , editors, volume 26, , 2013