Video Caption Image Enhancement for an Efficient Character Recognition

Choi, Yeongwoo Chung, Kyusik Kim, Somyung 숙명여자대학교 자연과학연구소 1999 자연과학논문집 Vol.- No.10

For improved recognition of videotexts, we have focused on image enhancement techniques. Since the videotexts are in low-resolution and mixed with complex backgrounds, image enhancement is a key to successful recognition of the videotexts. Especially in Hangul characters, several consonants cannot be distinguishable without sophisticated image enhancement techniques. In this paper, after the multiple videotext frames containing the same captions are detected and the caption area in each frame is extracted, five different image enhancement techniques are serially applied to the image: multi-frame integration, resolution enhancement, contrast enhancement. advanced binarization, and morphological smoothing operations. We have tested the proposed techniques with the video caption images containing both Hangup and English characters from various video sources such as cinema, news, sports. etc. The character recognition results are greatly improved by using enhanced images in the experiment. 본 논문에서는 비디오 텍스트 영상을 정확하게 인식하기 위한 단계적인 영상 향상 방법을 제안하고 구현한다. 비디오 텍스트 영상은 해상도가 낮고 복잡한 배경을 포함하기 때문에 이러한 텍스트 영상을 성공적으로 인식하기 위해서는 반드시 영상 향상 과정이 선행되어야 한다. 특히 복잡한 자소의 구성으로 이루어지는 한글 자막 영상을 인식하기 위해서는 매우 정교한 영상 향상 방법들이 적용되어야 한다. 본 논문에서는 동일한 텍스트 영역이 존재하는 프레임들을 자동으로 추출한 후, 다중 영상의 AND 결합(multi-frame integration), 해상도의 증대, 히스토그램 평활화 적용, 문자의 획 두께를 고려한 이진화 방법의 적용 및 몰포로지(morphology)를 적용한 smoothing등 영상 향상 방법을 단계적으로 적용하여 자막 영상의 질을 향상시켰다. 한글 및 영어가 포함되어 있는 영화 자막 영상에 대한 실험에서 향상된 문자 인식 결과를 얻을 수 있었다.

Comparison of in vitro and in vivo activity between various PEGylated G-CSFs

Choi EungChil,Jo YeongWoo,Choi YunKyu,Kim WonGeun,Jeon HyunKyu,Kim ByongMoon,Kim WonBae,Lee KangChoon 대한약학회 2004 大韓藥學會 總會 및 學術大會 Vol.2004 No.2

Video Caption Image Enhancement for an Efficient Character Recognition

Choi, Yeongwoo,Chung, Kyusik,Kim, Somyung 숙명여자대학교 자연과학연구소 1999 자연과학논문집 Vol.- No.10

본 논문에서는 비디오 텍스트 영상을 정확하게 인식하기 위한 단계적인 영상 향상 방법을 제안하고 구현한다. 비디오 텍스트 영상은 해상도가 낮고 복잡한 배경을 포함하기 때문에 이러한 텍스트 영상을 성공적으로 인식하기 위해서는 반드시 영상 향상 과정이 선행되어야 한다. 특히 복잡한 자소의 구성으로 이루어지는 한글 자막 영상을 인식하기 위해서는 매우 정교한 영상 향상 방법들이 적용되어야 한다. 본 논문에서는 동일한 텍스트 영역이 존재하는 프레임들을 자동으로 추출한 후, 다중 영상의 AND 결합(multi-frame integration), 해상도의 증대, 히스토그램 평활화 적용, 문자의 획 두께를 고려한 이진화 방법의 적용 및 몰포로지(morphology)를 적용한 smoothing등 영상 향상 방법을 단계적으로 적용하여 자막 영상의 질을 향상시켰다. 한글 및 영어가 포함되어 있는 영화 자막 영상에 대한 실험에서 향상된 문자 인식 결과를 얻을 수 있었다. For improved recognition of videotexts, we have focused on image enhancement techniques. Since the videotexts are in low-resolution and mixed with complex backgrounds, image enhancement is a key to successful recognition of the videotexts. Especially in Hangul characters, several consonants cannot be distinguishable without sophisticated image enhancement techniques. In this paper, after the multiple videotext frames containing the same captions are detected and the caption area in each frame is extracted, five different image enhancement techniques are serially applied to the image: multi-frame integration, resolution enhancement, contrast enhancement. advanced binarization, and morphological smoothing operations. We have tested the proposed techniques with the video caption images containing both Hangup and English characters from various video sources such as cinema, news, sports. etc. The character recognition results are greatly improved by using enhanced images in the experiment.

계층적 특징 결합 및 검증을 이용한 자연이미지에서의 장면 텍스트 추출

최영우(Yeongwoo Choi),김길천(Kilcheon Kim),송영자(Youngja Song),배경숙(Kyungsook Bae),조연희(Younhee Cho),노명철(Myungchoel Roh),이성환(Seongwhan Lee),변혜란(Hyeran Byun) 한국정보과학회 2004 정보과학회논문지 : 소프트웨어 및 응용 Vol.31 No.4

이미지에 인위적 또는 자연적으로 포함된 텍스트는 이미지의 내용을 함축적이고 구체적으로 표현하는 중요한 정보이다. 이러한 정보를 실시간에 추출하여 정확히 인식할 수 있다면 다양한 분야에서 활용될 수 있다. 본 논문에서는 자연이미지에 포함된 장면 텍스트를 추출하는 방법으로서 텍스트의 색 연속성, 밝기 변화 및 색 변화와 같은 낮은 수준의 이미지 특징으로 텍스트 후보 영역을 찾고, 다해상도 (Multi-resolution) 웨이블릿(Wavelet) 변환을 이용하여 높은 수준의 텍스트 특징인 획의 구성 여부로 검증하는 계층적인 구조를 제안한다. 색 연속성 특징은 대부분의 텍스트는 동일한 색으로 구성된다는 특징을 이용하는 것이고, 밝기 변화 특징은 텍스트 영역은 주변과의 밝기 변화가 존재하며 에지 밀도가 높은 특징을 이용한다. 또한, 색 변화 특징은 텍스트 영역은 주변 배경과의 색 변화가 존재하며, 밝기 변화보다 민감한 색 분산값으로 표현할 수 있다는 장점을 이용한다. 높은 수준의 텍스트 특징으로서 다해상도 웨이블릿 변환을 이용하여 텍스트 획의 방향성 정보를 추출하고, 추출된 정보를 SVM(Support Vector Machine) 분류기로 검증하여 최종 영역을 확정한다. 제안한 방법을 다양한 종류의 이미지에 적용한 결과 배경이 복잡해도 비교적 안정적으로 텍스트 영역을 추출하는 것을 확인할 수 있었다. Artificially or naturally contained texts in the natural images have significant and detailed information about the scenes. If we develop a method that can extract and recognize those texts in real-time, the method can be applied to many important applications. In this paper, we suggest a new method that extracts the text areas in the natural images using the low-level image features of color continuity, gray-level variation and color variance and that verifies the extracted candidate regions by using the high-level text feature such as stroke. And the two level features are combined hierarchically. The color continuity is used since most of the characters in the same text region have the same color, and the gray-level variation is used since the text strokes are distinctive in their gray-values to the background. Also, the color variance is used since the text strokes are distinctive in their color values to the background, and this value is more sensitive than the gray-level variations. The text level stroke features are extracted using a multi-resolution wavelet transforms on the local image areas and the feature vectors are input to a SVM(Support Vector Machine) classifier for the verification. We have tested the proposed method using various kinds of the natural images and have confirmed that the extraction rates are very high even in complex background images.

Effects of Sustained-Release Formulation of Recombinant Human Growth Hormone on Body weight, Bone growth and Organs in Hypophysectomized Rats

Choi EungChil,Jo YeongWoo,Park YongMan,Lee Ghunll,Yang HiChang,Kim MiRyang,Lee SungHee,Kwon JongWon,Kim WonBae 大韓藥學會 2002 大韓藥學會 總會 및 學術大會 Vol.2002 No.2

교육용 실습실 네트워크 관리를 위한 웹 기반 사용자 인터페이스의 설계 및 구현

엄유식,최영우 숙명여자대학교 자연과학연구소 2003 자연과학논문집 Vol.- No.14

본 논문은 교육용 실습실 네트워크 관리를 위한 웹 기반 사용자 인터페이스를 설계하고 구현하는 방안을 제안한다. 제안하는 웹 기반 사용자 인터페이스는 관리자가 관리의 대상이 되는 네트워크 객체에 대한 정보를 분석시스템으로 보내는 역할을 담당하며, 분석시스템으로부터 전송된 정보를 관리자의 편의를 고려하여 차트 형태로 제공한다. 또한, 웹 환경을 기반으로 인터페이스도 제시한다. 본 논문에서 구현한 교육용 실습실 네트워크 관리를 위한 웹 기반 사용자 인터페이스는 사용자가 웹을 이용하여 네트워크 진단과 장애 감지, 네트워크 구성 및 설계 등과 같은 네트워크 상의 관리 행위를 효과적으로 수행할 수 있도록 도움을 준다. This paper proposes a method to design and implement web-based user interface for managing PC-room networks. The proposed interface sends messages of the network objects to be managed to an analysis system, and shows the replied messages from the analysis system as a graphical from for the network administrator's conveniences. Also, the interface is implemented on the web-environment for convenient and remote monitoring, and suggests the user applications even for non-expert network administrators. The proposed web-based user interface for the PC-room network management can help to network managements such as diagnosing network status, detecting network faults, designing network arrangements etc.

동적 조명에 대한 운전자의 감성 반응

김영우(Kim Yeongwoo),김태수(Kim Taesu),전형석(Jeon Hyeongseok),최철수(Choi Chulsoo),석현정(Suk Hyeonjeong) 한국HCI학회 2020 한국HCI학회 학술대회 Vol.2020 No.2

차량의 감성적인 요소들에 대한 관심이 높아지면서 차량 인테리어 조명에 대해 많은 연구가 이뤄지고 있다. 본 연구에서는 크래시패드에 설치된 조명의 색도와 밝기가 동적으로 표현될 때 운전자가 나타내는 감성 반응을 탐색하였다. 주관 평가와 EEG 를 이용한 뇌파를 분석하였다. 그 결과, 갑작스럽게 변화하는 조명에 대해 높은 긴장감과 낮은 아늑함을 보이는 일관된 결과를 보였다. 그리고 조명의 속도 변화에 따라 긴장감과 아늑함이 함께 변화하는 양상이 관찰되었다. 색도 측면에서는 웜화이트와 빨간색 조명에서 생동감과 개성감을 효과적으로 유도할 수 있었다. 연구결과를 토대로 운전자의 감성적 니즈에 최적화된 조명을 제공하여 안전하고 편안한 공간 디자인이 구현되리라 기대된다.

CAM 기반의 계층적 및 수평적 분류 모델을 결합한 운전자 부주의 검출 및 특징 영역 지역화

고수연 ( Sooyeon Go ),최영우 ( Yeongwoo Choi ) 한국정보처리학회 2021 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.10 No.11

교통사고 원인 중 가장 큰 비율을 차지하는 것이 운전자의 부주의로서 이를 검출하는 연구가 꾸준히 진행되고 있다. 본 논문은 부주의한 운전자를 정확히 검출하고, 검출된 운전자의 모습에서 가장 특징적인 영역을 선정(Localize)하는 방법을 제안한다. 제안하는 방법은 운전자의 부주의를 검출하기 위해서 CAM(Class Activation Map) 기반의 전체 클래스를 분류하는 CNN 모델과 이 모델에서 혼동하거나 공통된 특징 영역을 갖는 클래스들에 대한 상세 분류가 가능한 네 개의 서브 클래스 CNN 모델을 계층적으로 구성한다. 각 모델에서 출력한 분류 결과는 CNN 특징맵들과의 매칭 정도를 표현하는 새로운 특징으로 간주해서 수평적으로 결합하고 학습하여 분류의 정확성을 높였다. 또한 전체 및 상세 분류 모델의 분류 결과를 반영한 히트맵 결과를 결합하여 이미지의 특징적인 주의 영역을 찾아낸다. 제안한 방법은 State Farm 데이터 셋을 이용한 실험에서 95.14%의 정확도를 얻었으며, 이는 기존에 동일한 데이터 셋을 이용한 결과 중 가장 높은 정확도인 92.2%보다 2.94% 향상된 우수한 결과이다. 또한 전체 모델만을 이용했을 때 찾아진 주의 영역보다 훨씬 의미 있고 정확한 주의 영역이 찾아짐을 실험으로 확인하였다. Driver negligence accounts for the largest proportion of the causes of traffic accidents, and research to detect them is continuously being conducted. This paper proposes a method to accurately detect a distracted driver and localize the most characteristic parts of the driver. The proposed method hierarchically constructs a CNN basic model that classifies 10 classes based on CAM in order to detect driver distration and 4 subclass models for detailed classification of classes having a confusing or common feature area in this model. The classification result output from each model can be considered as a new feature indicating the degree of matching with the CNN feature maps, and the accuracy of classification is improved by horizontally combining and learning them. In addition, by combining the heat map results reflecting the classification results of the basic and detailed classification models, the characteristic areas of attention in the image are found. The proposed method obtained an accuracy of 95.14% in an experiment using the State Farm data set, which is 2.94% higher than the 92.2%, which is the highest accuracy among the results using this data set. Also, it was confirmed by the experiment that more meaningful and accurate attention areas were found than the results of the attention area found when only the basic model was used.

가상의 학습데이터 생성 및 Pix2pix GAN 학습을 이용한 얼굴 그림자 제거

이수현(Soohyeon Lee),최영우(Yeongwoo Choi) 한국디지털콘텐츠학회 2021 한국디지털콘텐츠학회논문지 Vol.22 No.2

Various lighting changes are one of the factors that degrade the recognition performance of face images, in particular, when a shadow is formed on a face image due to lighting or surrounding environment, it is a general tendency that recognition performance is greatly degraded. Therefore, if the face image in which the shadow has occurred can be restored to its original state, improvement in face recognition performance can be expected. In this study, we propose a method of mitigating and removing shadows using Pix2pix, one of the representative models of GAN, a hostile generating neural network. Since the Pix2pix GAN model requires a pair of images corresponding to training, for this, we propose an idea to create a virtual training image corresponding to it from a normal face image using various image blending methods and use it as a training pair. Results of testing the model trained using the data generated by the proposed method, it can be seen that the shadows of the face image are naturally reduced and that the facial recognition performance is improved.

CAM과 Selective Search를 이용한 확장된 객체 지역화 학습데이터 생성 및 이의 재학습을 통한 WSOL 성능 개선

고수연 ( Sooyeon Go ),최영우 ( Yeongwoo Choi ) 한국정보처리학회 2021 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.10 No.9

최근 CAM[1]을 이용해서 이미지의 객체에 대한 주의 영역 또는 지역화(Localization) 영역을 찾는 방법이 WSOL의 연구로서 다양하게 수행되고 있다. CAM을 이용한 객체의 히트(Heat) 맵에서 주의 영역 추출은 객체의 특징이 가장 많이 모여 있는 영역만을 주로 집중해서 객체의 전체적인 영역을 찾지 못하는 단점이 있다. 여기서는 이를 개선하기 위해서 먼저 CAM과 Selective Search[6]를 함께 이용하여 CAM 히트맵의 주의 영역을 확장하고, 확장된 영역에 가우시안 스무딩을 적용하여 재학습 데이터를 만든 후, 이를 학습하여 객체의 주의 영역이 확장되는 방법을 제안한다. 제안 방법은 단 한 번의 재학습만이 필요하며, 학습 후 지역화를 수행할 때는 Selective Search를 실행하지 않기 때문에 처리 시간이 대폭 줄어든다. 실험에서 기존 CAM의 히트맵들과 비교했을 때 핵심 특징 영역으로부터 주의 영역이 확장되고, 확장된 주의 영역 바운딩 박스에 대한 Ground Truth와의 IOU 계산에서 기존 CAM보다 약 58%가 개선되었다. Recently, a method of finding the attention area or localization area for an object of an image using CAM (Class Activation Map)[1] has been variously carried out as a study of WSOL (Weakly Supervised Object Localization). The attention area extraction from the object heat map using CAM has a disadvantage in that it cannot find the entire area of the object by focusing mainly on the part where the features are most concentrated in the object. To improve this, using CAM and Selective Search[6] together, we first expand the attention area in the heat map, and a Gaussian smoothing is applied to the extended area to generate retraining data. Finally we train the data to expand the attention area of the objects. The proposed method requires retraining only once, and the search time to find an localization area is greatly reduced since the selective search is not needed in this stage. Through the experiment, the attention area was expanded from the existing CAM heat maps, and in the calculation of IOU (Intersection of Union) with the ground truth for the bounding box of the expanded attention area, about 58% was improved compared to the existing CAM.