신경망 기반의 텍스춰 분석을 이용한 효율적인 문자 추출

정기철(Kee Chul Jung),김광인(Kwang In Kim),한정현(Jung Hyun Han) 한국정보과학회 2002 정보과학회논문지 : 소프트웨어 및 응용 Vol.29 No.3·4

본 논문은 MLP와 MultiCAMShift 알고리즘을 이용한 텍스춰 기반의 영상 내 문자 추출 방법을 제안한다. MLP를 이용한 텍스춰 분석기는 별도의 특징값 추출 단계 없이 다양한 환경의 입력 영상에 대해 효과적으로 문자 확률 영상을 생성하며, 문자 확률 영상 상에서 수행되는 MultiCAMShift 알고리즘은 국소 탐색만으로 효율적으로 문자 영역을 추출할 수 있다. We present a new text localization method in images using a multi-layer perceptron (MLP) and a multiple continuously adaptive mean shift (MultiCAMShift) algorithm. An automatically constructed MLP-based texture classifier generates a text probability image for various types of images without an explicit feature extraction. The MultiCAMShift algorithm, which operates on the text probability image produced by an MLP, can place bounding boxes efficiently without analyzing the texture properties of an entire image.

신경망 기반의 텍스춰 분석을 이용한 효율적인 문자 추출

정기철,김광인,한정현,Jung, Kee-Chul,Kim, Kwang-In,Han, Jung-Hyun 한국정보과학회 2002 정보과학회논문지 : 소프트웨어 및 응용 Vol.29 No.3

본 논문은 MLP와 MultiCAMShift 알고리즘을 이용한 텍스춰 기반의 영상 내 문자 추출 방법을 제안한다. MLP를 이용한 텍스춰 분석기는 별도의 특징값 추출 단계 없이 다양한 환경의 입력 영상에 대해 효과적으로 문자 확률 영상을 생성하며, 문자 확률 영상 상에서 수행되는 MultiCAMShift 알고리즘은 국소 탐색만으로 효율적으로 문자 영역을 추출할 수 있다. We present a new text localization method in images using a multi-layer perceptron(MLP) and a multiple continuously adaptive mean shift (MultiCAMShift) algorithm. An automatically constructed MLP-based texture classifier generates a text probability image for various types of images without an explicit feature extraction. The MultiCAMShift algorithm, which operates on the text probability Image produced by an MLP, can place bounding boxes efficiently without analyzing the texture properties of an entire image.

영상 기반의 실시간 교통 감시 시스템

박세현,정기철,허준구,김항준,Park, Se-Hyun,Jung, Kee-Chul,Hea, Jun-Koo,Kim, Hang-Joon 대한전자공학회 1999 電子工學會論文誌, C Vol.c36 No.8

본 논문에서는 영상에 기반한 실시간 교통 감시 시스템을 구현한다. 영상 기반의 교통 감시 시스템은 루프 감지기 등의 센서를 이용한 방법에 비해 비용과 설치, 유지, 보수 면에서의 장점으로 인하여 많이 연구되고 있다. 제안한 시스템은 인터넷상에서 FPA (Field Processing Agent)와 TSM (Traffic Surveillance Manager)으로 구성되며, FPA는 TSM에게 도로 영상과 차량의 속도, 도로 점유율과 같은 교통 정보를 제공한다. 차량의 평균 속도와 도로 점유율은, 도로색 영상과 연속된 입력 영상간의 샘플링 지점의 색상 차이 변화를 이용하여 추출한다. 제안한 방법은 근사적인 교통정보를 추출해 주며, 입력 영상 전체에 대한 처리 과정 없이 제한된 영역만을 처리하기 때문에, 실시간 감시 시스템을 구축하는데 용이하다. This paper presents a vision-based real-time traffic surveillance system. Current research in machine vision applied to traffic is due to its potential for more powerful process, its flexibility and its lower cost. Our traffic surveillance system consists of FPA and TSM on the Internet. The FPA provides image data, vehicle speed and vehicle density for the TSM. Traffic parameters, the vehicle speed and density, are extracted over many frames using differences between the sampling points of a background image and those of incoming frames. The FPA works by just processing groups of pixels without any understanding of the image. Although this system has an accuracy limitation, it can be used in applications requiring an approximate vehicle density and vehicle speed in real-time.

FPGA 상에서 은닉층 뉴런에 최적화된 MLP의 설계 방법

경동욱,정기철,Kyoung Dong-Wuk,Jung Kee-Chul 한국정보처리학회 2006 정보처리학회논문지B Vol.13 No.4

일반적으로 신경망은 비선형성 문제를 해결하기 위해서 소프트웨어로 많이 구현되었지만, 영상처리 및 패턴인식과 같은 실시간 처리가 요구되는 응용에서는 빠른 처리가 가능한 하드웨어로 구현되고 있다. 다양한 종류의 신경망 중에서 다층 신경망(MLP: multi-layer perceptron)의 하드웨어 설계는 빠른 처리속도와 적은 면적 그리고 구현의 용이성으로 고정소수점 연산을 많이 사용하였다. 하지만 고정소수점 연산을 사용하는 하드웨어 설계는 높은 정확도의 부동소수점 연산을 많이 사용하는 소프트웨어 MLP를 쉽게 적용할 수 없는 문제점을 가진다. 본 논문에서는 높은 정확도와 높은 유연성을 가지는 부동소수점 연산을 사용하면서도 은닉층 뉴런수를 주기(cycle)로 빠르게 수행하는 MLP의 완전 파이프라이닝(fully-pipelining) 설계방법을 제안한다. MLP는 주어진 문제에 의해서 자연스럽게 입력층과 출력층의 구조가 결정되지만, 은닉층 구조는 사용자에 의해서 결정된다. 그러므로 제안된 설계방법은 많은 반복수행이 요구되는 영상처리 및 패턴인식 등의 분야에서 은닉층 뉴런수를 최적화 하여 쉽게 성능 향상을 이룰 수 있다. Neural Networks(NNs) are applied for solving a wide variety of nonlinear problems in several areas, such as image processing, pattern recognition etc. Although NN can be simulated by using software, many potential NN applications required real-time processing. Thus they need to be implemented as hardware. The hardware implementation of multi-layer perceptrons(MLPs) in several kind of NNs usually uses a fixed-point arithmetic due to a simple logic operation and a shorter processing time compared to the floating-point arithmetic. However, the fixed-point arithmetic-based MLP has a drawback which is not able to apply the MLP software that use floating-point arithmetic. We propose a design method for MLPs which has the floating-point arithmetic-based fully-pipelining architecture. It has a processing speed that is proportional to the number of the hidden nodes. The number of input and output nodes of MLPs are generally constrained by given problems, but the number of hidden nodes can be optimized by user experiences. Thus our design method is using optimized number of hidden nodes in order to improve the processing speed, especially in field of a repeated processing such as image processing, pattern recognition, etc.

유전자 알고리즘을 이용한 MRF 모델 기반의 영상분할

김은이,박세현,정기철,김항준,Kim, Eun-Yi,Park, Se-Hyun,Jung, Kee-Chul,Kim, Hang-Joon 대한전자공학회 1999 電子工學會論文誌, C Vol.c36 No.9

Image segmentation is the process where an image is segmented into regions that are set of homogeneous pixels. The result has a ciritical effect on accuracy of image understanding. In this paper, an Markov random field (MRF) image segmentation is proposed using genetic algorithm(GA). We model an image using MRF which is resistant to noise and blurring. While MRF based methods are robust to degradation, these require accurate parameter estimation. So GA is used as a segmentation algorithm which is effective at dealing with combinatorial problems. The efficiency of the proposed method is shown by experimental results with real images and application to automatic vehicle extraction system. 영상분할은 입력된 영상을 처리하여 유사한 화소들의 집합인 영역들로 화소들을 구분하는 작업이다. 영상분할의 결과는 영상인식의 정확성에 큰 영향을 미친다. 본 논문에서는 유전자 알고리즘을 이용하여 마르코프 랜덤 필드(Markov random field)에 기반한 영상분할 방법을 제안한다. 제안한 방법에서는 잡음과 흔들림(blurring)에 강한 MRF를 이용하여 영상을 모델링 한다. HRF기반 영상분할 방법은 왜곡에 강한 반면, 정확한 파라미터의 추정이 요구된다. 그래서 , 추정방법으로 많은 파라미터를 포함하는 문제를 다루는데 효율적인 유전자 알고리즘을 사용한다. 실 영상을 가지고 수행된 실험 결과와 자동 차량 추출 시스템에의 응용결과는 제안된 방법의 효율성을 보여준다.

NMF를 이용한 영문자 활자체 폰트 분류

이창우,강현,정기철,김항준,Lee, Chang-Woo,Kang, Hyun,Jung, Kee-Chul,Kim, Hang-Joon 대한전자공학회 2004 電子工學會論文誌-CI (Computer and Information) Vol.41 No.2

최근 대부분의 문서들이 전자적으로 생성되고 많은 고문서들이 이미지 형태로 전자화되고 있다. 이미지 형태의 전자 문서들은 정보 추출과 데이터베이스화에 많은 어려움이 있기 때문에, 이러한 문서를 효율적으로 관리하고 검색하기 위한 문서구조분석 방법과 문자 인식을 위한 많은 연구가 필요하다. 본 논문은 폰트의 구분 특성(font discrimination features)들이 폰트이미지의 공간적으로 지역적인 특징들에 기반함을 가정한 방법으로써, 객체의 부분기반 표현들을 학습할 수 있는 NMF(non-negative matrix factorization) 알고리즘을 사용하여 폰트를 자동으로 분류하는 방법이다. 제안된 방법은 부분기반의 비지도 학습 방법(part-based unsupervised learning technique)을 이용하여 전체의 폰트 이미지들로부터 각 폰트들의 구분 특징인 부분을 학습하고, 학습된 부분들을 특징으로 사용하여 폰트를 분류하는 방법이다. 실험결과에서 폰트 이미지들의 공간적으로 국부적인 특징들이 조사되고, 그 특징들이 폰트의 식별을 위한 적절성을 보인다. 제안된 방법이 기존의 문자인식, 문서 검색 시스템들의 전처리기로 사용되면, 그 시스템들의 성능을 향상시킬 것으로 기대된다. Today, most documents are electronically produced and their paleography is digitalized by imaging, resulting in a tremendous number of electronic documents in the shape of images. Therefore, to process these document images, many methods of document structure analysis and recognition have already been proposed, including font classification. Accordingly, the current paper proposes a font classification method for document images that uses non-negative matrix factorization (NMF), which is able to learn part-based representations of objects. In the proposed method, spatially total features of font images are automatically extracted using NMF, then the appropriateness of the features specifying each font is investigated. The proposed method is expected to improve the performance of optical character recognition (OCR), document indexing, and retrieval systems, when such systems adopt a font classifier as a preprocessor.

비디오 영상에서 시공간적 문자영역 제거방법

이창우,강현,정기철,김항준,Lee, Chang-Woo,Kang, Hyun,Jung, Kee-Chul,Kim, Hang-Joon 대한전자공학회 2004 電子工學會論文誌-CI (Computer and Information) Vol.41 No.2

많은 시각적 정보를 포함한 비디오 데이터들의 자동화된 처리 기술 중, 비디오 데이터들의 시청자적인 정보를 보강시키고, 부가적인 정보를 첨가하기 위한 일환으로 자막을 삽입하는 경우가 많다. 이러한 자막은 때로 영상자료의 재사용성(reusability)을 저해하고, 원 영상을 훼손하는 경우가 발생한다. 본 논문에서는 영상의 재사용성을 높이고 원 영상 복원을 위해 Support Vector Machines(SVM)과 시공간적 영상복원 방법(spatiotemporal restoration)을 이용한 비디오 영상에서의 자동 문자 검출과 제거 방법을 제안한다. 연속적인 두 프레임 이상의 영상을 입력받아, 현재 프레임 영상에서 SVM을 이용하여 문자 영역을 검출한 다음, 검출된 문자 영역을 제거하고, 문자 영역에 의해 가려졌던 원 영상을 복원하기 위한 두 단계- 시간적 복원(temporal restoration)과 공간적 복원(spatial restoration)접근방법을 제안한다. 제안된 복원 방법은 글자 모션(text motion) 정보와 두 영상의 배경 차이(background difference)를 이용하여 영상을 그 특징에 따라 분류하고, 각 영상의 특징에 맞는 복원 방법을 적용한다. 제안된 방법은 다양한 종류의 영상에서 문자뿐만 아니라 관심의 대상이 되는 객체의 자동 검출 및 복원 등 다양한 응용분야를 포함한다. Most multimedia data contain text to emphasize the meaning of the data, to present additional explanations about the situation, or to translate different languages. But, the left makes it difficult to reuse the images, and distorts not only the original images but also their meanings. Accordingly, this paper proposes a support vector machines (SVMs) and spatiotemporal restoration-based approach for automatic text detection and removal in video sequences. Given two consecutive frames, first, text regions in the current frame are detected by an SVM-based texture classifier Second, two stages are performed for the restoration of the regions occluded by the detected text regions: temporal restoration in consecutive frames and spatial restoration in the current frame. Utilizing text motion and background difference, an input video sequence is classified and a different temporal restoration scheme is applied to the sequence. Such a combination of temporal restoration and spatial restoration shows great potential for automatic detection and removal of objects of interest in various kinds of video sequences, and is applicable to many applications such as translation of captions and replacement of indirect advertisements in videos.

포즈 인식에서 효율적 특징 추출을 위한 3차원 데이터의 차원 축소

경동욱,이윤리,정기철,Kyoung, Dong-Wuk,Lee, Yun-Li,Jung, Kee-Chul 한국정보처리학회 2008 정보처리학회논문지B Vol.15 No.5

사용자 포즈의 3차원 데이터 생성을 통한 3차원 포즈 인식은 2차원 포즈 인식의 문제점을 해결하기 위해서 많이 연구되고 있지만, 3차원 표면 데이터의 방대한 양으로 포즈 인식에서 중요한 특징 추출(feature extraction)이 어렵고 수행 시간이 많이 걸리는 문제점을 가지고 있다. 본 논문에서는 3차원 포즈 인식의 두 가지 문제점인 특징 추출의 어려움과 느린 처리속도를 개선하기 위해서 3차원 형상복원 기술로 모델의 3차원 표면 점들로 구성된 데이터를 2차원 데이터로 변환하는 차원 축소(dimension reduction) 방법을 제안한다. 실린더형 외곽점을 이용한 메쉬없는 매개변수화(meshless parameterization) 방법은 방대한 데이터인 3차원 포즈 데이터를 2차원 데이터로 변환하여 특징 추출과 매칭과정의 연산 속도를 향상 시키며, 특징 추출의 효율성 검증을 위해 간단한 환경에서 실험이 가능한 손 포즈 인식 및 인간 포즈 인식에 적용하였다. 3D posture recognition is a solution to overcome the limitation of 2D posture recognition. There are many researches carried out for 3D posture recognition using 3D data. The 3D data consist of massive surface points which are rich of information. However, it is difficult to extract the important features for posture recognition purpose. Meanwhile, it also consumes lots of processing time. In this paper, we introduced a dimension reduction method that transform 3D surface points of an object to 2D data representation in order to overcome the issues of feature extraction and time complexity of 3D posture recognition. For a better feature extraction and matching process, a cylindrical boundary is introduced in meshless parameterization, its offer a fast processing speed of dimension reduction process and the output result is applicable for recognition purpose. The proposed approach is applied to hand and human posture recognition in order to verify the efficiency of the feature extraction.

플레이어 적응형 GMM 기반 동적 게임 레벨 디자인

이상경(Lee, Sang-Kyung),정기철(Jung, Kee-Chul) 한국게임학회 2006 한국게임학회 논문지 Vol.6 No.1

게임에서 레벨 디자인 (Level Design)과 캐릭터간의 밸런스는 게임의 흥미를 결정하는 매우 중요한 요소이며, 레벨 디자이너에 의해 결정 된다. 기존의 게임에서는 플레이어가 가장 큰 재미를 느낄 수 있는 캐릭터의 공격 패턴과 속성은 정적으로 정해졌으며 스크립트 형식으로 표현됐다. 이와 같이 정적으로 정해진 레벨에 따라 진행되면 플레이어가 쉽게 적응하게 되고, 플레이어의 학습능력에 따라 레벨 디자이너가 의도했던 밸런스가 깨질 수 있었다. 이런 문제점을 해결하기 위해 본 논문에서는 게임 도중에 플레이어의 대응 패턴을 GMM(Gaussian Mixture Model)으로 모델링하고 분석하여 레벨 디자이너가 의도했던 레벨과 재미를 느낄 수 있는 환경을 제공하는 방법을 제안한다. 제안한 방법을 실제 2D슈팅게임에 적용하여 플레이어의 패턴을 분석한 결과와 동적 레벨 디자인의 결과를 보인다. In computer games, the level design and balance of characters are the key features for developing interesting games. Level designers make decision to change the parameters and opponent behaviors in order to avoid the player getting extremely frustrated with the improper level. Generally, opponent behavior is defined by static script, this causes the games to have static difficulty level and static environment. Therefore, it is difficult to keep track of the user playing interest, because a player can easily adapt to changeless repetition. In this paper, we propose a dynamic scripting method that able to maintain the level designers' intention where user enjoys the game by adjusting the opponent behavior while playing the game. The player's countermeasure pattern for dynamic level design is modeled using a Gaussian Mixture Model (GMM). The proposed method is applied to a shooting game, and the experimental results maintain the degree of interest intended by the level designer.

연속 은닉 마르코프 모델을 사용한 한국어 음성 분류

윤성목(Sung Mok Yoon),정기철(Kee Chul Jung),김항준(Hang Joon Kim) 한국정보과학회 1997 한국정보과학회 학술발표논문집 Vol.24 No.2Ⅱ

벡터 양자화 에러는 음성 인식 성능에 영향을 끼치는 주요한 요소 중의 하나이다. 본 논문에서는 연속 은닉 마르코프 모델로써 한국어 음성을 분류하는 또 다른 벡터 양자화 방법을 제안한다. 본 논문에서 사용한 연속 은닉 마르코프 모델은 음성 신호 공간을 클러스터들로 분류한다. 각 클러스터는 은닉 마르코프 모델의 한 상태에 대응되어 하나의 가우스 함수로 나타내어 진다. 연속 은닉 마르코프 모델의 출력인 상태 열들을 모아 하나의 음성 인식 단위를 나타낸다. 인식 실험 결과 본 논문에서 사용한 벡터 양자화는 한국어 음성을 효율적으로 분류함을 보인다.