신경망 기반의 텍스춰 분석을 이용한 효율적인 문자 추출

정기철,김광인,한정현,Jung, Kee-Chul,Kim, Kwang-In,Han, Jung-Hyun 한국정보과학회 2002 정보과학회논문지 : 소프트웨어 및 응용 Vol.29 No.3

본 논문은 MLP와 MultiCAMShift 알고리즘을 이용한 텍스춰 기반의 영상 내 문자 추출 방법을 제안한다. MLP를 이용한 텍스춰 분석기는 별도의 특징값 추출 단계 없이 다양한 환경의 입력 영상에 대해 효과적으로 문자 확률 영상을 생성하며, 문자 확률 영상 상에서 수행되는 MultiCAMShift 알고리즘은 국소 탐색만으로 효율적으로 문자 영역을 추출할 수 있다. We present a new text localization method in images using a multi-layer perceptron(MLP) and a multiple continuously adaptive mean shift (MultiCAMShift) algorithm. An automatically constructed MLP-based texture classifier generates a text probability image for various types of images without an explicit feature extraction. The MultiCAMShift algorithm, which operates on the text probability Image produced by an MLP, can place bounding boxes efficiently without analyzing the texture properties of an entire image.

신경망 기반의 텍스춰 분석을 이용한 효율적인 문자 추출

정기철(Kee Chul Jung),김광인(Kwang In Kim),한정현(Jung Hyun Han) 한국정보과학회 2002 정보과학회논문지 : 소프트웨어 및 응용 Vol.29 No.3·4

본 논문은 MLP와 MultiCAMShift 알고리즘을 이용한 텍스춰 기반의 영상 내 문자 추출 방법을 제안한다. MLP를 이용한 텍스춰 분석기는 별도의 특징값 추출 단계 없이 다양한 환경의 입력 영상에 대해 효과적으로 문자 확률 영상을 생성하며, 문자 확률 영상 상에서 수행되는 MultiCAMShift 알고리즘은 국소 탐색만으로 효율적으로 문자 영역을 추출할 수 있다. We present a new text localization method in images using a multi-layer perceptron (MLP) and a multiple continuously adaptive mean shift (MultiCAMShift) algorithm. An automatically constructed MLP-based texture classifier generates a text probability image for various types of images without an explicit feature extraction. The MultiCAMShift algorithm, which operates on the text probability image produced by an MLP, can place bounding boxes efficiently without analyzing the texture properties of an entire image.

FPGA 상에서 은닉층 뉴런에 최적화된 MLP의 설계 방법

경동욱,정기철,Kyoung Dong-Wuk,Jung Kee-Chul 한국정보처리학회 2006 정보처리학회논문지B Vol.13 No.4

일반적으로 신경망은 비선형성 문제를 해결하기 위해서 소프트웨어로 많이 구현되었지만, 영상처리 및 패턴인식과 같은 실시간 처리가 요구되는 응용에서는 빠른 처리가 가능한 하드웨어로 구현되고 있다. 다양한 종류의 신경망 중에서 다층 신경망(MLP: multi-layer perceptron)의 하드웨어 설계는 빠른 처리속도와 적은 면적 그리고 구현의 용이성으로 고정소수점 연산을 많이 사용하였다. 하지만 고정소수점 연산을 사용하는 하드웨어 설계는 높은 정확도의 부동소수점 연산을 많이 사용하는 소프트웨어 MLP를 쉽게 적용할 수 없는 문제점을 가진다. 본 논문에서는 높은 정확도와 높은 유연성을 가지는 부동소수점 연산을 사용하면서도 은닉층 뉴런수를 주기(cycle)로 빠르게 수행하는 MLP의 완전 파이프라이닝(fully-pipelining) 설계방법을 제안한다. MLP는 주어진 문제에 의해서 자연스럽게 입력층과 출력층의 구조가 결정되지만, 은닉층 구조는 사용자에 의해서 결정된다. 그러므로 제안된 설계방법은 많은 반복수행이 요구되는 영상처리 및 패턴인식 등의 분야에서 은닉층 뉴런수를 최적화 하여 쉽게 성능 향상을 이룰 수 있다. Neural Networks(NNs) are applied for solving a wide variety of nonlinear problems in several areas, such as image processing, pattern recognition etc. Although NN can be simulated by using software, many potential NN applications required real-time processing. Thus they need to be implemented as hardware. The hardware implementation of multi-layer perceptrons(MLPs) in several kind of NNs usually uses a fixed-point arithmetic due to a simple logic operation and a shorter processing time compared to the floating-point arithmetic. However, the fixed-point arithmetic-based MLP has a drawback which is not able to apply the MLP software that use floating-point arithmetic. We propose a design method for MLPs which has the floating-point arithmetic-based fully-pipelining architecture. It has a processing speed that is proportional to the number of the hidden nodes. The number of input and output nodes of MLPs are generally constrained by given problems, but the number of hidden nodes can be optimized by user experiences. Thus our design method is using optimized number of hidden nodes in order to improve the processing speed, especially in field of a repeated processing such as image processing, pattern recognition, etc.

영상 기반의 실시간 교통 감시 시스템

박세현,정기철,허준구,김항준,Park, Se-Hyun,Jung, Kee-Chul,Hea, Jun-Koo,Kim, Hang-Joon 대한전자공학회 1999 電子工學會論文誌, C Vol.c36 No.8

본 논문에서는 영상에 기반한 실시간 교통 감시 시스템을 구현한다. 영상 기반의 교통 감시 시스템은 루프 감지기 등의 센서를 이용한 방법에 비해 비용과 설치, 유지, 보수 면에서의 장점으로 인하여 많이 연구되고 있다. 제안한 시스템은 인터넷상에서 FPA (Field Processing Agent)와 TSM (Traffic Surveillance Manager)으로 구성되며, FPA는 TSM에게 도로 영상과 차량의 속도, 도로 점유율과 같은 교통 정보를 제공한다. 차량의 평균 속도와 도로 점유율은, 도로색 영상과 연속된 입력 영상간의 샘플링 지점의 색상 차이 변화를 이용하여 추출한다. 제안한 방법은 근사적인 교통정보를 추출해 주며, 입력 영상 전체에 대한 처리 과정 없이 제한된 영역만을 처리하기 때문에, 실시간 감시 시스템을 구축하는데 용이하다. This paper presents a vision-based real-time traffic surveillance system. Current research in machine vision applied to traffic is due to its potential for more powerful process, its flexibility and its lower cost. Our traffic surveillance system consists of FPA and TSM on the Internet. The FPA provides image data, vehicle speed and vehicle density for the TSM. Traffic parameters, the vehicle speed and density, are extracted over many frames using differences between the sampling points of a background image and those of incoming frames. The FPA works by just processing groups of pixels without any understanding of the image. Although this system has an accuracy limitation, it can be used in applications requiring an approximate vehicle density and vehicle speed in real-time.

유전자 알고리즘을 이용한 MRF 모델 기반의 영상분할

김은이,박세현,정기철,김항준,Kim, Eun-Yi,Park, Se-Hyun,Jung, Kee-Chul,Kim, Hang-Joon 대한전자공학회 1999 電子工學會論文誌, C Vol.c36 No.9

Image segmentation is the process where an image is segmented into regions that are set of homogeneous pixels. The result has a ciritical effect on accuracy of image understanding. In this paper, an Markov random field (MRF) image segmentation is proposed using genetic algorithm(GA). We model an image using MRF which is resistant to noise and blurring. While MRF based methods are robust to degradation, these require accurate parameter estimation. So GA is used as a segmentation algorithm which is effective at dealing with combinatorial problems. The efficiency of the proposed method is shown by experimental results with real images and application to automatic vehicle extraction system. 영상분할은 입력된 영상을 처리하여 유사한 화소들의 집합인 영역들로 화소들을 구분하는 작업이다. 영상분할의 결과는 영상인식의 정확성에 큰 영향을 미친다. 본 논문에서는 유전자 알고리즘을 이용하여 마르코프 랜덤 필드(Markov random field)에 기반한 영상분할 방법을 제안한다. 제안한 방법에서는 잡음과 흔들림(blurring)에 강한 MRF를 이용하여 영상을 모델링 한다. HRF기반 영상분할 방법은 왜곡에 강한 반면, 정확한 파라미터의 추정이 요구된다. 그래서 , 추정방법으로 많은 파라미터를 포함하는 문제를 다루는데 효율적인 유전자 알고리즘을 사용한다. 실 영상을 가지고 수행된 실험 결과와 자동 차량 추출 시스템에의 응용결과는 제안된 방법의 효율성을 보여준다.

NMF를 이용한 영문자 활자체 폰트 분류

이창우,강현,정기철,김항준,Lee, Chang-Woo,Kang, Hyun,Jung, Kee-Chul,Kim, Hang-Joon 대한전자공학회 2004 電子工學會論文誌-CI (Computer and Information) Vol.41 No.2

최근 대부분의 문서들이 전자적으로 생성되고 많은 고문서들이 이미지 형태로 전자화되고 있다. 이미지 형태의 전자 문서들은 정보 추출과 데이터베이스화에 많은 어려움이 있기 때문에, 이러한 문서를 효율적으로 관리하고 검색하기 위한 문서구조분석 방법과 문자 인식을 위한 많은 연구가 필요하다. 본 논문은 폰트의 구분 특성(font discrimination features)들이 폰트이미지의 공간적으로 지역적인 특징들에 기반함을 가정한 방법으로써, 객체의 부분기반 표현들을 학습할 수 있는 NMF(non-negative matrix factorization) 알고리즘을 사용하여 폰트를 자동으로 분류하는 방법이다. 제안된 방법은 부분기반의 비지도 학습 방법(part-based unsupervised learning technique)을 이용하여 전체의 폰트 이미지들로부터 각 폰트들의 구분 특징인 부분을 학습하고, 학습된 부분들을 특징으로 사용하여 폰트를 분류하는 방법이다. 실험결과에서 폰트 이미지들의 공간적으로 국부적인 특징들이 조사되고, 그 특징들이 폰트의 식별을 위한 적절성을 보인다. 제안된 방법이 기존의 문자인식, 문서 검색 시스템들의 전처리기로 사용되면, 그 시스템들의 성능을 향상시킬 것으로 기대된다. Today, most documents are electronically produced and their paleography is digitalized by imaging, resulting in a tremendous number of electronic documents in the shape of images. Therefore, to process these document images, many methods of document structure analysis and recognition have already been proposed, including font classification. Accordingly, the current paper proposes a font classification method for document images that uses non-negative matrix factorization (NMF), which is able to learn part-based representations of objects. In the proposed method, spatially total features of font images are automatically extracted using NMF, then the appropriateness of the features specifying each font is investigated. The proposed method is expected to improve the performance of optical character recognition (OCR), document indexing, and retrieval systems, when such systems adopt a font classifier as a preprocessor.

포즈 인식에서 효율적 특징 추출을 위한 3차원 데이터의 차원 축소

경동욱,이윤리,정기철,Kyoung, Dong-Wuk,Lee, Yun-Li,Jung, Kee-Chul 한국정보처리학회 2008 정보처리학회논문지B Vol.15 No.5

사용자 포즈의 3차원 데이터 생성을 통한 3차원 포즈 인식은 2차원 포즈 인식의 문제점을 해결하기 위해서 많이 연구되고 있지만, 3차원 표면 데이터의 방대한 양으로 포즈 인식에서 중요한 특징 추출(feature extraction)이 어렵고 수행 시간이 많이 걸리는 문제점을 가지고 있다. 본 논문에서는 3차원 포즈 인식의 두 가지 문제점인 특징 추출의 어려움과 느린 처리속도를 개선하기 위해서 3차원 형상복원 기술로 모델의 3차원 표면 점들로 구성된 데이터를 2차원 데이터로 변환하는 차원 축소(dimension reduction) 방법을 제안한다. 실린더형 외곽점을 이용한 메쉬없는 매개변수화(meshless parameterization) 방법은 방대한 데이터인 3차원 포즈 데이터를 2차원 데이터로 변환하여 특징 추출과 매칭과정의 연산 속도를 향상 시키며, 특징 추출의 효율성 검증을 위해 간단한 환경에서 실험이 가능한 손 포즈 인식 및 인간 포즈 인식에 적용하였다. 3D posture recognition is a solution to overcome the limitation of 2D posture recognition. There are many researches carried out for 3D posture recognition using 3D data. The 3D data consist of massive surface points which are rich of information. However, it is difficult to extract the important features for posture recognition purpose. Meanwhile, it also consumes lots of processing time. In this paper, we introduced a dimension reduction method that transform 3D surface points of an object to 2D data representation in order to overcome the issues of feature extraction and time complexity of 3D posture recognition. For a better feature extraction and matching process, a cylindrical boundary is introduced in meshless parameterization, its offer a fast processing speed of dimension reduction process and the output result is applicable for recognition purpose. The proposed approach is applied to hand and human posture recognition in order to verify the efficiency of the feature extraction.

비디오 영상에서 시공간적 문자영역 제거방법

이창우,강현,정기철,김항준,Lee, Chang-Woo,Kang, Hyun,Jung, Kee-Chul,Kim, Hang-Joon 대한전자공학회 2004 電子工學會論文誌-CI (Computer and Information) Vol.41 No.2

많은 시각적 정보를 포함한 비디오 데이터들의 자동화된 처리 기술 중, 비디오 데이터들의 시청자적인 정보를 보강시키고, 부가적인 정보를 첨가하기 위한 일환으로 자막을 삽입하는 경우가 많다. 이러한 자막은 때로 영상자료의 재사용성(reusability)을 저해하고, 원 영상을 훼손하는 경우가 발생한다. 본 논문에서는 영상의 재사용성을 높이고 원 영상 복원을 위해 Support Vector Machines(SVM)과 시공간적 영상복원 방법(spatiotemporal restoration)을 이용한 비디오 영상에서의 자동 문자 검출과 제거 방법을 제안한다. 연속적인 두 프레임 이상의 영상을 입력받아, 현재 프레임 영상에서 SVM을 이용하여 문자 영역을 검출한 다음, 검출된 문자 영역을 제거하고, 문자 영역에 의해 가려졌던 원 영상을 복원하기 위한 두 단계- 시간적 복원(temporal restoration)과 공간적 복원(spatial restoration)접근방법을 제안한다. 제안된 복원 방법은 글자 모션(text motion) 정보와 두 영상의 배경 차이(background difference)를 이용하여 영상을 그 특징에 따라 분류하고, 각 영상의 특징에 맞는 복원 방법을 적용한다. 제안된 방법은 다양한 종류의 영상에서 문자뿐만 아니라 관심의 대상이 되는 객체의 자동 검출 및 복원 등 다양한 응용분야를 포함한다. Most multimedia data contain text to emphasize the meaning of the data, to present additional explanations about the situation, or to translate different languages. But, the left makes it difficult to reuse the images, and distorts not only the original images but also their meanings. Accordingly, this paper proposes a support vector machines (SVMs) and spatiotemporal restoration-based approach for automatic text detection and removal in video sequences. Given two consecutive frames, first, text regions in the current frame are detected by an SVM-based texture classifier Second, two stages are performed for the restoration of the regions occluded by the detected text regions: temporal restoration in consecutive frames and spatial restoration in the current frame. Utilizing text motion and background difference, an input video sequence is classified and a different temporal restoration scheme is applied to the sequence. Such a combination of temporal restoration and spatial restoration shows great potential for automatic detection and removal of objects of interest in various kinds of video sequences, and is applicable to many applications such as translation of captions and replacement of indirect advertisements in videos.

SIFT 알고리즘을 이용한 혼합형 모바일 교육 시스템

홍광진(Kwang-jin Hong),정기철(Kee-chul Jung),한은정(Eun-jung Han),양종열(Jong-yeol Yang) 한국산업정보학회 2008 한국산업정보학회논문지 Vol.13 No.2

무선 인터넷과 모바일 기기의 보급으로 언제 어디서나 원하는 정보를 얻을 수 있는 유비쿼터스 환경을 위한 인프라가 구축되면서 교육을 포함한 다양한 분야에서 오프라인과 온라인 컨텐츠를 동시에 이용함으로써 정보 전달의 효율성을 높일 수 있는 방법에 대한 연구가 활발하게 이루어지고 있다. 본 논문은 사용자에게 모바일 기기를 이용하여 오프라인과 온라인 컨텐츠를 함께 제공하여 교육의 효과를 높일 수 있는 혼합형 모바일 교육 시스템(Mixed Mobile Education System: MME)을 제안한다. 제안된 시스템은 기존의 연구와 달리 사용자에게 자연스러운 환경을 제공하기 위해서 부가적인 태그를 사용하지 않는다. 태그를 사용하는 시스템의 경우 새로운 데이터의 등록이 어렵고, 유사한 내용의 오프라인 컨텐츠 사용이 불가능하기 때문이다. 본 논문에서 우리는 저화질의 카메라를 통해 입력받은 영상에서 잡음, 색상 왜곡, 크기 및 기울기 변화에 영향을 적게 받는 특징점을 추출하고 오프라인 컨텐츠를 인식하기 위해 (Scale Invariant Feature Transform(SIFT) 알고리즘을 사용하였다. 또한 클라이언트-서버 구조를 사용함으로써 모바일 장치의 제한적인 저장 능력 문제를 해결하고, 데이터의 등록 및 수정이 용이하도록 하였다. 실험을 통해 기존의 혼합형 교육 시스템과의 성능을 비교하고 제안된 시스템의 장단점을 확인하였으며, 시스템을 실생활에 적용하였을 경우 다양한 상황에서도 사용자에게 만족할만한 성능을 제공함을 확인하였다. Due to popularization of the wireless Internet and mobile devices, the infrastructure of the ubiquitous environment, where users can get information whatever they want, anytime and anywhere, is created. Therefore, a variety of fields including the education studies methods for efficiency of information transmission using on-line and off-line contents. In this parer, we propose the Mixed Mobile Education system(MME) that improves educational efficiency using on-line and offline contents on mobile devices. Because it is hard to input new data and cannot use similar off-line contents in systems used additional tags, the proposed system does not use additional tags but recognizes off-line contents as we extract feature points in the input image using the mobile camera. We use the Scale Invariant Feature Transform(SIFT) algorithm to extract feature points, which are not affected by noise, color distortion, size and rotation in the input image captured by the low resolution camera. And we use the client-server architecture for solving the limited storage size of the mobile devices and for easily registration and modification of data. Experimental results show that compared with previous work, the proposed system has some advantages and disadvantages and that the proposed system has good efficiency on various environments.

지능형 공간에서 청각장애인의 시선 방향 검출

오영준,홍광진,김종인,정기철,Oh, Young-Joon,Hong, Kwang-Jin,Kim, Jong-In,Jung, Kee-Chul 한국정보처리학회 2011 정보처리학회논문지B Vol.18 No.6

인간-컴퓨터 상호 작용은 인간공학과 정보기술을 융합하여 인간과 컴퓨터와의 상호 작용 기술을 연구하는 학문이고, 그 중에서도 지능형 공간은 정보화 사회에서 소외될 수 있는 장애인에게 더욱 효과적인 사용 환경을 제공할 수 있는 중요한 연구 분야이다. 장애인을 위한 지능형 공간에서의 정보 지원 방법은 장애 유형에 따라 달라지는데, 본 논문은 정보 지원 대상을 청각 장애인으로 한정한다. 청각 장애인에게 직접 접촉을 통해 정보 제공 위치를 인지시키는 방법을 제외하면, 시선이 향하고 있는 곳에 정보를 표시하는 것이 가장 효율적인 정보 제공 방법이기 때문에, 시선 방향 검출 방법은 필수적이다. 우리는 이처럼 청각 장애인에게 실내 생활 지원 서비스를 제공하기 위해 반드시 필요한 시선 방향 검출 방법을 제안한다. 제안된 방법은 다시점 영상(Multi-view Camera Image) 내에서 검출된 사용자 영역 정보를 이용하여, 시점 별 수평/수직 방향 시선각 후보를 생성하고 후보 간의 크기 비교를 통해 사용자의 시선 방향을 계산한다. 실험 결과에서, 제안된 방법은 높은 시선 방향 검출 성능을 보이며, 장애인을 위한 시나리오를 수행할 수 있는 가능성을 보였다. The Human-Computer Interaction(HCI) is a study of the method for interaction between human and computers that merges the ergonomics and the information technology. The intelligent space, which is a part of the HCI, is an important area to provide effective user interface for the disabled, who are alienated from the information-oriented society. In the intelligent space for the disabled, the method supporting information depends on types of disability. In this paper, we only support the hearing-impaired. It is material to the gaze direction detection method because it is very efficient information provide method to present information on gazing direction point, except for the information provide location perception method through directly contact with the hearing-impaired. We proposed the gaze direction detection method must be necessary in order to provide the residence life application to the hearing-impaired like this. The proposed method detects the region of the user from multi-view camera images, generates candidates for directions of gaze for horizontal and vertical from each camera, and calculates the gaze direction of the user through the comparison with the size of each candidate. In experimental results, the proposed method showed high detection rate with gaze direction and foot sensing rate with user's position, and showed the performance possibility of the scenario for the disabled.