인식기 풀 기반의 다수 인식기 시스템 구축 방법

강희중(Hee-Joong Kang) 한국정보과학회 2002 정보과학회논문지 : 소프트웨어 및 응용 Vol.29 No.7·8

우수한 인식 성능을 보이기 위하여 가용한 인식기 풀(pool)로부터 다수 인식기를 선택하는 방법에 관한 연구는 소수에 불과하였다. 그래서, 어떻게 또는 얼마나 많은 인식기를 선택해야 하는가에 관한 인식기의 선택 문제는 여전히 중요한 연구 주제로 남아 있다. 본 논문에서는 선택되는 인식기의 개수가 미리 제한되어 있다는 가정 하에서, 다양한 선택 기준을 제안하고, 이들 선택 기준에 따라서 다수 인식기 시스템을 구축하며, 구축된 다수 인식기 시스템의 성능을 평가함으로써 제안된 선택 기준을 평가하고자 한다. 모든 가능한 다수 인식기의 집합은 선택 기준에 의해서 조사되고, 그 중 일부가 다수 인식기 시스템의 후보로 선정된다. 이러한 다수 인식기 시스템 후보들은 Concordia 대학과 UCI(University of California, Irvine)의 기계학습 자료로부터 얻은 무제약 필기 숫자를 인식하는 실험에 의해 평가되었다. 다양한 선택기준 중에서, 특히 조건부 엔트로피에 기반한 정보 이론적 선택 기준에 의하여 구축된 다수 인식기 시스템 후보가 다른 선택 기준에 의한 후보보다 더 유망한 결과를 보여 주었다. Only a few studies have been conducted on how to select multiple classifiers from the pool of available classifiers for showing the good classification performance. Thus, the selection problem of classifiers on how to select or how many to select still remains an important research issue. In this paper, provided that the number of selected classifiers is constrained in advance, a variety of selection criteria are proposed and applied to the construction of multiple classifier systems, and then these selection criteria will be evaluated by the performance of the constructed multiple classifier systems. All the possible sets of classifiers are examined by the selection criteria, and some of these sets are selected as the candidates of multiple classifier systems. The multiple classifier system candidates were evaluated by the experiments recognizing unconstrained handwritten numerals obtained both from Concordia university and UCI machine learning repository. Among the selection criteria, particularly the multiple classifier system candidates by the information-theoretic selection criteria based on conditional entropy showed more promising results than those by the other selection criteria.

3차 의존관계에 기반한 곱 근사를 이용한 다수 인식기의 결합

강희중(Hee-Joong Kang) 한국정보과학회 2004 정보과학회논문지 : 소프트웨어 및 응용 Vol.31 No.5

인식기와 클래스 레이블로 구성된 고차 확률 분포를 가정이나 근사 없이 저장하고, 평가하는것은 기하급수적으로 복잡하고 관리하기 어렵다. 따라서, 의존관계를 이용한 근사 방법에 의존하게 된다. 본 논문에서는 기존의 2차 의존관계에 기반한 곱 근사 방법을 확장하여, 이 확률 분포를 3차 의존관계에 의해 최적으로 곱 근사하는 방법을 제안하고자 한다. 제안된 3차 의존관계에 기반한 곱 근사 방법은 Concordia 대학과 UCI(University of California, Irvine) 대학으로부터 얻은 필기 숫자를 인식하는 실험에서 다수 인식기의 결합 방법에 적용되었고, 실험을 통하여 제안된 방법의 유용성을 살펴보았다. Storing and estimating the high order probability distribution of classifiers and class labels is exponentially complex and unmanageable without an assumption or an approximation, so we rely on an approximation scheme using the dependency. In this paper, as an extended study of the second-order dependency-based approximation, the probability distribution is optimally approximated by the third-order dependency. The proposed third-order dependency-based approximation is applied to the combination of multiple classifiers recognizing handwritten numerals from Concordia University and the University of California, Irvine and its usefulness is demonstrated through the experiments.

다수 인식기 시스템의 효율적인 구축에 관한 연구

강희중 ( Hee-joong Kang ) 한국정보처리학회 2008 한국정보처리학회 학술대회논문집 Vol.15 No.1

어려운 패턴인식 문제를 다루기 위하여, 다수 인식기를 사용하는 다수 인식기 시스템의 개발에 관한 연구가 활성화 되었으나, 다수 인식기 시스템의 효율적인 구축에 관한 체계적인 시도는 그리 많지 않았다. 다수 인식기 시스템의 효율성은 인식기 집합에 포함되는 인식기의 선택 방법과 선택된 인식기들의 결합 방법에 의해서 결정되는 시스템의 인식 성능으로 판단될 수 있다. 따라서, 이들 요인을 고려하여 효율성이 높은 다수 인식기 시스템을 구축하는 방법을 살펴보고자 한다.

의존관계를 기반으로 다수 인식기를 결합하는 방법과 그 응용

강희중(Hee-Joong Kang),김진형(Jin H. Kim) 한국정보과학회 1995 정보과학회논문지(B) Vol.22 No.11

다수 인식기를 결합하는 여러가지 방법들이 제안되었으나, 대부분이 다수 인식기를 결합하는데 있이서 인식기 간의 의존관계를 고려하지 않았다. 이것은 의존관계가 매우 높은 인식기가 추가될 때 다수 인식기를 결합하는 방법의 인식 성능을 저하시키거나 결합된 결과가 판향되도록 할 수도 있다. 본 논문에서는 이러한 단점을 극복하고 안정적인 인식 성능을 얻기 위하여 의존관계를 기반으로 다수 인식기를 결합하는 방법을 제안한다. 다수 인식기의 인식 결과로부터 의존관계를 결정하기 위하여 1차 의존관계로 근사하였으며, 두 가지 방법을 사용하였다. 하나는 상호 정보의 개념을 사용하는 것이고, 다른 하나는 통계적으로 측정된 결합도의 개념을 사용하는 것이다. 최적으로 결정된 1차 의존관계는 베이지안 공식을 사용하여 다수 인식기의 인식 결과를 결합하는데 사용된다. 무제약 온라인 숫자, 영문 알파벳 인식을 위한 문자 인식기를 사용하였다. 실험한 결과, 다수 문자 인식기를 결합한 인식 성능이 대체로 개별 문자 인식기의 성능보다 우수하였으며, 특히 의존관계가 매우 높은 문자 인식기가 추가되었을 때 의존관계를 기반으로 결합하는 방법이 다른 방법보다 더 우수한 성능을 보여 주었다. Although many methods for combining multiple classifiers have been proposed, most of them did not focus on dependency among classifiers in combining decisions from multiple classifiers. That makes classification performance of combining multiple classifiers be degraded and brased, in case of adding highly dependent classifiers To overcome such weaknesses and obtain robust classification performance, the present study used the dependency for better combining multiple classifiers. In order to identify the dependency by observing the outputs of multiple classifiers, two methods are used on the basis of first-order dependency One is to use the concept of mutual information, and the other is to use the concept of statistically measured association. The optimally Identified first-order dependencies are used to combine decisions from multiple classifiers, using Bayesian formalism A number of classifiers for on-line recognition of totally uncontrained handwritten numerals and English alphabet are used Our experimental results show that the classification performance of combining multiple classifiers is superior to that of individual ones, and in particular. considering the dependency outperforms others in recognition accuracy, when the highly dependent classifiers are added.

무제약 필기 숫자를 인식하기 위한 다수 인식기를 결합하는 의존관계 기반의 프레임워크

강희중(Hee-Joong Kang),이성환(Seong-Whan Lee) 한국정보과학회 2000 정보과학회논문지 : 소프트웨어 및 응용 Vol.27 No.8

K개의 인식기로부터 관찰된 K개 결정을 결합하는 결합 방법론 중의 하나인 BKS (Behavior-Knowledge Space) 방법은 아무런 가정 없이 이들 결정을 결합하지만, 관찰된 K개 결정을 저장하고 관리하려면 이론적으로 기하학적인 저장 공간을 만들어야 한다. 즉, K개의 인식기 결정을 결합하기 위하여 (K+1)차 확률 분포를 필요로 하는데, 작은 K라 할지라도 그 확률 분포를 저장하거나 평가하는 것이 어렵다는 것은 이미 잘 알려져 있다. 그러한 문제점을 극복하기 위해서는 고차 확률 분포를 몇 개의 구성 분포로 나누고, 이들 구성 분포의 곱(product)으로 고차 확률 분포를 근사시켜야 한다. 그러한 이전 방법 중의 하나는 그 확률 분포에 조건부 독립 가정을 적용하는 것이고, 다른 방법으로는 [1]에서와 같이 그 확률 분포를 단지 트리 의존관계 또는 2차 구성 분포의 곱으로 근사하는 것이다. 본 논문에서는, 구성 분포의 곱으로 근사하는 방법에서, 2차 이상의 고차 구성 분포까지 고려하여 (K+1)차 확률 분포를 d차 (1≤ d≤K) 의존관계에 의한 최적의 곱으로 근사하고, 베이지안 방법과 그 곱을 기반으로 다수 인식기의 결정을 결합하는 의존관계 기반의 프레임워크를 제안한다. 이 프레임워크는 표준 CENPARMI 데이타베이스로 실험되어 평가되었다. Although Behavior-Knowledge Space (BKS) method, one of well known decision combination methods, does not need any assumptions in combining the multiple experts, it should theoretically build exponential storage spaces for storing and managing jointly observed K decisions from K experts. That is, combining K experts needs a (K+1)st-order probability distribution. However, it is well known that the distribution becomes unmanageable in storing and estimating, even for a small K. In order to overcome such weakness, it has been studied to decompose a probability distribution into a number of component distributions and to approximate the distribution with a product of the component distributions. One of such previous works is to apply a conditional independence assumption to the distribution. Another work is to approximate the distribution with a product of only first-order tree dependencies or second-order distributions as shown in [1]. In this paper, higher order dependency than the first-order is considered in approximating the distribution and a dependency-based framework is proposed to optimally approximate the (K+1)st-order probability distribution with a product set of dth-order dependencies where (1≤d≤K), and to combine multiple experts based on the product set using the Bayesian formalism. This framework was experimented and evaluated with a standardized CENPARMI data base.

인식기 간의 상호정보를 이용한 인식기 선택

강희중(Hee Joong Kang) 한국정보과학회 2008 정보과학회 컴퓨팅의 실제 논문지 Vol.14 No.3

패턴인식 문제에 있어서 다수의 인식기를 사용하는 연구는 주로, 선택된 다수 인식기를 어떻게 결합할 것인가에 중점을 두어 왔으나, 최근에는 인식기 풀로부터 다수 인식기를 선택하려는 연구로 점차 진행되고 있다. 실제로 다수 인식기 시스템의 성능은 인식기들의 결합 방법은 물론, 선택되는 인식기에 의존한다. 따라서, 우수한 성능을 보이는 인식기 집합을 선택하는 것이 필요하며, 다수의 인식기를 선택하는데 있어서 정보이론에 기초한 접근 방법이 시도되었다. 본 논문에서는 인식기 간의 상호정보를 기반으로 인식기를 선택하여 인식기 집합을 구성하고, 다른 인식기 선택 방법들에 의해 구성된 인식기 집합과 그 성능을 비교해 보고자 한다. The study on combining multiple classifiers in the field of pattern recognition has mainly focused on how to combine multiple classifiers, but it has gradually turned to the study on how to select multiple classifiers from a classifier pool recently. Actually, the performance of multiple classifier system depends on the selected classifiers as well as the combination method of classifiers. Therefore, it is necessary to select a classifier set showing good performance, and an approach based on information theory has been tried to select the classifier set. In this paper, a classifier set candidate is made by the selection of classifiers, on the basis of mutual information between classifiers, and the classifier set candidate is compared with the other classifier sets chosen by the different selection methods in experiments.

다수의 순위 결정을 결합하는 방법과 온라인 문자 인식에의 응용

강희중(Hee-Joong Kang),김진형(Jin H. Kim) 한국정보과학회 1995 한국정보과학회 학술발표논문집 Vol.22 No.1

본 논문에서는 집단 의사결정 분야에서 제안, 연구된 다수의 선호도를 결합하는 사회적 선택 함수 기법을 기술하고, 온라인 필기 문자 인식 문제에서 다수 문자 인식기로 부터 순위 형태의 인식 결과를 결합하는 방법으로 이 기법을 응용하여 적용한 실험 내용을 기술한다. 사회적 선택 함수 기법은 널리 사용되는 Borda Count(혹은 Borda 함수)를 비롯하여, 가중화 Borda 함수, Condorcet 함수, Nanson 함수 등이 있다. 다른 결합 방법과의 비교를 위해서 투표 기법, BKS 기법, Bayesian 기법 등도 실험에 사용하였다. 다양한 결합 기법을 서로 비교하고 그 성능을 파악하기 위하여 2 종류의 다수 문자 인식기 시스템을 구성하고 무제약 온라인 숫자, 영문자 인식 문제에 적용하였다. 온라인 문자 인식기는 인식 결과를 대상 클래스의 순위 형태로 출력하며, 온닉 마르코프 모델을 기반으로 구축되었다.

조건부 엔트로피의 최소화를 통하여 인식기의 집합을 결정하는 방법

강희중(Hee-Joong Kang) 한국정보과학회 2008 한국정보과학회 학술발표논문집 Vol.35 No.1

패턴인식 문제를 다루는 연구에서 인식 성능을 향상시키고자 베이스 에러율의 상한인 조건부 엔트로피를 응용하는 시도가 있었다. 본 논문에서는 다수의 인식기로 구성된 다수 인식기 시스템이 우수한 성능을 보이도록 인식기의 집합을 결정하는 문제에서 이러한 조건부 엔트로피의 최소화를 통하여 시도한 방법과 다른 방법들을 간단하고 분명한 예제를 통하여 비교, 분석해 보았다. 다수 인식기의 결합 방법으로 대표적인 투표 기법과 조건부 독립 가정의 베이지안 기법을 사용하였으며, 조건부 엔트로피의 최소화를 통하여 인식기의 집합을 결정하는 방법에 대한 유용성을 확인할 수 있었다.

인식기 간의 상호정보를 이용한 인식기 선택 방법

강희중(Hee-Joong Kang) 한국정보과학회 2007 한국정보과학회 학술발표논문집 Vol.34 No.1A

베이스 에러율의 상위 경계 최소화에 기반한 고차 곱 근사 방법과 숫자 인식기 결합에의 적용

강희중(Hee-Joong Kang) 한국정보과학회 2001 정보과학회논문지 : 소프트웨어 및 응용 Vol.28 No.9

다수의 인식기를 결합하여 베이지안 결정 이론 하에서 클래스 분별력을 높이려면, 훈련 데이터 샘플로부터 얻은 클래스 변수와 결정 변수들로 구성된 조건부 엔트로피에 의해서 한정되는 베이스 에러율의 상위 경계를 최소화해야 한다. Wang과 Wong은 베이스 에러율의 상위 경계를 최소화하기 위하여 클래스 변수와 다수의 특징 패턴 변수들로 구성된 고차 확률 분포를 트리 의존관계로 근사하는 1차 근사방법을 제안하였다. 본 논문에서는 이러한 베이스 에러율의 상위 경계 최소화에 기반한 기존의 1차 트리의존관계 근사 방법을 확장하여 고차 의존관계까지 고려할 수 있는 확장된 곱 고차 근사 방법을 제안한다. 제안된 근사 방법을 CENPARMI의 무제약 필기 숫자를 인식하는 다수의 숫자 인식기 결합 방법에 적용하여 인식 실험을 하였으며, 이 방법에 의해서 보다 높은 인식률을 얻게 되었다. In order to raise a class discrimination power by combining multiple classifiers under the Bayesian decision theory, the upper bound of a Bayes error rate bounded by the conditional entropy of a class variable and decision variables obtained from training data samples should be minimized. Wang and Wong proposed a tree dependence first-order approximation scheme of a high order probability distribution composed of the class and multiple feature pattern variables for minimizing the upper bound of the Bayes error rate. This paper presents an extended high order product approximation scheme dealing with higher order dependency more than the first-order tree dependence, based on the minimization of the upper bound of the Bayes error rate. Multiple recognizers for unconstrained handwritten numerals from CENPARMI were combined by the proposed approximation scheme using the Bayesian formalism, and the high recognition rates were obtained by them.