Helmholtz Machine 학습에 기반한 문서 분류

장정호(Jeong-Ho Chang),장병탁(Byoung-Tak Zhang),김영택(Yung Taek Kim) 한국정보과학회 2000 한국정보과학회 학술발표논문집 Vol.27 No.1B

이 논문에서는 Helmholtz machine 을 사용하여 데이터의 분포 추정을 함으로써 문서 분류기를 학습하는 방법 제안한다. Helmholtz Machine 은 생성 모델과 인식 모델로 구성된 그래프 모델로서, 그래프 모델에서의 분포 추정을 보다 가능하게 하기 위한 근사 방법 중의 하나이다. Helmholtz Machine 에서의 각 입력 노드는 문서를 구성하는 하나의 단어에 대응하는 이진 노드이다. 입력 노드의 개수가 많아지면 그만큼 학습 시간이 증가하기 때문에, 학습 시간을 줄이면서 적정 수준의 성능을 유지하기 위해 자질 선정이 필요하다. 이러한 요구 사항을 충족시키기 위해 정보획득량(information gain) 기준을 이용하였으며, 뉴스 그룹 데이터에 대해 그 성능을 측정하고 Naive Bayes 를 이용한 것과 비교한다.

고압회전기기 고정자권선의 Off-line 진단을 통한 신뢰성 평가

장정호(Jeong-Ho Chang),임재일(Jae-Il Lim),이동근(Dong-Keun Lee),이흥호(Heung-Ho Lee) 대한전기학회 2011 대한전기학회 학술대회 논문집 Vol.2011 No.7

통합운영시스템 기반의 과학적인 조정지댐 운영시스템 연구

장정호(Jeong Ho Chang),황인광(In Kwang Whang),이흥호(Heung Ho Lee) 대한전기학회 2006 대한전기학회 학술대회 논문집 Vol.2006 No.7

한국수자원공사는 자동화 기술의 발달과 발전설비의 현대화 추세에 따라 9개 다목적댐 수력발전소에 선진화된 자동화시스템을 1990년대 초기에 도입하여 2004년도에 원격감시제어시스템인 발전통합운영시스템 구축을 완료하였다. 발전통합운영시스템(Generation Integrated Operation System)은 수력발전소의 발전 및 수문설비의 원격감시제어를 가능하게 하였고 본사 운영센터에서 현장 발전설비의 무인화 운영을 가능하게 함으로써 인력의 효율적 활용 및 자동제어 기술력 향상을 가져왔다. 이러한 통합감시제어 시스템에서 조정지댐의 안정적인 운영을 위한 응용프로그램을 개발하여 조정지댐을 자동제어 하거나, 운영자의 의사결정을 지원하는 시스템을 구축하여 과학적인 조정지댐 운영 모델을 제시하고자 한다.

유입식 변압기의 상태진단을 통한 노후도 평가 방법

장정호(Jeong-Ho Chang),이성훈(Sung-Hun Lee),이흥호(Heung-Ho Lee) 대한전기학회 2014 전기학회논문지 Vol.63 No.2

Nowadays new water supply projects have been on the decline as the water-power constructions have saturated, which means that the existing power equipment have slowly aged and they require more efforts to maintain the system performance. An effective asset management method of power equipment has become a great necessity from both economical and technical aspects. To be balanced, the asset management should look into all three parts: management, engineering, and information. The purpose of this paper is to study a Risk-Based Maintenance (RBM) matrix method through the deterioration evaluation algorithm for an efficient reliability assessment of oil-immersed power transformers by considering both asset management and technical evaluation. Make use of this result, the equipment will be decided to be replace or repair otherwise on service.

고압유도전동기 고정자권선의 On-line 및 Off-line 부분방전 진단을 통한 상태평가

장정호(Jeong-Ho Chang),김현일,김병직,이흥호(Heung-Ho Lee) 대한전기학회 2010 대한전기학회 학술대회 논문집 Vol.2010 No.7

회전기기의 고정자권선과 같은 고체절연시스템(solid insulation system)에서 부분방전(PD)은 절연체의 국부적인 열화현상을 추정할 수 있는 중요한 파라미터로, 부분방전시험(PD test)을 통하여 고정자권선(stator winding)에 대한 절연특성을 효과적으로 진단할 수 있다. 산업용으로 사용되는 고압 전동기는 기동정지의 빈번함과 장기간운전에 의해 열적, 전기적, 기계적 스트레스를 받게 되고, 이로 인해 과열, 진동, 절연파괴에 이르는 문제점이 발생되어 결국 시스템의 운전정지를 초래하는 심각한 사고로 이어질 수 있다. 따라서 고압 전동기의 절연상태를 상시 감시하고 사고 징후를 검출하여 시스템을 안정적으로 운영하기 위한 고압 전동기 On-line 절연진단시스템이 국내외에서 확대보급 되고 있다. 부분방전시험은 일반적인 절연시험법과는 다르게 운전중(On-line)인 상태와 정지중(Off-line)인 상태에서 모두 측정이 가능한 장점이 있으며 본 논문에서는 현장에서 운영중인 고압 전동기의 On-line 상태감시결과에서 이상 징후를 발견하고 Off-line 상태에서 부분방전시험을 통하여 그 결과를 비교분석함으로써 On-line 부분방전시스템의 효과적인 상태감시 기능을 확인하였으며 고정자권선의 정밀진단을 위하여 운휴 및 절연보강 계획을 수립하였다. 본 사례에서 확인할 수 있듯이 운전중 부분방전 진단시스템은 권선의 절연상태를 모니터링 하는데 효과적인 방법으로 사료되며 향후 지속적인 데이터 분석을 통하여 설비 운영 신뢰성을 제고하고자 한다.

잠재의미구조 기반 단어 유사도에 의한 역어 선택

장정호(Jeong-Ho Chang),김유섭(Yu-Seop Kim),장병탁(Byoung-Tak Zhang) 한국정보과학회 2002 한국정보과학회 학술발표논문집 Vol.29 No.1B

본 논문에서는 대량의 말뭉치에서 추출된 잠재의미에 기반하여 단어간 유사도를 측정하고 이를 영한 기계번역에서의 역어 선택에 적용한다. 잠재의미 추출을 위해서는 latent semantic analysis(LSA)와 probabilistic LSA(PLSA)를 이용한다. 주어진 단어의 역어 선택시 기본적으로 연어(collocation) 사전을 검색하고, 미등록 단어의 경우 등재된 단어 중 해당 단어와 유사도가 높은 항목의 정보를 활용하며 이 때 k-최근접 이웃 방법이 이용된다. 단어들간의 유사도 계산은 잠재의미 공간상에서 이루어진다. 실험에서, 연어사전만 이용하였을 경우보다 최고 15%의 성능 향상을 보였으며, PLSA에 기반한 방법이 LSA에 의한 방법보다 역어선택 성능 면에서 약간 더 우수하였다.

점진적 EM 알고리즘에 의한 잠재토픽모델의 학습 속도 향상 (pp.1045-1055)

장정호(Jeong-Ho Chang),이종우(Jong-Woo Lee),엄재홍(Jae-Hong Eom) 한국정보과학회 2007 정보과학회논문지 : 소프트웨어 및 응용 Vol.34 No.12

잠재토픽모델(latent topic model)은 데이타에 내재된 특징적 패턴이나 데이타 정의 자질들 간의 상호 관련성을 확률적으로 모델링하고 자동 추출하는 모델로서 최근 텍스트 문서로부터의 의미 자질 자동 추출, 이미지를 비롯한 멀티미디어 데이타 분석, 생물정보학 분야 등에서 많이 응용되고 있다. 이러한 잠재토픽모델의 대규모 데이타에 대한 적용 시 그 효과 증대를 위한 중요한 이슈 중의 하나는 모델의 효율적 학습에 관한 것이다. 본 논문에서는 대표적 잠재토픽모델 중의 하나인 PLSA (probabilistic latent semantic analysis) 기법을 대상으로 점진적 EM 알고리즘을 활용한, 기본 EM 알고리즘 기반의 기존 학습에 대한 학습속도 증진 기법을 제안한다. 점진적 EM 알고리즘은 토픽 추론 시 전체 데이타에 대한 일괄적 E-step 대신에 일부 데이타에 대한 일련의 부분적 E-step을 수행하는 특징이 있으며 이전 데이타 일부에 대한 학습 결과를 바로 다음 데이타 학습에 반영함으로써 모델 학습의 가속화를 기대할 수 있다. 또한 이론적인 측면에서 지역해로의 수렴성이 보장되고 기존 알고리즘의 큰 수정 없이 구현이 용이하다는 장점이 있다. 논문에서는 해당 알고리즘의 기본적인 응용과 더불어 실제 적용과정 상에서의 가능한 데이타 분할법들을 제시하고 모델 학습 속도 개선 면에서의 성능을 실험적으로 비교 분석한다. 실세계 뉴스 문서 데이타에 대한 실험을 통해, 제안하는 기법이 기존 PLSA 학습 기법에 비해 유의미한 수준에서 학습 속도증진을 달성할 수 있음을 보이며 추가적으로 모델의 병렬 학습 기법과의 조합을 통한 실험 결과를 간략히 제시한다. Latent topic models are statistical models which automatically captures salient patterns or correlation among features underlying a data collection in a probabilistic way. They are gaining an increased popularity as an effective tool in the application of automatic semantic feature extraction from text corpus, multimedia data analysis including image data, and bioinformatics. Among the important issues for the effectiveness in the application of latent topic models to the massive data set is the efficient learning of the model. The paper proposes an accelerated learning technique for PLSA model, one of the popular latent topic models, by an incremental EM algorithm instead of conventional EM algorithm. The incremental EM algorithm can be characterized by the employment of a series of partial E-steps that are performed on the corresponding subsets of the entire data collection, unlike in the conventional EM algorithm where one batch E-step is done for the whole data set. By the replacement of a single batch E-M step with a series of partial E-steps and M-steps, the inference result for the previous data subset can be directly reflected to the next inference process, which can enhance the learning speed for the entire data set. The algorithm is advantageous also in that it is guaranteed to converge to a local maximum solution and can be easily implemented just with slight modification of the existing algorithm based on the conventional EM. We present the basic application of the incremental EM algorithm to the learning of PLSA and empirically evaluate the acceleration performance with several possible data partitioning methods for the practical application. The experimental results on a real-world news data set show that the proposed approach can accomplish a meaningful enhancement of the convergence rate in the learning of latent topic model. Additionally, we present an interesting result which supports a possible synergistic effect of the combination of incremental EM algorithm with parallel computing.

다중요인모델에 기반한 텍스트 문서에서의 토픽 추출 및 의미 커널 구축

장정호(Jeong-Ho Chang),장병탁(Byoung-Tak Zhang) 한국정보과학회 2004 정보과학회논문지 : 소프트웨어 및 응용 Vol.31 No.5

문서 집합 내의 개념 또는 의미 관계의 자동 분석은 보다 효율적인 정보 획득과 단어 이상의 개념 수준에서의 문서간 비교를 가능케 한다. 본 논문에서는 다중요인모델에 기반하여 텍스트 문서로부터 토픽들을 추출하고 이로부터 의미 커널(semantic kernel)을 구축하여 문서간 유사도를 측정하는 방안을 제시한다. 텍스트 문서는 내재된 토픽들의 다양한 결합에 의해 생성된다고 가정하며 하나의 토픽은 공통주제에 관련되거나 적어도 자주 같이 나타나는 단어들의 집합으로 정의한다. 다중요인모델은 은닉층을 갖는 하나의 네트워크 형태로 표현되며, 토픽을 표현하는 단어 집합은 은닉노드로부터의 가중치가 높은 단어들로 구성된다. 일반적으로 이러한 다중요인 네트워크에서의 학습과 추론과정을 용이하게 하기 위해서는 근사적 확률 추정 기법이 요구되는데, 본 논문에서는 헬름홀츠 머신에 의한 방법을 활용한다. TDT-2 문서 집합에 대한 실험에서 토픽별로 관련 있는 단어 집합들을 추출할 수 있었으며, 4개의 텍스트 집합에 대한 문서 검색 실험에서는 다중요인모델의 분석결과에 기반한 의미 커널을 사용함으로써 기본 벡터공간 모델에 비해 평균정확도 면에서 통계적으로 유의한 수준의 성능 향상을 얻을 수 있었다. Automatic analysis of concepts or semantic relations from text documents enables not only an efficient acquisition of relevant information, but also a comparison of documents in the concept level. We present a multiple cause model-based approach to text analysis, where latent topics are automatically extracted from document sets and similarity between documents is measured by semantic kernels constructed from the extracted topics. In our approach, a document is assumed to be generated by various combinations of underlying topics. A topic is defined by a set of words that are related to the same topic or cooccur frequently within a document. In a network representing a multiple-cause model, each topic is identified by a group of words having high connection weights from a latent node. In order to facilitate learning and inferences in multiple-cause models, some approximation methods are required and we utilize an approximation by Helmholtz machines. In an experiment on TDT-2 data set, we extract sets of meaningful words where each set contains some theme-specific terms. Using semantic kernels constructed from latent topics extracted by multiple cause models, we also achieve significant improvements over the basic vector space model in terms of retrieval effectiveness.

Topographic non-negative matrix factorization에 기반한 텍스트 문서로부터의 토픽 가시화

장정호(Jeong-Ho Chang),엄재홍(Jae-Hong Eom),장병탁(Byoung-Tak Zhang) 한국정보과학회 2006 한국정보과학회 학술발표논문집 Vol.33 No.2B

Non-negative matrix factorization(NMF) 기법은 음이 아닌 값으로 구성된 데이터를 두 종류의 양의 행렬의 곱의 형식으로 분할하는 데이터 분석기법으로서, 텍스트마이닝, 바이오인포매틱스, 멀티미디어 데이터 분석 등에 활용되었다. 본 연구에서는 기본 NMF 기법에 기반하여 텍스트 문서로부터 토픽을 추출하고 동시에 이를 가시적으로 도시하기 위한 Topographic NMF (TNMF) 기법을 제안한다. TNMF에 의한 토픽 가시화는 데이터를 전체적인 관점에서 보다 직관적으로 파악하는데 도움이 될 수 있다. TNMF는 생성모델 관점에서 볼 때, 2개의 은닉층을 갖는 계층적 모델로 표현할 수 있으며, 상위 은닉층에서 하위 은닉층으로의 연결은 토픽공간상에서 토픽간의 전이확률 또는 이웃함수를 정의한다. TNMF에서의 학습은 전이확률값의 연속적 스케줄링 과정 속에서 반복적 파리미터 갱신 과정을 통해 학습이 이루어지는데, 파라미터 갱신은 기본 NMF 기반 학습 과정으로부터 유사한 형태로 유도될 수 있음을 보인다. 추가적으로 Probabilistic LSA에 기초한 토픽 가시화 기법 및 희소(sparse)한 해(解)도출을 목적으로 한 non-smooth NMF 기법과의 연관성을 분석 제시한다. NIPS 학회 논문 데이터에 대한 실험을 통해 제안된 방법론이 문서 내에 내재된 토픽들을 효과적으로 가시화할 수 있음을 제시한다.

Aspect model 기반의 차원 축소를 이용한 유전자 발현데이터 분석

장정호(Jeong-Ho Chang),엄재홍( Jae-Hong Eom),김유섭(Yu-Seop Kim),장병탁(Byoung-Tak Zhang) 한국정보과학회 2004 한국정보과학회 학술발표논문집 Vol.31 No.2Ⅰ

본 논문에서는 aspect model을 이용한 차원 축소 기반의 유전자 발현 데이터 분석을제시한다. Aspect model은 은닉변수모델의 하나로서, 이를 이용하여 유전자 발현 데이터에 대한 확률적 학습과정을 통해 특징적 발현 패턴을 추출할 수 있다. 또한 모델로부터 커널함수를 유도함으로써 발현패턴에 기반한 유전자간의 유사도를 자연스럽게 측정할 수 있다. 모델에 의해 정의되는 은닉공간차원 수는 데이터permutation 기반의 검증을 통해 결정한다. 효모(yeast)의 세포주기(cell cycle) 관련 발현 데이터에 대한 실험에서 주기별 특정 발현 패턴을 추출할 수 있었다. 또한 aspect model로부터 유도된 커널 기반의 유사도 척도를 이용함으로써 동일 기능 또는 동일 complex 범주에 속하는 유전자 쌍 예측에서 기본적인 상관계수에 의한 방법에 비해 보다 향상된 성능을 얻을 수 있었다.