브랜드 블로그를 위한 온라인 콘텐트 분석 시스템

인주호(Joo-Ho In),이성렬(Sung-Youl Lee),김명규(Myung-kyu kim),채수환(Soo-hoan Chae) 한국정보과학회 2010 한국정보과학회 학술발표논문집 Vol.37 No.1C

인터넷진흥원의 자료에 따르면 2009년 5월을 기점으로 전체가구의 80%가 인터넷을 사용하고 있으며 이중 만 3세 이상의 사용자들도 77.2%에 달한다. 또한 전체 사용자 중 블로그 서비스 사용률은 59.7%에 달하고 있다. 블로그와 같은 온라인 커뮤니케이션 서비스의 확대는 생산적 소비자의 확대를 가져왔고 동시에 블로그를 기업 마케팅의 전략 창구로서 변화 시키고 있다. 기업이 직접 블로그를 운영하게 될 때는 콘텐트를 블로그에 게시하는 것만으로 끝나지 않는다. 언제, 어디서, 어떻게 콘텐트가 읽혀졌는지, 콘텐트가 기업의 브랜드 이미지에 어떤 영향을 가지는가 등의 콘텐트 분석 또한 필수적인 요소가 되는 것이다. 이에 본 논문에서는 브랜드 블로그의 콘텐트를 분석하기 위한 분석 시스템을 개발하고 이를 적용시켜 브랜드 블로그 상의 콘텐트 추적 결과를 논해보고자 한다.

효율적인 문서 분류를 위한 혼합 특징 집합과 하이브리드 특징 선택 기법

인주호 ( Joo-ho In ),김정호 ( Jung-ho Kim ),채수환 ( Soo-hoan Chae ) 한국인터넷정보학회 2013 인터넷정보학회논문지 Vol.14 No.5

본 연구에서는 효율적인 온 라인 문서 자동 분류를 위해 매우 중요한 분류 작업의 전처리 단계인 특징선택을 위한 새로운 방법이 제안된다. 대부분의 기존 특징선택 방법 연구에서는 특징 집합의 모집단이 단일 모집단으로써 한 모집단이 가지는 정보만으로 분류에 적합한 특징들을 선택하여 특징 집합을 구성하였다. 본 연구에서는 단일 모집단에 한하여 수행되는 특징선택 뿐 만 아니라, 다중모집단을 가지는 혼합 특징 집합에 대해서 특징선택을 함으로써 다양한 정보를 바탕으로 한 특징 집합을 구성하였다. 혼합 특징 집합은 두 종류의 특징 집합으로 구성된다. 즉 각각 문서로부터 추출한 단어로 구성된 원본 특징 집합과 원본 특징 집합으로부터 LSA를 이용하여 새로 생성한 변형 특징 집합이다. 혼합 특징 집합으로부터 필터 방법과 래퍼 방법을 이용한 하이브리드 방식의 특징 선택을 통해 최적의 특징 집합을 찾고, 이를 이용하여 문서 분류 실험을 수행하였다. 다양한 모집단의 특징들의 정보를 모두 고려함으로써 보다 향상된 분류 성능을 보일 것이라고 기대하였고, 인터넷 뉴스 기사를 대상으로 분류 실험한 결과 90% 이상의 향상된 분류성능을 확인하였다. 특히, 재현율과 정밀도 모두 90%이상의 성능을 보였으며, 둘 사이의 편차가 낮은 것을 확인하였다. A novel approach for the feature selection is proposed, which is the important preprocessing task of on-line document classification. In previous researches, the features based on information from their single population for feature selection task have been selected. In this paper, a mixed feature set is constructed by selecting features from multi-population as well as single population based on various information. The mixed feature set consists of two feature sets: the original feature set that is made up of words on documents and the transformed feature set that is made up of features generated by LSA. The hybrid feature selection method using both filter and wrapper method is used to obtain optimal features set from the mixed feature set. We performed classification experiments using the obtained optimal feature sets. As a result of the experiments, our expectation that our approach makes better performance of classification is verified, which is over 90% accuracy. In particular, it is confirmed that our approach has over 90% recall and precision that have a low deviation between categories.

의미 기반 유전 알고리즘을 사용한 특징 선택

김정호 ( Jung-ho Kim ),인주호 ( Joo-ho In ),채수환 ( Soo-hoan Chae ) 한국인터넷정보학회 2012 인터넷정보학회논문지 Vol.13 No.4

본 논문은 문서 분류의 전처리 단계인 특징 선택을 위해 의미를 고려한 최적의 특징 선택 방법을 제안한다. 특징 선택은 불필요한 특징을 제거하고 분류에 필요한 특징을 추출하는 작업으로 분류 작업에서 매우 중요한 역할을 한다. 특징 선택 기법으로 특징의 의미를 파악하여 특징을 선택하는 LSA(Latent Semantic Analysis) 기법을 사용하지만 기본 LSA는 분류 작업에 특성화 된 기법이 아니므로 지도적 학습을 통해 분류에 적합하도록 개선된 지도적 LSA를 사용한다. 지도적 LSA를 통해 선택된 특징들로부터 최적화 기법인 유전알고리즘을 사용하여 더 최적의 특징들을 추출한다. 마지막으로, 추출한 특징들로 분류할 문서를 표현하고 SVM (Support Vector Machine)을 이용한 특정 분류기를 사용하여 분류를 수행하였다. 지도적 LSA를 통해 의미를 고려하고 유전 알고리즘을 통해 최적의 특징 집합을 찾음으로써 높은 분류 성능과 효율성을 보일 것이라 가정하였다. 인터넷 뉴스 기사를 대상으로 분류 실험을 수행한 결과 적은 수의 특징들로 높은 분류 성능을 확인할 수 있었다. In this paper, an optimal feature selection method considering sematic of features, which is preprocess of document classification is proposed. The feature selection is very important part on classification, which is composed of removing redundant features and selecting essential features. LSA (Latent Semantic Analysis) for considering meaning of the features is adopted. However, a supervised LSA which is suitable method for classification problems is used because the basic LSA is not specialized for feature selection. We also apply GA (Genetic Algorithm) to the features, which are obtained from supervised LSA to select better feature subset. Finally, we project documents onto new selected feature subset and classify them using specific classifier, SVM (Support Vector Machine). It is expected to get high performance and efficiency of classification by selecting optimal feature subset using the proposed hybrid method of supervised LSA and GA. Its efficiency is proved through experiments using internet news classification with low features.

감성 패턴을 이용한 영화평 평점 추론

김정호 ( Jung Ho Kim ),인주호 ( Joo Ho In ),채수환 ( Soo Hoan Chae ) 한국감성과학회 2014 감성과학 Vol.17 No.1

본 연구는 보다 정확한 텍스트의 감성 분석을 위해 새로운 감성 특징인 감성 패턴을 제안하고, 이를 이용한 영화평 평점 추론에 대해 소개한다. 텍스트 감성 분석은 텍스트에 포함된 감성인 긍정과 부정을 인식하고 분류하는 작업으로, 이를 위해 감성 특징인 감성 단어와 구문 패턴을 이용한다. 텍스트 내에 존재하는 감성 단어와 구문 패턴의 감성을 통해 텍스트 전체의 감성을 분류하는 것이다. 하지만, 기존 감성 분석은 감성 단어와 구문 패턴의 감성을 독립적으로 고려하기 때문에 문장 혹은 글 전체의 감성 정보를 정확히 파악하기 어렵다는 한계를 가지고 있다. 그러므로 본 연구는 기존 감성 특징들을 독립적으로 고려하는 것뿐만 아니라 문장 내에서 출현하는 감성들을 의미적으로 연결하여 하나의 패턴으로 정의한 감성 패턴을 제안하고, 감성 분석의 세부 연구 주제인 평점 추론에 감성 패턴을 새로운 감성 특징으로 사용하였다. 제안하는 감성 패턴의 효과를 검증하기 위해 영화평에 대한 평점 추론 실험을 수행하였다. 감성 패턴을 포함한 모든 감성 특징들을 사전에 정의한 학습 영화평들로부터 추출하고, 이를 확률 기법을 이용해 실험 영화평들의 평점을 추론하였다. 그 결과 감성 패턴을 사용하였을 경우 기존 감성 특징들만 사용했을 때 보다 추론한 평점이 더욱 정확함을 확인하였다. We propose the sentiment pattern as a novel sentiment feature for more accurate text sentiment analysis, and introduce the rating inference of movie reviews using it. The text sentiment analysis is a task that recognizes and classifies sentiment of text whether it is positive or negative. For that purpose, the sentiment feature is used, which includes sentiment words and phrase pattern that have specific sentiment like positive or negative. The previous researches for the sentiment analysis, however, have a limit to understand accurately total sentiment of either a sentence or text because they consider the sentiment of sentiment words and phrase patterns independently. Therefore, we propose the sentiment pattern that is defined by arranging semantically all sentiment in a sentence, and use them as a new sentiment feature for the rating inference that is one of the detail subjects of the sentiment analysis. In order to verify the effect of proposed sentiment pattern, we conducted experiments of rating inference. Ratings of test reviews is inferred by using a probabilistic method with sentiment features including sentiment patterns extracted from training reviews. As a result, it is shown that the result of rating inference with sentiment patterns are more accurate than that without sentiment patterns.

한국어 특성을 고려한 감성 분류

김정호 ( Jung Ho Kim ),김명규 ( Myung Kyu Kim ),차명훈 ( Myung Hoon Cha ),인주호 ( Joo Ho In ),채수환 ( Soo Hoan Chae ) 한국감성과학회 2010 감성과학 Vol.13 No.3

다양한 분야에서 인터넷 상의 방대한 양의 문서 혹은 리뷰로부터 유용한 정보를 얻고자 하는 노력이 높아짐에 따라 문서 혹은 리뷰 상의 생각 및 의견에 대한 자동 분류 연구의 필요성이 대두되었다. 이러한 자동분류를 감성 분류라 하며, 감성 분류 연구는 크게 세 가지 단계를 가지는데, 첫 번째로 주관적인 생각이나 느낌을 표현하는 문장을 추출하기 위한 주관성 분류 연구, 두 번째로 문서 또는 문장을 긍정, 부정으로 나누는 극성 분류 연구, 그리고 세 번째로 문서 또는 문장이 어느 정도의 주관성 및 극성을 갖는지 그 강도를 구하는 강도 분류 연구이다. 최근 의견 분류에 대한 연구들을 살펴보면, 분류를 위해 자질(Feature)로서 단일어(Single word)가 아닌 2개 이상의 N-gram 단어, 어휘 구문 패턴 및 통사 구문 패턴 등을 사용하는 것을 확인할 수 있다. 특히, 패턴은 단일어나 N-gram 단어에 비해 유연하고, 언어학적으로 풍부한 정보를 표현할 수 있기 때문에 이를 이용한 많은 연구가 이루어져 왔다. 그럼에도 불구하고, 이러한 연구들은 주로 영어에 대한 연구들이었으며, 한국어에 패턴을 적용하여 주관성을 갖는 문장을 분류하거나, 극성을 분류하는 연구들은 아직 미비하다. 한편, 한국어는 용언의 활용이 발달되어 있어, 어미의 변화가 다양하며, 그 변화에 따라 의미가 미묘하게 변화한다. 그러나 기존 한국어에 대한 의견 분류 연구들은 단어의 핵심 의미만을 파악하기 위해 어미부분을 제거하고 어간만을 취해서 처리하여 어미에 대한 의미변화를 고려하지 못하였다. 그래서 본 연구는 영어에 적용된 패턴을 이용한 기존 방법들을 정리하고, 그 방법들 중에서 극성을 지닌 문장성분 패턴을 한국어에 적용하였다. 그리고 어미의 변화에 대한 패턴을 추출하여 이 변화가 의견 분류의 성능에 미치는 영향을 분석하였다. As occasion demands to obtain efficient information from many documents and reviews on the Internet in many kinds of fields, automatic classification of opinion or thought is required. These automatic classification is called sentiment classification, which can be divided into three steps, such as subjective expression classification to extract subjective sentences from documents, sentiment classification to classify whether the polarity of documents is positive or negative, and strength classification to classify whether the documents have weak polarity or strong polarity. The latest studies in Opinion Mining have used N-gram words, lexical phrase pattern, and syntactic phrase pattern, etc. They have not used single word as feature for classification. Especially, patterns have been used frequently as feature because they are more flexible than N-gram words and are also more deterministic than single word. Theses studies are mainly concerned with English, other studies using patterns for Korean are still at an early stage. Although Korean has a slight difference in the meaning between predicates by the change of endings, which is `Eomi` in Korean, of declinable words, the earlier studies about Korean opinion classification removed endings from predicates only to extract stems. Finally, this study introduces the earlier studies and methods using pattern for English, uses extracted sentimental patterns from Korean documents, and classifies polarities of these documents. In this paper, it also analyses the influence of the change of endings on performances of opinion classification.

선택적 자질 차원 축소를 이용한 최적의 지도적 LSA 방법

김정호 ( Jung Ho Kim ),김명규 ( Myung Kyu Kim ),차명훈 ( Myung Hoon Cha ),인주호 ( Joo Ho In ),채수환 ( Soo Hoan Chae ) 한국감성과학회 2010 감성과학 Vol.13 No.1

기존 웹 페이지 자동분류 연구는 일반적으로 학습 기반인 kNN(k-Nearest Neighbor), SVM(Support Vector Machine)과 통계 기반인 Bayesian classifier, NNA(Neural Network Algorithm)등 여러 종류의 분류작업에서 입증된 분류 기법을 사용하여 웹 페이지를 분류하였다. 하지만 인터넷 상의 방대한 양의 웹 페이지와 각 페이지로부터 나오는 많은 양의 자질들을 처리하기에는 공간적, 시간적 문제에 직면하게 된다. 그리고 분류 대상을 표현하기 위해 흔히 사용하는 단일(uni-gram) 자질 기반에서는 자질들 간의 관계 분석을 통해 자질에 정확한 의미를 부여하기 힘들다. 특히 본 논문의 분류 대상인 한글 웹 페이지의 자질인 한글 단어는 중의적인 의미를 가지는 경우가 많기 때문에 이러한 중의성이 분류 작업에 많은 영향을 미칠 수 있다. 잠재적 의미 분석 LSA(Latent Semantic Analysis) 분류기법은 선형 기법인 특이치 분해 SVD(Singular Value Decomposition)을 통해 행렬의 분해 및 차원 축소(dimension reduction)를 수행하여 대용량 데이터 집합의 분류를 효율적으로 수행하고, 또한 차원 축소를 통해 새로운 의미공간을 생성하여 자질들의 중의적 의미를 분석할 수 있으며 이 새로운 의미공간상에 분류 대상을 표현함으로써 분류 대상의 잠재적 의미를 분석할 수 있다. 하지만 LSA의 차원축소는 전체 데이터의 표현 정도만을 고려할 뿐 분류하고자 하는 범주를 고려하지 않으며 또한 서로 다른 범주 간의 차별성을 고려하지 않기 때문에 축소된 차원 상에서 분류 시 서로 다른 범주 데이터간의 모호한 경계로 인해 안정된 분류 성능을 나타내지 못한다. 이에 본 논문은 새로운 의미공간(semantic space) 상에서 서로 다른 범주사이의 명확한 구분을 위한 특별한 차원 선택을 수행하여 최적의 차원 선택과 안정된 분류성능을 보이는 최적의 지도적 LSA을 소개한다. 제안한 지도적 LSA 방법은 기본 LSA 및 다른 지도적 LSA 방법들에 비해 저 차원 상에서 안정되고 더 높은 성능을 보였다. 또한 추가로 자질 생성 및 선택 시 불용어의 제거와 자질에 대한 가중치를 통계적인 학습을 통해 얻음으로써 더 높은 학습효과를 유도하였다. Most of the researches about classification usually have used kNN(k-Nearest Neighbor), SVM(Support Vector Machine), which are known as learn-based model, and Bayesian classifier, NNA(Neural Network Algorithm), which are known as statistics-based methods. However, there are some limitations of space and time when classifying so many web pages in recent internet. Moreover, most studies of classification are using uni-gram feature representation which is not good to represent real meaning of words. In case of Korean web page classification, there are some problems because of korean words property that the words have multiple meanings(polysemy). For these reasons, LSA(Latent Semantic Analysis) is proposed to classify well in these environment(large data set and words` polysemy). LSA uses SVD(Singular Value Decomposition) which decomposes the original term-document matrix to three different matrices and reduces their dimension. From this SVD`s work, it is possible to create new low-level semantic space for representing vectors, which can make classification efficient and analyze latent meaning of words or document(or web pages). Although LSA is good at classification, it has some drawbacks in classification. As SVD reduces dimensions of matrix and creates new semantic space, it doesn`t consider which dimensions discriminate vectors well but it does consider which dimensions represent vectors well. It is a reason why LSA doesn`t improve performance of classification as expectation. In this paper, we propose new LSA which selects optimal dimensions to discriminate and represent vectors well as minimizing drawbacks and improving performance. This method that we propose shows better and more stable performance than other LSAs` in low-dimension space. In addition, we derive more improvement in classification as creating and selecting features by reducing stopwords and weighting specific values to them statistically.