한국어 정보 검색 시스템의 설계

김판구(Pan Koo Kim),조유근(Yoo Kun Cho) 한국정보과학회 1990 한국정보과학회 학술발표논문집 Vol.17 No.2

본 논문에서는 한글 텍스트에 대한 자동 색인을 행하는 정보 검색 시스템의 설계를 제안한다. 자동 색인(automatic indexing)이라 함은 인간이 주요어를 추출하는 방법대신 컴퓨터가 자동으로 추출하는 것을 말한다. 본 시스템에서는 자동 색인의 recall 율과 precision 율을 높이도록 하는 것을 설계 목표로 하고 있다. 이를 위해서 먼저 입력 문장에 대한 분석을 행하고, 주요어를 가려내게 된다. 여기서는 주요어(keyword)로서 명사만을 추출하는 것으로 한다. 그리고 이 주요어들을 사용한 검색 요구가 있을 때, 관련 텍스트를 신속히 검색할 수 있도록 적절한 화일 구조를 제공해야 한다. 본 설계안에서는 요약 화일(signature file) 구조를 선택 했다.

한국어 정보 검색을 위한 불용어의 구성 및 적용

김판구(Pan Koo Kim),조유근(Yoo Kun Cho) 한국정보과학회 1993 한국정보과학회 학술발표논문집 Vol.20 No.1

정보 검색 시스템에서는 일반적으로 자동 색인시에 불용어 리스트를 구성해두고 색인어로서 불필요한(worthless) 어휘들을 제거한다. 본 논문에서는 한국어 문서에 대해서 자동 색인시에 쓰이는 불용어 리스트를 구성하는 방법을 제안하며, 이를 자동 색인 시스템에 구현하여 실험한 결과를 제시한다. 문헌들을 보면, 주제 분야에 따라 각기 다른 불용어가 존재한다. 그러므로 본 논문에서는 불용어 리스트를 두단계로 분리하여 적용함으로서 각기 주제 분야에 따라 불용어가 제거되도록 한다. 또한 자동 색인시 불용어 제거로 인하여 시스템 성능에 악 영향을 주지 않고, 불필요한 어휘들만 제거되도록 불용어를 구성한다.

상호 정보에 기반한 한국어 텍스트의 복합어 자동색인

김판구(Pan Koo Kim),조유근(Yoo Kun Cho) 한국정보과학회 1994 정보과학회논문지 Vol.21 No.7

최근의 정보 검색 시스템에서는 단일어 뿐만 아니라 복합어를 색인어로 사용하여 문서 내용을 표현하는 것이 보편화되어 있다. 본 논문에서는 교착어, 특히 한국어에 적합한 복합어 자동 색인 기법을 제안한다. 먼저, 색인어로서 복합어를 구성하기 위한 복합어 구성 조건을 제시하고, 또한 문서의 모든 복합어를 추출하기 위해 복합어 분해 규칙을 제시한다. 마지막으로, 복합어의 유용성을 측정하기 위한 척도로 상호 정보 개념을 제시한다. 이 개념은 정보 이론에 기반하며, 복합어의 구성 단어간의 연관도를 측정하는 근거를 제시한다. 이 기법을 시스템에 적용한 결과, 색인어의 정확률이 향상되었다. Recently, it is customary to use compound words as well as single words as indexing terms for the representation of natural language text. In this paper, we propose an auto matic indexing technique about compound words suitable for agglutinative languages, especially for Korean. We present the construction conditions to compose compound words as indexing terms. Also we present the decomposition rules applicable to consecutive words to extract all contents of text. Finally, we present a measure to estimate the usefulness of a term, mutual information, to calculate the degree of word association of compound words, based on the information theoretic notion. By applying this method, our system has raised the precision rate of indexing terms.

나이브 베이즈 기반 소셜 미디어 상의 신조어 감성 판별 기법

김정인(Jeong In Kim),박상진(Sang Jin Park),김형주(Hyoung Ju Kim),최준호(Jun Ho Choi),김한일(Han Il Kim),김판구(Pan Koo Kim) 한국스마트미디어학회 2020 스마트미디어저널 Vol.9 No.1

인터넷의 발달과 스마트폰의 보급으로 인하여 그에 따른 소셜 미디어 문화가 형성됨에 따라 PC통신부터 지금까지 소셜 미디어 신조어가 그 문화로 자리 잡아가고 있다. 소셜 미디어의 등장과 사람들의 가교역할을 해주는 스마트폰의 보급화로 신조어가 생기고 빈번하게 사용되고 있는 추세이다. 신조어의 사용은 다양한 문자 제한 메신저의 문제점을 해결하고 짧은 문장을 사용하여 데이터를 줄이는 등 많은 장점을 가지고 있다. 그러나 신조어에는 사전적인 의미가 없으므로 데이터 마이닝 기술이나 빅데이터와 같은 연구에서 사용되는 알고리즘의 성능 저하와 연구에 제약사항이 발생한다. 따라서 본 논문에서는 웹 크롤링을 통해 텍스트 데이터를 추출하고, 텍스트 마이닝과 오피니언 마이닝을 통해 의미부여 및 단어들에 대한 감정적 분류를 통한 문장의 오피니언 파악을 진행하고자 한다. 실험은 다음과 같이 3단계로 진행하였다. 첫째, 소셜 미디어에서 새로운 단어를 수집하여 수집된 단어는 긍정적이고 부정적인 학습을 받게 하였다. 둘째, 표준 문서를 사용하여 감정적 가치를 도출하고 검증하기 위해 TF-IDF를 사용하여 데이터의 감정적 가치를 측정하기 위해 명사 빈도수를 측정한다. 신조어와 마찬가지로 분류된 감정적 가치가 적용되어 감정이 표준 언어 문서로 분류되는지 확인하였다. 마지막으로, 새로 합성된 단어와 표준 감정적 가치의 조합을 사용하여 장비 기술의 비교분석을 수행하였다. From PC communication to the development of the internet, a new term has been coined on the social media, and the social media culture has been formed due to the spread of smart phones, and the newly coined word is becoming a culture. With the advent of social networking sites and smart phones serving as a bridge, the number of data has increased in real time. The use of new words can have many advantages, including the use of short sentences to solve the problems of various letter-limited messengers and reduce data. However, new words do not have a dictionary meaning and there are limitations and degradation of algorithms such as data mining. Therefore, in this paper, the opinion of the document is confirmed by collecting data through web crawling and extracting new words contained within the text data and establishing an emotional classification. The progress of the experiment is divided into three categories. First, a word collected by collecting a new word on the social media is subjected to learned of affirmative and negative. Next, to derive and verify emotional values using standard documents, TF-IDF is used to score noun sensibilities to enter the emotional values of the data. As with the new words, the classified emotional values are applied to verify that the emotions are classified in standard language documents. Finally, a combination of the newly coined words and standard emotional values is used to perform a comparative analysis of the technology of the instrument.

말초혈액영상에서 신경망 모델을 이용한 적혈구의 형태학적 변이 분류

김경수(Kim Kyung Su),김판구(Kim Pan Koo) 한국정보처리학회 1999 정보처리학회논문지 Vol.6 No.10

Recently, there have been many researches to automate processing and analysing images in the medical field using image processing technique, a fast communication network, and high perfomance hardware, In this paper, we propose a system to be able to analyze morphological abnormality of red-blood cells for peripheral blood image using image processing techniques. To do this, we segment red-blood cells in the blood image acquired from microscope with CCD camera and then extract UNL Fourier features to classify them into 15 classes. We reduce the number of multi-variate features using PCA to construct a more efficient classifier. Our system has the best performance in recognition rate, compared with two other algorithms. LVQ3 and k-NN. So, we show that it can be applied to a pathological guided system.

문서분류를 위한 의미적 주제선정방법

고광섭,김판구,이창훈,황명권,Ko, kwang-Sup,Kim, Pan-Koo,Lee, Chang-Hoon,Hwang, Myung-Gwon 한국정보통신학회 2007 한국정보통신학회논문지 Vol.11 No.1

웹은 전세계 규모의 네트워크로써 문자, 화상, 음성 등의 미디어 정보들을 페이지 단위로 관리되며, 링크를 이용하여 분산된 정보들을 연결하고 있다. 이러한 웹의 지속적인 발전으로 무수한 정보들을 축적하고 있으며, 그 중 텍스트로 구성된 문서들이 주를 이룬다. 사용자는 이렇게 많은 정보들 중에서 자신이 원하는 특정 정보를 찾기 위해 웹을 사용한다. 그래서 웹은 사용자 요구에 적합한 정보를 검색해 주기 위해 계속적인 시도와 많은 연구들로 발전되고 있다. 확률을 이용한 방법, 통계적인 기법을 이용한 방법, 벡터 유사도를 이용한 방법, 베이지안 자동문서 분류 방법 등 기존의 방법들은 문서의 의미적인 주제나 특징을 정확하게 처리 할 수 없어 사용자는 재검색을 해야 하는 문제점을 갖는다. 특히, 국내 문서 분류를 위한 연구는 많이 이루어지지 않아 검색에 더욱 어렵다. 이러한 문제점을 보완하기 위해 본 논문에서는 국내문서의 효율적이고 의미적인 분류를 위해 출현 개념의 TF(Term Frequency)와 주변 개념들과의 관계된 정도(RV : Relation Value)를 추출한다. 그리고 추출된 키워드들을 국내 어휘 사전인 U-WIN에 매핑하여 문서의 주제를 선택하고 본문에서 제 시하는 분류방법에 의해 웹 문서를 분류한다. 이는 문서 내 개념들의 관계를 이용하여 문서의 주제를 선정하고 문서의 의미적인 분류를 가능하게 한다. The web as global network includes text document, video, sound, etc and connects each distributed information using link Through development of web, it accumulates abundant information and the main is text based documents. Most of user use the web to retrieve information what they want. So, numerous researches have progressed to retrieve the text documents using the many methods, such as probability, statistics, vector similarity, Bayesian, and so on. These researches however, could not consider both the subject and the semantics of documents. As a result user have to find by their hand again. Especially, it is more hard to find the korean document because the researches of korean document classification is insufficient. So, to overcome the previous problems, we propose the korean document classification method for semantic retrieval. This method firstly, extracts TF value and RV value of concepts that is included in document, and maps into U-WIN that is korean vocabulary dictionary to select the topic of document. This method is possible to classify the document semantically and showed the efficiency through experiment.

영상분석을 통한 혈구자동분류 시스템의 설계 및 구현

김경수,김판구,Kim, Kyung-Su,Kim, Pan-Koo 대한전자공학회 1999 電子工學會論文誌, C Vol.c36 No.12

최근에 컴퓨터를 이용한 영상처리기술 및 고속통신망의 발달과 더불어 하드웨어의 고성능화로 의학분야에서 발생되는 영상들에 대해 분석 및 처리를 자동화하려는 많은 연구가 진행되고 있다. 본 논문에서는 말초혈액영상에서 혈구세포들을 자동으로 분석, 분류 및 카운트하기 위해 다층신경망에 기반한 시스템을 설계 및 구현하였다. 이를 위해 먼저 CDD 카메라가 부착된 현미경으로부터 영상을 입력받아 적혈구와 백혈구 분류를 위한 다양한 특징추출 알고리즘을 적용하였다. 또한, PCA를 적용해 다차원의 특징을 저차원으로 줄여 분류기의 훈련과 인식 시간을 단축시킴으로서 보다 효율적인 분류기 시스템을 구축하였다. 따라서 , 본 논문에서는 제안된 시스템이 실제 임상 병리진단 가이드 시스템에 적용 가능함을 보일 수 있었다. Recently, there have been many researches to automate processing and analysing image data in medical field, due to the advance of image processing techniques, the fast communication network and high performance hardware. In this paper, we design and implement the system based on the multi-layer neural network model to be able to analyze, differentiate and count blood cells in the peripheral blood image. To do these, we segment red and white-blood cell in blood image acquired from microscope with CCD(Charge-coupled device) camera and then apply the various feature extraction algorithms to classify. In addition to, we reduce multi-variate feature number using PCA(Principle Component Analysis) to construct more efficient classifier. So, in this paper, we are sure that the proposed system can be applied to a pathological guided system.

공간관계 표현 기반 RDF 메타데이터를 이용한 의미적 이미지 검색

황명권,공현장,김판구,Hwang, Myung-Gwun,Kong, Hyun-Jang,Kim, Pan-Koo 한국정보처리학회 2004 정보처리학회논문지B Vol.11 No.5

현대 과학 기술의 발달로 인해, 사람들은 필요한 정보들을 웹에 보관하고 관리한다. 특히, 이미지 데이터는 복잡한 데이터를 한눈에 알아보기 쉽게 표현할 수 있기 때문에 가장 많이 사용하고 있다. 또한 스캔(scan) 기술의 발달, 핸드폰 카메라와 디지털 카메라가 보편화 되면서 누구나 손쉽게 이미지를 제작하여 웹상에 게시할 수 있게 되었다. 하지만 이렇게 많은 이미지 데이터의 생성 및 제공에 반해, 웹상에 있는 이미지를 검색하는 시스템에는 극히 원시적인 방법(text-based)을 이용하고 있는 것이 추세이다. 이에 본 논문에서 우리는 ‘공간 관계 표현 기반 RBF 메타데이터를 이용한 의미적 이미지 검색’을 제안한다. 이는 이미지에 표현되어 있는 개체들 사이의 공간적인 관계의 표현을 위하여 새로운 공간관계 어휘들을 정의하고, RDF 메타데이터에 이를 의미적으로 표현함으로써, 이미지 검색에서 더욱 정확한 응답을 제공하고, 궁극적으로 의미적 이미지 검색 시스템(Semantical Image Retrieval System)을 구축하고자 한다. As the modern techniques have improved, people intend to store and manage the information on the web. Especially, it is the image data that is given a great deal of weight of the information because of the development of the scan and popularization of the digital camera and the cell-phone's camera. However, most image retrieval systems are still based on the text annotations while many images are creating everyday on the web. In this paper, we suggest the new approach for the semantic image retrieval using the RDF metadata based on the representation of the spatial relationships. For the semantic image retrieval, firstly we define the new vocabularies to represent the spatial relationships between the objects in the image. Secondly, we write the metadata about the image using RDF and new vocabularies. Finally. we could expect more correct result in our image retrieval system.

비디오 내 이동 객체의 색인 정보를 이용한 궤적 유사도 측정 기법

김정인,최창,김판구,Kim, Jeong In,Choi, Chang,Kim, Pan Koo 한국스마트미디어학회 2012 스마트미디어저널 Vol.1 No.3

멀티미디어 데이터의 사용이 증대됨에 따라, 이를 관리하고 검색하기 위한 다양한 연구 및 시스템이 개발되고 있다. 하지만 일반적인 검색 방법이 비디오 데이터 내 관련 태그정보나 제목을 통해 검색이 되기 때문에 많은 어려움이 있다. 따라서 본 논문에서는 비디오 검색을 위해 비디오 내 이동 객체의 정보를 이용한 궤적 정보를 통해 유사도 측정 기법에 대해 기술한다. 전체적인 과정은 CCTV 비디오 데이터를 그레이 스케일화 하여, 이동 객체를 추출한 후 라벨링 과정을 통해 궤적을 추출한다. 이를 통해 유사도 즉정을 위한 TSR(Tansent Space Representation)과 DTW(Dynamic Time Warping) 알고리즘을 사용하여 두 알고리즘을 비교 분석한다. The recent proliferation of multimedia data necessitates the effectively and efficiently retrieving of multimedia data. These research not only focus on the retrieving methods of text matching but also on using the multimedia data features. Therefore, this paper is a similarity measurement method of trajectory using indexing information of moving object in video, for similarity measurement. This method consists of 2 steps. Firstly, Video data is processed indexing for trajectory extraction of moving objects using CCTV. Finally, we describe to compare DTW(Dynamic Time Warping) to TSR(Tansent Space Representation) algorithm.

문서 내용의 계층화를 이용한 문서 비교 방법

황명권,배용근,김판구,Hwang, Myung-Gwon,Bae, Yong-Geun,Kim, Pan-Koo 한국정보통신학회 2006 한국정보통신학회논문지 Vol.10 No.12

웹의 비약적인 성장으로 웹에는 무수한 정보를 축적하고 있으며, 특히 텍스트 문서는 인간에 의해 가장 쉽게 그리고 많이 이용되는 형식이라 하겠다. 텍스트 문서의 효율적 검색을 위해 많은 연구가 이루어졌으며, 확률을 이용한 방법, 통계적인 기법을 이용한 방법, 벡터 유사도를 이용한 방법, 베이지안 자동문서 분류 방법 등이 제안되었다. 그러나 이러한 기존의 방법들은 문서의 특징을 정확하게 반영할 수 없고, 의미적 검색이 이루어지지 않는 단점을 가지고 있다 이에 본 논문은 문서를 미리 분류하는 기존의 방법을 개선하기 위해, 유사한 문서를 의미적으로 찾아내기 위한 새로운 문서 분류의 척도를 제안하며 이를 적용하는 방법을 제시한다. 본 방법은 문서의 내용을 의미적인 계층으로 표현하고 중요 도메인에 가중치를 두며, 문서들간의 도메인 가중치와 도메인 내의 개념 일치도를 이용하여 유사도를 구한다. The current web is accumulating abundant information. In particular, text based documents are a type used very easily and frequently by human. So, numerous researches are progressed to retrieve the text documents using many methods, such as probability, statistics, vector similarity, Bayesian, and so on. These researches however, could not consider both subject and semantic of documents. So, to overcome the previous problems, we propose the document similarity method for semantic retrieval of document users want. This is the core method of document clustering. This method firstly, expresses a hierarchy semantically of document content ut gives the important hierarchy domain of document to weight. With this, we could measure the similarity between documents using both the domain weight and concepts coincidence in the domain hierarchies.