정보 추출을 위한 의미 있는 블록 검출 방법

강진범(Jinbeom Kang),양재영(Jaeyoung Yang),최중민(Joongmin Choi) 한국정보과학회 2007 한국정보과학회 학술발표논문집 Vol.34 No.2A

단어의 불순도를 고려한 특징 선택 방법 연구

강진범(Jinbeom Kang),양재영(JaeYoung Yang),최중민(Joongmin Choi) 한국정보과학회 2005 한국정보과학회 학술발표논문집 Vol.32 No.2

효과적인 문서 분류를 위해 학습 하고자 하는 클래스와 관련된 많은 특징들이 필요하다. 하지만 학습하고자 하는 개념과 관련이 없거나 중복된 정보가 수집된 정보 속에 존재한다. 학습 과정에서 정확한 지식습득을 하기 위해 특징 선택 방법을 사용하였다. 본 논문에서는 클래스에 대한 단어의 불순도를 이용한 특징 선택 방법을 제안한다. 기존의 특징 선택 방법과 비교 분석하여 기존 특징 선택 방법의 문제점을 파악하고 개선된 기법을 보인다.

문서의 불균등 분포를 고려한 단어 불순도 기반 특징 선택 방법

강진범(Jinbeom Kang),양재영(Jaeyoung Yang),최중민(Joongmin Choi) 한국정보과학회 2007 정보과학회논문지 : 소프트웨어 및 응용 Vol.34 No.9

기계 학습 과정에서 수집된 많은 정보들 중에는 학습하고자 하는 개념과 관련이 없거나 중복된 정보를 가진 경우가 많다. 또한 자료 자체에 오류가 있기도 하다. 이와 같이 학습 모델 생성을 위해 수집된 정보를 신뢰할 수 없다면, 학습 과정에서도 정확한 지식 습득이 어렵다. 그래서 기계 학습은 학습 과정에서 정확한 지식 습득을 위해 특징 선택 방법을 사용한다. 특징 선택은 학습할 클래스와 관련이 없거나 중복된 정보를 학습 모델 생성 이전에 제거함으로써 학습 알고리즘의 성능을 향상시킨다. 기존의 특징 선택 방법들은 적절한 특징을 선택하기 위하여 문서가 균등하게 분포되어 있다고 가정한다. 하지만, 실제로는 그렇지 않으며, 문서의 수 또는 문서의 길이가 모두 동일한 학습 예제를 준비하는 것도 매우 어렵다. 본 논문에서는 보다 효율적으로 특징을 선택하기 위해 클래스 별 단어의 불순도와 문서의 불균등 분포를 고려한 특징 선택 방법을 제안한다. 클래스를 대표할 수 있는 특징 후보들을 단어의 불순도 측정을 통해 얻고, 문서의 불균등 분포를 고려하여 특징을 선택한다. 실험을 통해 보다 좋은 성능을 보임을 입증한다. Sample training data for machine learning often contain irrelevant information or redundant concept. It is also the case that the original data may include noise. If the information collected for constructing learning model is not reliable, it is difficult to obtain accurate information. So the system attempts to find relations or regulations between features and categories in the learning phase. The feature selection is to remove irrelevant or redundant information before constructing learning model. for improving its performance. Existing feature selection methods assume that the distribution of documents is balanced in terms of the number of documents for each class and the length of each document. In practice, however, it is difficult not only to prepare a set of documents with almost equal length, but also to define a number of classes with fixed number of document elements. In this paper, we propose a new feature selection method that considers the impurities among the words and unbalanced distribution of documents in categories. We could obtain feature candidates using the word impurity and eventually select the features through unbalanced distribution of documents. We demonstrate that our method performs better than other existing methods via some experiments.

저성능 자원에서 멀티 에이전트 운영을 위한 의도 분류 모델 경량화

윤용선,강진범,Yoon, Yongsun,Kang, Jinbeom 한국지능정보시스템학회 2022 지능정보연구 Vol.28 No.3

최근 자연어 처리 분야에서 대규모 사전학습 언어모델(Large-scale pretrained language model, LPLM)이 발전함에 따라 이를 미세조정(Fine-tuning)한 의도 분류 모델의 성능도 개선되었다. 하지만 실시간 응답을 요하는 대화 시스템에서 대규모 모델을 미세조정하는 방법은 많은 운영 비용을 필요로 한다. 이를 해결하기 위해 본 연구는 저성능 자원에서도 멀티에이전트 운영이 가능한 의도 분류 모델 경량화 방법을 제안한다. 제안 방법은 경량화된 문장 인코더를 학습하는 과제 독립적(Task-agnostic) 단계와 경량화된 문장 인코더에 어답터(Adapter)를 부착하여 의도 분류 모델을 학습하는 과제 특화적(Task-specific) 단계로 구성된다. 다양한 도메인의 의도 분류 데이터셋으로 진행한 실험을 통해 제안 방법의 효과성을 입증하였다.

사회망을 이용한 이종간 협업분야 탐지 시스템

신동욱(Dongwook Shin),강진범(Jinbeom Kang),양재영(Jaeyoung Yang),최중민(Joongmin Choi) 한국정보과학회 2007 한국정보과학회 학술발표논문집 Vol.34 No.2C

인터넷의 발달과 기술의 발전으로 하루에도 많은 양의 정보가 생성된다. 정보의 양과 기술 발전 속도의 급격한 증가에 의해, 연구자들은 자신의 연구분야의 최근 동향 및 신기술에 대한 적합한 정보를 얻기가 어려워지고 있다. 연구자들은 수시로 자신의 연구분야의 최근 동향 및 신기술에 대한 연구가 필요하다. 최근에는 특정분야의 기술이 다른 분야에서도 적용되는 협업분야가 증가함으로써 협업분야의 탐지도 중요시되고 있다. 본 논문에서는 사회망을 이용하여 저자들간의 관계성을 알아내고, 궁극적으로 관계성을 이용하여 협업분야를 탐지하는 시스템을 제안한다.

다중 에이전트 환경에서 효율적인 강화학습 시스템

홍정환(Junghwan Hong),강진범(JinBeom Kang),최중민(Joongmin Choi) 한국정보과학회 2006 한국정보과학회 학술발표논문집 Vol.33 No.2B

강화학습은 환경과 상호작용하는 과정을 통하여 목표를 이루기 위한 전략을 학습하는 방법으로써 에이전트의 학습방법으로 많이 사용한다. 독립적인 에이전트가 아닌 상호 의사소통이 가능한 다중 에이전트 환경에서 에이전트의 학습정보를 서로 검색 및 공유가 가능하다면 환경이 거대하더라도 기존의 강화학습보다 빠르게 학습이 이루어질 것이다. 하지만 아직 다중 에이전트 환경에서 학습 방법에 대한 연구가 미흡하여 학습정보의 검색과 공유에 대해 다양한 방법들이 요구되고 있다. 본 논문에서는 대상 에이전트 학습 정보와 주변 에이전트들의 학습 정보 사이에 편집거리를 비교하여 유사한 에이전트를 찾고 그 에이전트 정보를 강화학습 사전정보로 사용함으로써 학습속도를 향상시킨 ED+Q-Learning 시스템을 제안한다.

학습을 통한 주제기반 모바일 웹 콘텐츠 적응화

이은실(Eunshil Lee),강진범(Jinbeom Kang),양재영(Jaeyoung Yang),최중민(Chongmin Choi) 한국정보과학회 2005 한국정보과학회 학술발표논문집 Vol.32 No.2

본 논문에서는 시각적 웹페이지 세그멘테이션 기법을 웹 콘텐츠 변환에 적용하고 이를 사용하여 이동기기에 적합한 개인화 기법을 제안한다. 웹페이지를 사람이 시각적으로 구분하는 것과 유사한 블록으로 나누고, 각 블록의 속성을 파악하여 불필요한 블록은 필터링한다 그리고 실제 내용을 나타내는 블록의 주제를 추출하여 휴대장치에 제공하는 효율적인 콘텐츠 적응화 기법을 제시한다. 또한 개인화된 콘텐츠를 제공하기 위해 적응화 과정에서 학습을 기반으로 사용자가 선호하는 정보만을 제공할 수 있는 개인화 기법을 제 시한다.

주제기반 모바일 웹 콘텐츠 적응화

이은실(Eunshil Lee),강진범(Jinbeom Kang),최중민(Joongmin Choi) 한국정보과학회 2007 정보과학회논문지 : 소프트웨어 및 응용 Vol.34 No.6

모바일 콘텐츠 적응화는 데스크탑 PC 용으로 제작되고 표현된 웹 콘텐츠를 크기와 정보량이 제한된 사용자의 무선 모바일 디바이스 환경에 맞게 변환하여 표현해주는 적응화 기술을 말한다. 기존의 웹 콘텐츠 적응화 방법은 대부분 장치 의존적인 접근 방법을 취했다. 또한 소형 장치에 맞게 콘텐츠를 변환하는 작업이 대부분 수동으로 이루어졌고 콘텐츠와 연관된 문맥 정보가 제공되지 않았다. 이 외에도 사용자의 선호도를 반영하지 못하여 모든 사용자에게 동일한 정보를 제공하였다. 이와 같이 기존의 모바일 콘텐츠 적응화 방법은 범용성, 확장성, 사용자 적응성에 문제가 있었고, 그 결과 사용자는 방대한 양의 콘텐츠 중에서 자신이 원하는 정보를 선택하는데 어려움을 겪을 수밖에 없었다. 이러한 문제점을 해결하기 위해 본 논문에서는 모바일 디바이스에 대한 새로운 웹 콘텐츠 적응화 기법을 제시한다. 제안하는 기법의 특징은 모바일 디바이스 적응화와 사용자 적응화를 동시에 적용하는 자동화된 콘텐츠 적응화를 시도하였다는 것이다. 이를 위해 웹 콘텐츠 적응화 과정을 블록 필터링, 블록 제목 추출, 블록 콘텐츠 요약, 학습을 통한 개인화 등의 4 단계로 구성하였다. 이러한 과정을 통해 웹페이지를 블록 단위로 나눠서 불필요한 블록을 제거하고 사용자가 필요로 하는 콘텐츠 블록만을 선별하여 모바일 디바이스에 나타내며, 학습을 통해 사용자가 관심을 가지는 정보를 정보목록의 상위에 놓음으로써 사용자가 선호정보를 편리하게 사용할 수 있도록 하였다. 온라인 뉴스사이트를 서점을 대상으로 한 일련의 실험을 통해 제안하는 모바일 웹 콘텐츠 적응화의 성능을 평가하였으며 디바이스 적응화와 사용자 적응화 모두 만족한 결과를 얻을 수 있었다. Mobile content adaptation is a technology of effectively representing the contents originally built for the desktop PC on wireless mobile devices. Previous approaches for Web content adaptation are mostly device-dependent. Also, the content transformation to suit to a smaller device is done manually. Furthermore, the same contents are provided to different users regardless of their individual preferences. As a result, the user has difficulty in selecting relevant information from a heavy volume of contents since the context information related to the content is not provided. To resolve these problems, this paper proposes an enhanced method of Web content adaptation for mobile devices. In our system, the process of Web content adaptation consists of 4 stages including block filtering, block title extraction, block content summarization, and personalization through learning. Learning is initiated when the user selects the full content menu from the content summary page. As a result of learning, personalization is realized by showing the information for the relevant block at the top of the content list. A series of experiments are performed to evaluate the content adaptation for a number of Web sites including online newspapers. The results of evaluation are satisfactory, both in block filtering accuracy and in user satisfaction by personalization.

하이퍼링크를 이용한 그래프 기반의 웹 문서 클러스터링

이준(Joon Lee),강진범(Jinbeom Kang),최중민(Joongmin Choi) 한국HCI학회 2009 한국HCI학회 학술대회 Vol.2009 No.2

인터넷 상의 웹 문서의 수가 기하급수적으로 늘어남에 따라서, 정보검색에서의 웹 문서 클러스터링은 성능과 속도가 매우 중요하게 되었다. 웹 문서 클러스터링은 의미적으로 관계가 있는 웹 문서들을 같은 클러스터로 군집함으로써 정보 검색을 보다 빠르고, 정보를 정확하게 제공할 수 있다. 그물망 그래프 형태의 클러스터링은 모든 문서간의 유사도를 측정함으로써 재현율을 높일 수 있지만, 높은 계산 비용을 갖는다. 본 논문에서는 그물망 형태의 클러스터링의 재현율과 정확율을 유지하며 계산 비용을 줄이기 위하여, 웹 문서의 구조적 특징인 하이퍼링크(Hyperlinks)를 이용한 클러스터링 방법을 제안한다. With respect to the exponential increment of web documents on the internet, it is important how to improve performance of clustering method for web documents. Web document clustering techniques can offer accurate information and fast information retrieval by clustering web documents through semantic relationship. The clustering method based on mesh-graph provides high recall by calculating similarity for documents, but it requires high computation cost. This paper proposes a clustering method using hyperlinks which is structural feature of web documents in order to keep effectiveness and reduce computation cost.

저성능 자원에서 멀티 에이전트 운영을 위한 의도 분류 모델 경량화

윤용선(Yongsun Yoon),강진범(Jinbeom Kang) 한국지능정보시스템학회 2022 한국지능정보시스템학회 학술대회논문집 Vol.2022 No.6