구조 및 내용-기반 멀티미디어 문서검색 시스템의 설계 및 구현

진두석,이정재,장재우,Jin, Du-Seok,Lee, Jeong-Jae,Chang, Jae-Woo 한국정보처리학회 2000 정보처리논문지 Vol.7 No.11

최근 멀티미디어 문서의 개수가 기하 급수적으로 증가함에 따라, 사용자가 요구하는 멀티미디어 문서를 보다 효과적으로 저장 및 검색할 수 있는 멀티미디어 문서 검색 시스템을 개발하는 것이 필요하다. 본 논문에서는 XML로 정의된 문서를 문서 구조 및 이미지 내용을 기반으로 보다 효율적으로 검색할 수 있는 시스템을 설계 및 구현한다. 효율적인 구조-기반 검색을 지원하기 위해서 구조 인덱스를 o2store 저장 시스템을 사용하여 구현한다. 아울러 내용-기반 검색을 지원하기 위해서 X-트리에 기반한 효율적인 고차원 색인구조를 구현한다. 마지막으로 구현된 멀티미디어 문서검색 시스템을 검색시간, 저장시간, 부가 저장 공간의 관점에서 성능평가를 수행한다.

정보검색관리시스템 KRISTAL-2001

진두석,서정현,최윤수,최성필,김광영,Jin, Du-Seok,Seo, Jeong-Hyeon,Choe, Yun-Su,Choe, Seong-Pil,Kim, kwang-Yeong 한국과학기술정보연구원 2001 지식정보인프라 Vol.7 No.-

정보화사회에 있어서 인간의 지적 활동에 필수적인 요소는 과학기술에 의존한 정보의 수집과 축적 및 검색과 이용이라고 할 수 있다. 이러한 요구에 따른 다양한 형태의 정보나 데이터를 효율적으로 구축, 유지, 운영할 수 있는 정보 검색시스템 개발의 중요성이 점차 증가하고있다. 특히, 웹과 컴퓨터의 보급이 확산됨에 따라 수많은 전자문서들이 생산되면서 기존의 검색시스템의 기능, 즉 정형적인 텍스트문서에 대한 단순한 불리언질의만으로는 사용자의 요구를 충족시킬 수 없게되었다. 따라서, 본 논문에서는 이러한 사용자 요구를 빠르고 정확하게 처리하기 위해 기존의 정보 검색시스템인 "KRISTAL-2001"의 특징은 저장엔진, 시스템제어기, 검색기, 색인기, 분산엔진 모듈이 각각 서버 역활을하며 통신을 통하여 상호간의 정보를 전달한다. 따라서 분산검색을 통한 빠른 질의처리가 가능하다는 장점을 가지고 있다. 그리고 문서 또는 문서그룹단위의 트랜잭션처리를 지원하기 때문에 데이터의 안정적인 저장 및 수정을 보장한다. 또한 구조문서, 멀티미디어 데이터등 다양한 형태의 데이터를 관리할 수 있기 특징을 가지고 있다. KRISTAL-2001은 순수 국내기술로 개발된 대용량 데이터를 위한 차세대 정보검색시스템으로서 국제 경쟁력 향상에 중요한 역할을 수행할 것으로 기대된다.

계산과학 분야의 교육 및 융합연구 지원을 위한 EDISON 플랫폼

진두석,정영진,정회경,Jin, Du-Seok,Jung, Young-Jin,Jung, Hoe-Kyung 한국정보통신학회 2012 한국정보통신학회논문지 Vol.16 No.1

최근에는 응용과학 분야의 교육 및 연구에 실제 실험이 아닌 슈퍼컴퓨터 및 고성능 네트워크 기반의 사이버 인프라에서 과학적 가정에 의해 복잡한 공학문제를 수치적 모델링과 컴퓨터 시뮬레이션을 통해 해결하는 계산과학을 이용하는 기법들의 필요성이 증대되고 있다. 본 논문에서는 컴퓨팅 시뮬레이션 기법을 활용한 실험 체험형 교육의 일환으로, 이공계 교수, 학생, 연구자, 산업체 인력 등이 사이버 인프라스트럭처 기반으로 시뮬레이션 SW를 활용한 교육 및 융합연구를 지원하는 EDISON 플랫폼을 제시한다. EDISON 플랫폼은 사용자들에게 보다 쉽고, 편하고, 효과적인 서비스 제공을 위해 3계층(EDISON 응용 프레임워크, EDISON 미들웨어, EDISON 인프라 자원)으로 구성되고 5개 분야(열유체, 화학, 물리, 구조동역학, 전산설계) 문제해결 환경을 위한 교육 연구용 웹 포털 서비스를 제공한다. Recently, a new theoretical and methodological approach for computational science is becoming more and more popular for analyzing and solving scientific problems in various scientific disciplines and applied research. Computational science is a field of study concerned with constructing mathematical models and quantitative analysis techniques and using large computing resources to solve the problems which are difficult to approach in a physical experimentally. In this paper, we present R&D of EDISON open integration platform that allows anyone like professors, researchers, industrial workers, students etc to upload their advanced research result such as simulation SW to use and share based on the cyber infrastructure of supercomputer and network. EDISON platform, which consists of 3 tiers (EDISON application framework, EDISON middleware, and EDISON infra resources) provides Web portal for education and research in 5 areas (CFD, Chemistry, Physics, Structural Dynamics, Computational Design) and user service.

HPC 환경에서 클라우드 스토리지를 결합한 사용자 공간 설계

진두석(Du-Seok Jin),유정록(Jung-Lok Yu),김한기(Hangi Kim),이준형(Junhyung Lee),최찬호(Chanho Choi) 한국정보과학회 2013 한국정보과학회 학술발표논문집 Vol.2013 No.11

데이터 마이닝을 위한 대용량 고차원 데이터의 셀 - 기반 분류방법

진두석(Du-Seok Jin),장재우(Jae-Woo Chang) 한국정보과학회 2000 한국정보과학회 학술발표논문집 Vol.27 No.2Ⅰ

최근 데이터 마이닝에서 대용량 데이터를 처리하는 응용이 많아짐에 따라, 클러스터링(Clustering) 및 분류(Classification)방법이 중요한 분야가 되고 있다. 특히 분류방법에 관한 기존 연구들은 단지 메모리 상주(memory-resident) 데이터에 대해 한정되며 고차원 데이터를 효율적으로 처리할 수 없다. 따라서 본 논문에서는 대용량 고차원 데이터를 효과적으로 처리할 수 있는 새로운 분류 알고리즘을 제안한다. 이는 데이터들을 차원 공간상의 셀(cell)로 표현함으로써 수치(numerical) 애트리뷰트 와 범주(categorical) 애트리뷰트 모두 처리할 수 있는 알고리즘을 제안한다. 아울러, 실험결과를 통해 제안한 알고리즘이 데이터의 양,차원 그리고 속성에 관계없이 분류를 효과적으로 수행함을 보인다.

대용량 멀티미디어 문서를 위한 정보검색 시스템

진두석(Du-Seok Jin),최윤수(Yun-Su Choi),안성수(Sung-Soo Ahn) 한국멀티미디어학회 2002 한국멀티미디어학회 학술발표논문집 Vol.2002 No.2

데이터마이닝을 위한 셀 - 기반 클러스터링 방법의 성능비교

진두석(Du-Seok Jin),장재우(Jae-Woo Chang) 한국정보과학회 2001 한국정보과학회 학술발표논문집 Vol.28 No.1B

최근 데이터마이닝 응용분야에서 대용량의 고차원 데이터가 증가하고 있기 때문에 이를 효율적으로 처리할 수 있는 방법이 요구된다. 이를 위해 CLIQUE 방법과 셀-기반 클러스터링 방법이 제안되었다. 본 논문에서는 대용량의 고차원 데이터에 적합한 클러스터링 방법을 선택하기 위해, 셀-기반 클러스터링 방법을 CLIQUE 방법 및 CLIQUE 방법에 근사정보(Approximation) 를 결합한 방법과 성능 비교를 수행한다. 성능비교 결과, 셀-기반 클러스터링 방법이 데이터 클러스터링 및 데이터 검색시간에서 가장 우수한 성능을 보이며, 정확율은 CLIQUE 방법에 비해 다소 뒤떨어지나 전체적인 효율성에서 매우 우수한 성능을 보인다.

데이타마이닝에서 고차원 대용량 데이타를 위한 셀-기반 클러스터링 방법

진두석(Du-Seok Jin),장재우(Jae-Woo Chang) 한국정보과학회 2001 정보과학회논문지 : 데이타베이스 Vol.28 No.4

Recently, data mining applications require a large amount of high-dimensional data. Most algorithms for data mining applications, however, do not work efficiently for high-dimensional large data because of the so-called ‘curse of dimensionality’[1] and the limitation of available memory. To overcome these problems, this paper proposes a new cell-based clustering method which is more efficient than the existing algorithms for high-dimensional large data. Our clustering method provides a cell construction algorithm for dealing with high-dimensional large data and a index structure based on filtering. We do performance comparison of our cell-based clustering method with the CLIQUE method in terms of clustering time, precision and retrieval time. Finally, the results from our experiment show that our cell-based clustering method outperform the CLIQUE method. 최근 데이타마이닝 응용분야에서는 고차원 대용량 데이타가 요구되고 있다. 그러나 기존의 대부분의 데이타마이닝을 위한 알고리즘들은 소위 차원의 저주(dimensionality curse)[1] 문제점과 이용 가능한 메모리의 한계 때문에 고차원 대용량 데이타에는 비효율적이다. 따라서, 본 논문에서는 이러한 문제점을 해결하기 위해서 셀-기반 클러스터링 방법을 제안한다. 제안하는 셀-기반 클러스터링 방법은 고차원 대용량 데이타를 효율적으로 처리하기 위한 셀 구성 알고리즘과 필터링에 기반한 저장인덱스 구조를 제공 한다. 본 논문에서 제안한 셀-기반 클러스터링 방법을 CLIQUE 방법과 클러스터링 시간, 정확율, 검색시간 관점에서 성능을 비교한다. 마지막으로, 실험결과 제안하는 셀-기반 클러스터링 방법이 CLIQUE 방법에 비해 성능이 우수함을 보인다.

구조 및 내용 - 기반 멀티미디어 문서검색 시스템의 설계 및 구현

진두석(Du Seok Jin),이정재(Jeong Jae Lee),장재우(Jae Woo Chang) 한국정보처리학회 2000 정보처리학회논문지 Vol.7 No.11

As the number of multimedia documents is dramatically increasing, it is needed to develop a multimedia document retrieval system which effectively store and retrieve multimedia documents required by users. In this paper, we design and implement a document retrieval system which can more efficiently retrieve documents defined by XML, based on both document structure and image content. In order to support efficient, structure-based retrieval, we implement a structured index by using the o2store storage system. For supporting content-based retrieval, we implement an efficient high- dimensional index structure based on X-tree. Finally, we perform the performance evaluation of our multimedia document retrieval system in terms of retrieval time, insertion time, and storage overhead.

SSD에 적합한 동적 색인 저장 구조 : SPM

진두석(Du-Seok Jin),김진숙(Jinsuk Kim),류범종(Beom-Jong You),정회경(Hoe-Kyung Jung) 한국콘텐츠학회 2010 한국콘텐츠학회논문지 Vol.10 No.2

역파일 인덱스 구조는 대용량 텍스트 데이터의 색인저장 기법을 위한 효율적인 데이터 구조로 널리 활용 되고 있다. 특히, 최근 이슈가 되고 있는 온라인 색인관리 측면에서는 동적 검색 환경에 적합한 In-Place 방식과 Merge-based 색인 방식이 주로 사용 되고 있다. 위 방법들의 핵심은 검색 처리시간을 줄이기 위해서 포스팅 정보의 저장 연속성(Contiguity)을 보장하면서 동시에 색인정보 관리(Index Maintenance) 시간을 최소화 하기위한 색인저장 구조에 중점을 두고 연구가 진행 되었다. 그러나 최근 기존 저장장치(HDD)와 근본적으로 구조가 다른 새로운 저장장치(SSD, SCRAM)가 데이터 저장소로 이용되면서 이러한 장치들의 특성을 효과적으로 활용할 수 있는 새로운 형태의 색인저장 기법 또한 필요하게 되었다. 따라서 본 논문에서는 새로운 저장장치의 빠른 접근 속도(Low access latency) 특성을 최대한 활용할 수 있는 분할(Segmentation) 포스팅 구조를 기반으로 새로운 저장장치에 적합하도록 변형된 In-Place 방식(Pulsing)과 수정된 Merge-based 방식(Merging)을 혼합하여 검색 처리시간 및 색인정보관리시간을 크게 향상시킬 수 있는 새로운 색인저장 구조(SPM)를 제안한다. Inverted index structures have become the most efficient data structure for high performance indexing of large text collections, especially online index maintenance, In-Place and merge-based index structures are the two main competing strategies for index construction in dynamic search environments. In the above-mentioned two strategies, a contiguity of posting information is the mainstay of design for online index maintenance and query time. Whereas with the emergence of new storage device(SSD, SCRAM), those do not consider a contiguity of posting information in the design of index structures because of its superiority such as low access latency and I/O throughput speeds. However, SSD(Solid State Drive) is not well suited for traditional inverted structures due to the poor random write throughput in practical systems. In this paper, we propose the new efficient online index structure(SPM) for SSD that significantly reduces the query time and improves the index maintenance performance.