공간 데이터웨어하우스에서 효율적인 공간 데이터 적재를 위한 이기종 데이터 소스의 비중복 추출기법 = Non Duplicated Extract Method of Heterogeneous Data Sources for Efficient Spatial Data Load in Spatial Data Warehouse

국문 초록 (Abstract)

공간 데이터웨어하우스는 공간 DBMS 또는 다양한 소스데이터로부터 시간에 따라 추출된 공간데이터를 ETL 과정을 통해 가공된 데이터를 관리하는 시스템이다. 적재 주기 마다 추출된 공간데이터는 비공간 데이터와 달리 같은 주제의 중복된 공간 정보가 유용하지 않으며, 공간 데이터의 특징으로 저장 공간의 낭비가 크다. 또한 이기종간의 시스템에서 소스 데이터를 추출할 경우 서로 다른 공간데이터 타입 및 스키마를 가지고 있어 이를 위한 공간데이터 추출 기법이 요구된다. 기존 기법에서는 기준이 되는 Geocoding DB를 이용하여 추출된 공간데이터에 대한 주소 매칭과정을 수행함으로써, 정형화된 데이터 셋을 적재한다. 하지만 이 기법은 추출 데이터를 매번 Geocoding DB와 비교 연산이 발생하며, 주제별로 공간 데이터를 통합 관리함에 따라 이 기종 공간 DBMS 사이에 중복된 데이터를 고려하지 않는 문제점이 있다. 본 논문에서는 공간 데이터웨어하우스 구축기 내에서 이 기종의 소스 시스템으로부터 추출된 갱신질의 통합을 이용한 효율적 추출 기법을 제안한다. 이는 이 기종의 공간 DBMS로부터 발생한 과거 적재 시점부터 현재까지 발생한 질의 중 삽입이나 삭제 등의 업데이트 관련 질의만을 추출하여 공간데이터의 불필요한 추출 연산 비용을 제거한다. 또한 소스 공간 데이터베이스 관리시스템의 업데이트 질의를 이용하여 추출된 공간 데이터를 주제별로 중복 제거 및 통합 한다. 제안 기법은 데이터 중복 저장에 의한 저장 공간의 낭비를 줄이고, 적재시점 별 통합된 데이터를 적재함으로써 빠른 공간데이터 분석을 지원할 수 있다.

다국어 초록 (Multilingual Abstract)

Spatial data warehouses are a system managing manufactured data through ETL step with extracted spatial data from spatial DBMS or various data sources. In load period, duplicated spatial data in the same subject are not useful in extracted spatial data dislike aspatial data and waste the storage space by the feature of spatial data. Also, in case of extracting source data on heterogeneous system, as those have different spatial type and schema, the spatial extract method is required for them. Processing a step matching address about extracted spatial data using a standard Geocoding DB, the exiting methods load formal data set. However, the methods cause the comparison operation of extracted data with Geocoding DB, and according to integrate spatial data by subject it has problems which do not consider duplicated data among heterogeneous spatial DBMS. This paper proposes efficient extracting method to integrate update query extracted from heterogeneous source systems in data warehouse constructer. The method eliminates unnecessary extracting operation cost to choose related update queries like insertion or deletion on queries generated from loading to current point. Also, we eliminate and integrate extracted spatial data using update query in source spatial DBMS. The proposed method can reduce wasting storage space caused by duplicate storage and support rapidly analyzing spatial data by loading integrated data per loading point.

참고문헌 (Reference)

1 박동선, "다차원 지리정보시스템을 위한 저장기법 및 분리된 저장구조" 7 (7): 1-11, 2000

2 전치수, "공간 데이터웨어하우스에서 시공간 분석 지원을 위한 비중복 적재기법" 한국공간정보시스템학회 9 (9): 81-91, 2007

3 전병윤, "공간 데이터웨어하우스에서 GML데이터의 효율적인 적재를 위한 데이터 통합기법" 27-30, 2006

4 유병섭, "공간 데이터 웨어하우스에서 공간 분석을 위한 공간 집계연산" 한국공간정보시스템학회 9 (9): 1-16, 2007

5 E. Sperley, "The EnterpriseData Warehouse: Planning, Building and Implementation" Prentice Hall PTR 88-15, 1999

6 TIGER/Line Files, "Technical Documentation" U.S. Bureau of Census, California, accessiblevia

7 ESRI, "Spatial Data Warehousing for Hospital Organizations" ESRI White Paper

8 ESRI, "Spatial Data Warehousing" ESRI White Paper

9 L. Savary, "Spatial Data Warehouse – A Prototype" 335-340, 2003

10 ESRI, "Spatial Data Standards and GIS Interoperability" ESRI White Paper

11 Oracle, "Oracle Spatial" Oracle White Paper

12 A. Simitsis, "Optimizing ETL Process in Data Warehouse" 564-575, 2005

13 L. Stoimenov, "Integration of GIS Data Sources over the Internet Using Mediator and Wrapper Technology" 334-336, 2000

14 Oracle, "Integrated ETL and Modeling" An Oracle White Paper

15 D. Skoutas, "Designing ETL processes using semantic web technologies" 67-74, 2006

16 C. Squire, "Data extraction and transformation for the data warehouse" 446-447, 1995

17 M. Howard, "Combining Heterogeneous Spatial Data From Distributed Sources" 59-70, 2005

18 W. H. Inmon, "Building the Data Warehouse, 2nd Ed" John Wiley & Sons. Inc 1996

19 X. CHEN, "Applying DP to ETL of Spatial Data Warehouse" 1616-1619, 2004

20 S. Chaudhuri, "An Overview of Data Warehousing and OLAP Technology" 65-74, 1997