공간 데이터 웨어하우스에서 공간 분석을 위한 공간 집계연산

유병섭,김경배,이순조,배해영,You, Byeong-Seob,Kim, Gyoung-Bae,Lee, Soon-Jo,Bae, Hae-Young 한국공간정보학회 2007 한국공간정보시스템학회 논문지 Vol.9 No.3

공간 데이터 웨어하우스는 공간 의사결정을 지원하는 시스템으로 공간 데이터 큐브를 이용한다. 공간 데이터 큐브에는 분석의 기준이 되는 공간 차원테이블과 분석의 대상이 되는 공간 사실테이블들로 구성되는데 의사결정 지원을 위해서는 공간 차원테이블의 개념계층 지원과 공간 사실테이블의 요약정보 제공이 필요하다. 그러나 기존의 연구들은 공간 개념계층에 대해서만 연구하였을 뿐 공간 요약정보에 대한 연구가 미비하였다. 따라서 본 논문에서는 공간 데이터 웨어하우스에서 공간 공간 요약정보를 위한 공간 집계연산에 대하여 제안한다. 본 논문에서는 공간 집계연산을 숫자화 집계연산과 객체화 집계연산으로 나누어 제안한다. 숫자화 집계연산은 공간 분석의 결과로 숫자 형태의 데이터를 반환하며, 객체화 집계연산은 공간 객체 형태로 결과를 반환한다. 본 논문에서는 확장된 공간 데이터 자료구조를 제공하여 공간 집계연산의 효율성을 높인다. A spatial data warehouse is a system to support decision making using a spatial data cube. A spatial data cube is composed of a dimension table and a fact table. For decision support using this spatial data cube, the concept hierarchy of spatial dimension and the summarized information of spatial fact should be provided. In the previous researches, however, spatial summarized information is deficient. In this paper, the spatial aggregation for spatial summarized information in a spatial data warehouse is proposed. The proposed spatial aggregation is separated of both the numerical aggregation and the object aggregation. The numerical aggregation is the operation to return a numerical data as a result of spatial analysis and the object aggregation returns the result represented to object. We provide the extended struct of spatial data for spatial aggregation and so our proposed method is efficient.

AVL 트리를 사용한 효율적인 스트림 큐브 계산

김지현,김명,Kim, Ji-Hyun,Kim, Myung 한국정보처리학회 2007 정보처리학회논문지D Vol.14 No.6

스트림 데이터는 끊임없이 고속으로 생성되는 데이터로써 최근 이러한 데이터를 분석하여 부가가치를 얻고자 하는 노력이 활발히 진행 중 이다. 본 연구에서는 스트림 데이터의 다차원적 분석을 위해 큐브를 고속으로 계산하는 방법을 제안한다. 스트림 데이터는 비즈니스 데이터와는 달리 정렬되지 않은 채로 도착하며, 데이터의 끝에 도달하지 않은 상태에서는 집계 결과를 낼 수 없어서, 고속으로 집계하는 과정에서 저장 공간의 낭비를 심하게 초래한다. 또한 큐브에 속한 집계 테이블들을 모두 생성하는 것은 시간/공간 측면에서 비효율적이라는 점이 지적되고 있다. 이러한 문제를 해결하기 위해 본 연구에서는 기존 연구들과 마찬가지로 큐브에 포함시킬 집계 테이블들을 사용자가 미리 정하도록 하였고, 정렬되지 않은 스트림 데이터를 고속으로 집계하는 과정에서 배열과 AVL 트리들로 구성된 자료구조를 집계 테이블의 임시 저장소로 사용하였다. 제안한 알고리즘은 생성하려는 큐브가 메모리에 상주할 수 없을 정도로 큰 경우에도 집계 연산을 수행할 수 있다. 이론적 분석과 성능 평가를 통해 제안한 큐브 계산 알고리즘이 실용적임을 입증하였다. Stream data is a continuous flow of information that mostly arrives as the form of an infinite rapid stream. Recently researchers show a great deal of interests in analyzing such data to obtain value added information. Here, we propose an efficient cube computation algorithm for multidimensional analysis of stream data. The fact that stream data arrives in an unsorted fashion and aggregation results can only be obtained after the last data item has been read. cube computation requires a tremendous amount of memory. In order to resolve such difficulties, we compute user selected aggregation fables only, and use a combination of an way and AVL trees as a temporary storage for aggregation tables. The proposed cube computation algorithm works even when main memory is not large enough to store all the aggregation tables during the computation. We showed that the proposed algorithm is practically fast enough by theoretical analysis and performance evaluation.

센서 네트워크에서 데이터 집계를 위한 힐버트 커브 기반 데이터 보호 기법

윤민(Min Yoon),김용기(Yong-Ki Kim),장재우(Jae-Woo Chang) 한국정보과학회 2010 정보과학회 컴퓨팅의 실제 논문지 Vol.16 No.11

무선 센서 네트워크에 활용되는 센서 노드는 제한된 전력, 메모리 등의 한정된 자원을 지니기 때문에, 제한된 에너지를 효율적으로 관리하기 위한 데이터 집계 기법의 연구가 활발히 진행되어 왔다. 한편, 센서 네트워크는 무선통신을 수행하기 때문에 공격자에게 쉽게 데이터 노출될 수 있다. 따라서, 센서 네트워크에서 데이터 집계를 위한 데이터 보호 기법에 관한 연구가 필수적이다. 그러나, 기존 데이터 집계를 위한 데이터 보호 기법은 네트워크 구성 및 데이터 집계 처리 시, 다수의 연산과 데이터 전송이 발생한다. 이러한 문제점을 해결하기 위하여, 본 논문에서는 데이터 집계를 위한 힐버트 커브(hilbert curve)기반 데이터 보호 기법을 제안한다. 제안하는 기법은 트리 기반의 라우팅을 구성하여 이웃노드와의 통신을 최소화한다. 또한 seed에 기반한 힐버트 커브 기법을 통해 데이터를 암호화함으로써, 센서 노드간의 통신 시 공격자로부터 데이터를 보호할 수 있다. 마지막으로, 제안하는 기법이 메시지 전송량 및 센서노드 평균수명 측면에서 기존 연구보다 우수함을 보인다. Because a sensor node in wireless sensor networks(WSNs) has limited resources, such as battery capacity and memory, data aggregation techniques have been studied to manage the limited resources efficiently. Because sensor network uses wireless communication, a data can be disclosed by attacker. Thus, the study on data protection schemes for data aggregation is essential in WSNs. But the existing data aggregation methods require both a large number of computation and communication, in case of network construction and data aggregation processing. To solve the problem, we propose a data protection scheme based on Hilbert-curve for data aggregation. Our scheme can minimizes communications among neighboring sensor nodes by using treebased routing. Moreover, it can protect the data from attacker by doing encryption through a Hilbert-curve technique based on a private seed, Finally, we show that our scheme outperforms the existing methods in terms of message transmission and average sensor node lifetime.

큐브리드 샤드 분산 데이터베이스에서 집계/분석 함수의 분산 처리 시스템 개발

원지섭(Jiseop Won),강석(Suk Kang),조선화(Sunhwa Jo),김진호(Jinho Kim) 한국정보과학회 2015 정보과학회 컴퓨팅의 실제 논문지 Vol.21 No.8

대용량의 테이블을 수평적으로 분할하여 서로 다른 데이터베이스에 저장함으로써 데이터를 분산 저장하고 처리할 수 있는 방법을 샤딩이라 한다. 샤딩된 데이터에 대한 집계 또는 분석 함수를 적용하여 전체 결과를 얻기 위해서는 여러 곳으로 분산된 데이터에 대한 지역 결과를 통합하는 과정이 필요하다. 본 논문에서는 오픈 소스 DBMS의 하나인 큐브리드(CUBRID)의 샤딩 기술을 이용하여 분산된 부분 집계함수를 통합 처리하는 모듈을 설계하고 구현하는 방법에 대해 소개한다. 이 통합 모듈을 통해 여러 곳으로 샤딩된 데이터에 대하여 집계 및 분석 함수를 이용한 분석이 가능하도록 하였고, 단일 데이터베이스를 사용한 분석 성능과의 비교를 통해 샤드 분산 데이터베이스를 사용한 집계 계산이 효율적임을 보인다. Database Shard is a technique that can be queried and stored by dividing one logical table into multiple databases horizontally. In order to analyze the shard data with aggregate or analysis functions, a process is required that integrates partial results on each shard database. In this paper, we introduce the design and implementation of a distributed processing system for aggregation and analysis on the CUBRID Shard distributed database, which is an open source database management system. The implemented system can accelerate the analysis onto multiple shards of partitioned tables; it shows efficient aggregation on shard distributed databases compared to stand-alone databases.

OLAP 데이터 큐브에서의 추론통제 프로세스 설계

이덕성(Duck-Sung Lee),최인수(In-Soo Choi) 한국컴퓨터정보학회 2009 韓國컴퓨터情報學會論文誌 Vol.14 No.5

OLAP 데이터 큐브와 SDB(통계 데이터베이스) 모두 다차원 데이터 무리를 대상으로 하고, 이 데이터 무리의 모든 차원 별로 통계적인 요약처리를 한다는 데에는 공통점이 있으나 그 형성과정은 아주 다르다. SDB는 여러 베이스 데이터를 이용하여 자신이 쓸 베이스 데이터를 만들고 있으나 OLAP 데이터 큐브에서는 베이스 데이터 자체가 직접적으로 사용된다. 다시 말하면 SDB의 베이스 데이터는 머크로 데이터인데 반해 OLAP 데이터 큐브에서의 핵심 큐보이드 데이터는 마이크로 데이터라는 뜻이다. OLAP 데이터 큐브에 측정값을 입주시키는 데에 베이스 테이블을 사용한다. 구체적으로 핵심 큐보이드의 각 셀에 마이크로 데이터를 입주시키는 데에 베이스 테이블의 각 레코드를 사용한다. 그런데 OLAP 데이터 큐브에서는 마이크로 데이터가 사용되는 경우가 태반이기 때문에 베이스 테이블에서의 어떤 레코드는 존재하지 않게 되는 상황이 생길 수도 있게 된다. 그리고 이렇게 되면 핵심 큐보이드의 어떤 셀은 공백으로 남게 되는 것이다. Wang 등은 OLAP 데이터 큐브로부터 기밀 누설을 막을 수 있는 방법을 제안하였는데, 이 방법은 집계함수의 종류에 관계없이 적용시킬 수 있다고 주장하고 있다. 그러나 큐보이드의 어떤 셀 하나라도 공백으로 되어있는 경우는 집계함수의 종류에 관계없이 적용시킬 수 있다는 Wang의 주장이 틀리게 된다는 것을 본 연구에서는 밝히고 있다. 본 연구에서는 Wang의 오류를 없앤 OLAP 데이터 큐브에서의 새로운 추론통제 프로세스를 설계하는 데에 목적을 두고 있다. Both On-Line Analytical Processing (OLAF) data cubes and Statistical Databases (SDBs) deal with multidimensional data sets. and both are concerned with statistical summarizations over the dimensions of the data sets. However, there is a distinction between the two that can be made. While SDBs are usually derived from other base data, OLAF data cubes often represent directly the base data. In other word, the base data of SDBs are the macro-data, whereas the core cubiod data in OLAF data cubes are the micro-data. The base table in OLAF is used to populate the data cube with values of the measure attribute, and each record in the base tables is used to populate a cell of the core cuboid. The fact that OLAF data cubes mostly represent the micro-data may make some records be absent in the base table. Some cells of the core cuboid remain empty, if corresponding records are absent in the base table. Wang and others proposed a method for securing OLAF data cubes against privacy breaches. They assert that the proposed method does not depend on specific types of aggregation functions. In this paper, however, it is found that their assertion on aggregate functions is wrong whenever any cell of the core cuboid remains empty. The objective of this study is to design an inference control process in OLAF data cubes which rectifying Wang's error.

지오센서 네트워크에서 센서 노드의 효율적인 에너지 관리를 위한 지정 경로 기반 데이터 집계 처리 기법

윤민,김용기,라빈드라 비스타,장재우,Yoon, Min,Kim, Yong-Ki,Bista, Rabindra,Chang, Jae-Woo 한국공간정보학회 2010 한국공간정보시스템학회 논문지 Vol.12 No.1

지오센서 네트워크에 활용되는 센서 노드는 제한된 자원과 전력을 지닌다. 따라서, 에너지를 효율적으로 사용하여 데이터를 집계하는 라우팅 기법 연구가 필수적이다. 무선 센서 네트워크에서의 일반적인 데이터 수집은 각 센서 노드에서 수집된 데이터를 멀티홉 방식으로 싱크노드로 전송하는 방식이다. 하지만, 이러한 방식은 두 가지의 문제점을 지닌다. 첫째, 기존 연구는 데이터를 전송하기 위해 부모 노드를 선정하는 과정에서 불필요한 데이터 전송을 요구한다. 둘째, 각각의 소스 노드는 서로 다른 전송 경로를 가지기 때문에 많은 전송 횟수가 발생한다. 이러한 문제점을 해결하기 위해, 본 논문에서는 효율적인 에너지 관리를 위한 지정 경로 기반의 데이터 집계 처리 기법을 제안한다. 제안하는 기법은 데이터를 전송할 경로를 미리 선정하여 불필요한 데이터 전송을 감소시키며, round-robin 메커니즘을 이용하여 모든 센서 노드가 데이터를 집계하는 데 참여하도록 한다. 마지막으로, 기존 연구인 directed diffusion(DD) 및 hierarchical data aggregation(HDA)과의 성능 평가를 통해 제안하는 기법이 에너지 효율적임을 보인다. Sensor nodes used in Geosensor network are resource limited and power constrained. So it is necessary to research on routing protocols to gather data by using energy efficiently. Wireless sensor networks collect data gathered from sensor nodes by transfering it to the sink using multihop. However, it has two problems. First, the existing works require unnecessary data transmission for choosing a proper parent node to transfer data. Secondly, they have a large number of data transmission because each sensor node has a different path. To solves the problems, we, in this paper, propose a designated path based data aggregation scheme for efficient energy management in WSNs. The proposed scheme can reduce unnecessary data transmission by pre-determining a set of paths and can enable all the sensor nodes to participate in gathering data by running them in round-robin fashion. We show from performance analysis that the proposed scheme is more energy efficient than the existing directed diffusion(DD) and the hierarchical data aggregation(HDA).

침입 탐지 로그 데이터에서의 슬라이딩 윈도우 집계함수에 관한 연구

한승규(Seung Gyu Han),이원석(Won Suk Lee) 한국컴퓨터정보학회 2007 한국컴퓨터정보학회 학술발표논문집 Vol.15 No.2

최근 들어 데이터 스트림에서의 슬라이딩 윈도우 집계함수 처리에 대한 연구가 널리 진행되고 있다. 데이터 스트림이란 빠른 속도로 무한히 생성되는 데이터 집합을 말하며 이러한 데이터를 처리하는데 있어서 가장 중요한 점은 한정된 메모리 공간 내에서 처리가 되야 한다는 점과 실시간에 처리가 가능해야 한다는 점이다. 그렇기 때문에 위와 같은 조건들을 만족시키며 집계 함수 처리를 하는 것은 어려운 문제이다. 따라서 본 논문은 기존의 연구되어온 슬라이딩 윈도우 집계함수 처리 방법들을 소개하고, 실제 데이터베이스를 이용해 집계함수 처리를 하여 정확도를 산출하고 이를 통해 성능을 비교하여, 향후 슬라이딩 윈도우 집계함수의 연구방향을 제시하고자 한다.

프라이버시 보존 의료 마이크로데이터 수집 및 분석

김종욱(Jong Wook Kim) 한국컴퓨터정보학회 2024 韓國컴퓨터情報學會論文誌 Vol.29 No.5

4차 산업혁명의 도래와 함께 인공지능, 빅데이터, 사물인터넷, 클라우드 컴퓨팅 등의 첨단 정보기술이 다양한 산업 분야에서 혁신을 이끌고 있다. 이 기술들은 방대한 양의 데이터를 생성하고 있으며, 많은 기업들이 이를 활용하고 있다. 그러나 개인 데이터 수집 시 발생할 수 있는 프라이버시 침해 위험으로 인해 사용자들은 민감한 정보 제공을 망설이고 있다. 특히 의료 분야에서는 환자의 병명과 같은 민감한 정보 수집이 큰 도전이 되고 있으며, 프라이버시 문제가 데이터 수집과 분석의 장애가 되고 있다. 본 연구는 프라이버시 보호를 유지하면서도 통계적 정보를 효과적으로 추출할 수 있는 의료 데이터 수집 및 분석 기법을 제안한다. 제안 기법은 기존의 단순한 데이터 수집을 넘어서, 프라이버시를 보장하면서 수집된 데이터에서 통계적 정보를 효과적으로 추출하는 방법을 포함한다. 실제 데이터를 이용한 성능 평가에서는 제안된 기법이 기존 방법보다 더 효과적으로 프라이버시를 보존하며 통계적 정보를 도출할 수 있음을 입증한다. With the advent of the Fourth Industrial Revolution, cutting-edge technologies such as artificial intelligence, big data, the Internet of Things, and cloud computing are driving innovation across industries. These technologies are generating massive amounts of data that many companies are leveraging. However, there is a notable reluctance among users to share sensitive information due to the privacy risks associated with collecting personal data. This is particularly evident in the healthcare sector, where the collection of sensitive information such as patients medical conditions poses significant challenges, with privacy concerns hindering data collection and analysis. This research presents a novel technique for collecting and analyzing medical data that not only preserves privacy, but also effectively extracts statistical information. This method goes beyond basic data collection by incorporating a strategy to efficiently mine statistical data while maintaining privacy. Performance evaluations using real-world data have shown that the propose technique outperforms existing methods in extracting meaningful statistical insights.

큐보이드 전위트리를 이용한 빙산질의 처리

한상길(Sang Gil Han),양우석(Woo Sock Yang),이원석(Won Suk Lee) 한국정보과학회 2009 정보과학회논문지 : 데이타베이스 Vol.36 No.3

무한한 데이터 스트림을 저장하는 것은 거의 불가능하기 때문에 데이터 스트림 환경에서 빙산질의를 수행하기 위해서는 새로운 데이터 구조와 알고리즘이 요구된다. 본 논문에서는 데이터 스트림 환경에서 빙산질의를 처리하기 위해 전위트리 구조에 기반한 큐보이드 전위트리(Cuboid prefix tree)를 제안한다. 큐보이드 전위트리는 빙산질의에 사용된 그룹항목으로 이루어진 항목집합만을 트리에서 관리하므로 전위트리보다 적은 메모리를 사용한다. 1-항목 관리를 통해서 빈발하지 않은 항목을 트랜잭션에서 제거함으로써 갱신 시 불필요하게 소요되는 시간을 줄일 수 있다. 또한 다중 빙산질의에서 공통적으로 사용된 그룹속성에 따라 노드를 공유함으로써 적은 메모리를 사용하여 효율적으로 다중 빙산질의를 처리할 수 있는 방법을 제안한다. 큐보이드 전위트리는 무한히 연속적으로 생성되는 데이터에 대하여 빙산질의를 처리하는데 있어서 메모리 사용량과 처리시간을 효과적으로 줄이며, 이를 여러 실험을 통해 확인하였다. A data stream is a massive unbounded sequence of data elements continuously generated at a rapid rate. Due to the characteristics of a data stream, it is impossible to save all the data elements of a data stream. Therefore it is necessary to define a new synopsis structure to store the summary information of a data stream. For this purpose, this paper proposes a cuboid prefix tree that can be effectively employed in evaluating an iceberg query over data streams. A cuboid prefix tree only stores those itemsets that consist of grouping attributes used in GROUP BY query. In addition, a cuboid prefix tree can compute multiple iceberg queries simultaneously by sharing their common sub-expressions. A cuboid prefix tree evaluates an iceberg query over an infinitely generated data stream while efficiently reducing memory usage and processing time, which is verified by a series of experiments.

시공간 데이터 분석을 위한 집계연산

김상호,류근호 충북대학교 컴퓨터정보통신 연구소 2004 컴퓨터정보통신연구 Vol.12 No.1

기존의 집계질의에 대한 연구는 시간 또는 공간에만 편중되어 시간과 공간 제약을 모두 가진 시공간 데이터에 직접 적용하기 어려운 문제점이 있다. 이와 같은 문제를 해결하기 위해 이 논문에서는 시공간 데이터를 위한 데이터 베이스 스키마를 제안하고, 이를 기반으로 시공간 데이터베이스에 저장된 다양한 유형의 시공간 데이터에 대한 이력정보와 공간정보의 통계적인 분석이 가능한 시공간 데이터 지원 집계연산을 제안하고 알고리즘을 설계한다. 그리고, 제안된 시공간 집계연산 알고리즘의 성능평가를 통해 타당성을 보인다. 제안된 집계연산은 지리 정보 시스템, 기상 정보 시스템, 농업 정보 시스템등과 같은 다양한 분야에 적용 될 수 있다. The previous works on aggregate operations have been attached only to temporal aggregate operations or spatial aggregate operation. So they have problems that are difficult to apply to spatiotemporal data directly which having spatial and temporal constraints. In order to solve these problems in this paper, we propose aggregate operations for spatiotemporal dat, which make it possible to statistical analysis for historical and spatial information of various types of spatiotemporal data that are stored in spatiotemporal database. The proposed aggregate opration are based on the database scheme has been designed for the spatiotemporal concepts. And, we showed the validity of our algorithms from the performance evaluation of the proposed aggregate operations. The proposed aggretaed operations can be applied to the various applications, such as GIS, WPS(Weather Forecast System), AIS(Agriculture Information System) and so on.