효율적인 자원 관리를 위한 핫데이터 분류기 및 관리 정책 설계

이현섭 한국사물인터넷학회 2023 한국사물인터넷학회 논문지 Vol.9 No.5

핫데이터는 저장시스템의 성능과 수명에 영향을 주는 사용 빈도가 높은 데이터이다. 따라서 식별된 핫데이터를분류하여 관리하는 것은 저장장치의 성능과 수명을 위해 중요한 일이다. 특히 특정 블록에 집중적인 쓰기 동작을 반복하면 열화 현상이 급격하게 진행되는 특징을 가지고 있는 낸드 플래시 메모리는 이러한 핫데이터를 구분하여 관리하는것이 성능과 수명을 향상하기 위해 필요하다. 본 논문에서는 엔터프라이즈 서버에서 추출한 트레이스를 벤치마킹하여플래시 메모리 기반 저장장치에서 자원을 효율적으로 관리하는데 필요한 핫데이터 분류기 및 관리 정책을 설계한다. 또한. 멀티 해시를 이용하여 핫데이터의 빈도를 측정하고, 식별된 핫데이터를 구분하여 열화에 강한 미디어에 관리하는기법을 통해 저장시스템의 성능과 수명을 향상시키는 방법을 제안한다. 마지막으로 실험을 통해 증가한 성능과 수명을측정하여 제안하는 방법의 효과를 증명한다. Hot data is frequently used data that affects the performance and lifespan of a storage system. Therefore, classifying and managing the identified hot data is important for the performance and lifetime of storage devices, especially for NAND flash memory, which is characterized by rapid degradation after repeated intensive write operations to specific blocks. In this paper, we design a hot data classifier and management scheme for an efficient resource management in flash memory-based storage devices by benchmarking traces extracted from enterprise servers. Also, we propose a method to measure the frequency of hot data using multiple hashes, and to improve the performance and lifetime of the storage system by classifying the identified hot data and managing it on degradation-resistant media. Finally, we demonstrate the effectiveness of the proposed method by measuring the increased performance and lifetime through experiments.

TrejectMesa: GeoMesa NoSQL 프레임워크 기반 궤적 데이터의 핫스팟 검출

하니 라마단,요가 우스티아완,권준호,김정구 한국정보과학회 2018 데이타베이스 연구 Vol.34 No.2

The analysis of trajectory big data for extracting trajectory patterns such as hotspot detection is quite challenging due to the complex data model and the huge volumes of the data. In this paper, we propose a trajectory big data analysis system, called TrajectMesa, which extracts the hotspots from trajectory big data based on Geomesa NoSQL Framework. The hotspot extraction process consists of two steps: (1) detecting stay points where users spend considerable amount of time at and (2) identifying hotspots which are the centroid of several stay points. Thus, our system detects the stay points in the trajectory by grouping some candidate points within certain time range, distance, and minimum point thresholds. Then, TrajectMesa can identify the hotspots from the groups of stay points utilizing DBSCAN based algorithm. We demonstrate the feasibility of TrajectMesa system with the real world GPS trajectory dataset provided by GeoLife project. 핫스팟 탐지와 같은 궤적 패턴을 추출하기 위한 궤적 빅 데이터 분석은 복잡한 데이터 모델과 엄청난 양의 데이터로 인해 도전적인 문제이다. 본 논문에서는 Geomesa NoSQL 프레임워크에 기반한 궤적 빅 데이터로부터 핫스팟을 추출하는 궤적 빅 데이터 분석 시스템인 TrajectMesa를 제안한다. 핫스팟 추출 프로세스는 사용자가 상당한 시간을 소비하는 체류 지점을 감지하는 단계와 체류 지점의 중심 인 핫스팟을 식별하는 단계로 구성된다. 따라서 우리 시스템은 특정 시간 범위, 거리 및 최소 포인트 임계 값 내에서 후보 지점을 그룹화하여 궤적상의 체류 지점을 검출한다. 그런 다음 TrajectMesa는 DBSCAN 기반 알고리즘을 사용하여 체류 지점그룹에서 핫스팟을 식별한다. GeoLife 프로젝트가 제공하는 실제 GPS 궤적 데이터셋을 사용한 실험을 통하여 TrajectMesa 시스템의 실현 가능성을 확인하였다.

맵-리듀스의 처리 속도 향상을 위한 데이터 접근 패턴에 따른 핫-데이터 복제 기법

손인국(Ingook Son),류은경(Eunkyung Ryu),박준호(Junho Park),복경수(Kyoungsoo Bok),유재수(Jaesoo Yoo) 한국콘텐츠학회 2013 한국콘텐츠학회논문지 Vol.13 No.11

최근 대규모 데이터의 처리와 관리를 위한 분산 저장 및 처리 시스템의 연구 및 활용이 중요해지고 있다. 대표적인 분산 저장 및 처리 프레임워크로써 하둡(Hadoop)이 널리 활용되고 있다. 하둡 분산 파일 시스템을 기반으로 수행되는 맵-리듀스 에서의 태스크 할당은 데이터의 지역성(locality)를 고려하여 최대한 가깝게 할당한다. 하지만 맵-리듀스 에서의 데이터 분석 작업에서 작업 형태에 따라 빈번하게 요청되는 데이터가 존재한다. 이러한 경우, 해당 데이터의 낮은 지역성으로 인해 수행시간 증가 및 데이터 전송의 지연의 문제점을 야기 시킨다. 본 논문에서는 맵-리듀스의 처리 속도 향상을 위한 데이터 접근 패턴에 따른 핫-데이터 복제 기법을 제안한다. 제안하는 기법에서는 데이터 접근 패턴에 따라 높은 접근 빈도를 보이는 핫-데이터에 대한 복제본 최적화 알고리즘을 활용하여 데이터 지역성을 향상시키고 결과적으로 작업 수행시간을 감소시킨다. 성능평가 결과, 기존 기법에 비해 접근 빈도의 부하가 감소하는 것을 확인하였다. In recently years, with the growth of social media and the development of mobile devices, the data have been significantly increased. Hadoop has been widely utilized as a typical distributed storage and processing framework. The tasks in Mapreduce based on the Hadoop distributed file system are allocated to the map as close as possible by considering the data locality. However, there are data being requested frequently according to the data analysis tasks of Mapreduce. In this paper, we propose a hot-data replication mechanism to improve the processing speed of Mapreduce according to data access patterns. The proposed scheme reduces the task processing time and improves the data locality using the replica optimization algorithm on the high access frequency of hot data. It is shown through performance evaluation that the proposed scheme outperforms the existing scheme in terms of the load of access frequency.

핫-스탠바이 기반 냉각시스템 운전을 통한 데이터센터 운영 신뢰성 및 에너지 효율화에 관한 연구

조진균 대한건축학회 2023 대한건축학회논문집 Vol.39 No.3

In a data center, a cooling system is a crucial factor in ensuring uninterrupted operation and quick response to changes in IT services. Thisstudy proposes a cooling system based on hot standby sparing (HSP) that can effectively provide redundancy and optimize energy efficiencyin data centers with N+1 or more equipment required for reliable uninterrupted operation. The standby strategy adopted for ensuring highreliability in data centers was classified into HSP, warm standby (WSP), and cold standby (CSP). If the cooling system meets the redundancyrequirement of N+1 or higher, which is necessary for a dedicated data center, and the configuration of VSD/VFD equipment, then theHSP-based cooling system should be considered first in terms of energy efficiency. Through a case analysis of 30 MW-class large-scaleA-data centers, the CSP-based and HSP-based cooling systems were compared. The results showed that the cooling power consumption forthe same design capacity was reduced by approximately 15% when applying the HSP-based system compared to the CSP system. The powerusage effectiveness (PUE) of the HSP-based cooling system was 1.20, and the cooling energy cost was 163 USD/IT-kW, indicating that theHSP-based system significantly improved energy efficiency. Thus, the HSP-based cooling system is the best strategy for effectively reducingcooling energy without requiring major facility changes or investments. 데이터센터는 IT서비스 변화에 따른 신속한 대응뿐 아니라 무중단 운영의 안정성 확보를 위한 냉각시스템이 매우 중요한 요소이다. 본 연구는 무중단 운영 신뢰성으로 요구되는 데이터센터의 N+1이상 (예비)장비의 이중화와 에너지효율 최적화에 효과적인 대응 가능한 핫-스탠바이(HSP)-기반 냉각시스템을 최초로 제안하였다. 또한 PUEcooling 및 에너지비용 대한 정량적 분석으로 경제성 관점에서도 객관적인 판단기준을 제시하였다. 데이터센터의 높은 신뢰성을 확보를 위한 보편적인 방법으로 N+1이상의 예비 장비의 대기 방식이 채택되고 대기 방식에는 크게 HSP, WSP 및 CSP로 구분된다. 최근 데이터센터의 냉각시스템의 구성장비는 유연한 IT 부하대응을 위해 변속(유량/풍량)이 가능한 VSD/VFD 장비(냉동기, 펌프, 송풍기 등)의 적용이 증가하고 있으면 일정범위의 운전부하에 대한 에너지효율을 극대화 할 수 있다. 전용 데이터센터의 필수요건인 N+1 이상의 냉각시스템 예비율과 VSD/VFD 장비의 구성에 대한 충족조건이 만족된다면 에너지효율 측면에서 HSP-기반 냉각시스템 적용을 우선 고려해야 한다. 30MW급 대규모 A데이터센터의 사례분석을 통한 CSP와 HSP 운전효과를 비교한 결과, 데이터센터 전체의 냉각시스템 소비전력은 동일한 설계용량을 기준으로 HSP를 적용하는 것이 CSP 대비 약 15% 감소한다. 기존의 CSP-기반 냉각시스템의 PUEcooling은 1.23이고 냉각 에너지비용은 193 USD/IT-kW가 소요된다. HSP-기반 냉각시스템의 PUEcooling은 1.20이고 냉각 에너지비용은 163 USD/IT-kW가 소요되어 에너지효율 개선의 효과가 충분하다. 큰 시설변경 및 투자 없이 냉각에너지를 효과적으로 절감할 수 있는 최선의 전략은 HSP-기반 냉각시스템이다.

한국인 암 발병 데이터를 이용한 공간검색통계량과 에셜론분석의 핫스팟 지역 비교

신영서,김동재 한국데이터정보과학회 2018 한국데이터정보과학회지 Vol.29 No.4

The Spatial Scan Statistic proposed by Kulldorff (1997) is a method of finding hotspots by searching for this original area with the center of the circle around which the data is acquired. This method is often used to find hot spots. However, this method has disadvantages in detecting only the circular hotspot. Echelon Analysis is not limited to circular type and can detect hotspots in all areas. Therefore, the paper compared the Echelon analysis and Kulldorff’s method. we analyzed the actual data on 24 cancers outbreaks from 1999 to 2013. The Echelon analysis analyzed hotspot areas based on incidence rate and Age Standardization Rate. Kulldorff (1997)가 제안한 공간검색통계량은 데이터가 얻어진 영역의 중심을 원의 중심으로 해서 이 원상의 영역을 검색해서 핫스팟을 발견하는 방법으로 핫스팟지역을 찾기 위해 많이 쓰이고 있다. 하지만 이 방법은 원상의 핫스팟밖에 검출하지 못한다는 단점이 있다. 따라서 이를 보완하기 위해 본 논문에서는 원상에 국한되지 않고 모든 영역에서의 핫스팟 검출이 가능한 에셜론 분석법과 핫스팟지역을 비교해보았다. 본 논문에서는 1999∼2013년도의 24개 암 발병에 대한 실제 데이터를 가지고 분석하였다. 에셜론 분석에서는 발병 비율과 연령표준화발생률을 기준으로 나온 핫스팟지역 결과와 원형 검색 방법을 비교하였다.

공간 빅데이터를 활용한 서울시 건물부문 온실가스 배출량 공간 분석 연구

유선철,신동빈,안종욱 대한공간정보학회 2019 대한공간정보학회지 Vol.27 No.4

This study aim to present a spatial analaysis of greenhouse gas(GHG) emissions in building sector using spatial big data in case of Seoul. We constructed fusion spatial big data by converging publicly notified individual land price data containg spatial properties with energy usage data by building, and thus calculated GHG emissions by plot. Using this data, spatial statistics analysis of Global Moran's I, Local Moran's I, and Getis-Ord for spatial autocorrelation analysis was performed. As a result, both of them showed very strong clustered form in 2015 and 2017, and lots with high greenhouse gas emissions were clustered in each district of Seoul, and this tendency was analyzed to be highly occurred in 2017. According to the hotspot analysis, the number of hotspot in emissions increased form seven in 2015 to eleven in 2017. Based on these results, it will be possible to conduct micro-analysis of GHG emission sources and to find out the fundamental cause of emission and effective policy formulation and monitoring will be possible. To this end, it is necessary to continue research on various sources and factors fo GHG emission. 본 연구는 서울시를 대상으로 건물부문의 에너지 사용량 빅데이터를 활용하여 온실가스 배출량의 공간적 패턴을 분석하는 것을 목적으로 하였다. 공간속성을 갖고 있는 개별공시지가 데이터와 건물별 에너지 사용량 데이터를 활용하여 융합 공간 빅데이터를 구축하고 이에 따른 개별 온실가스 배출량을 산정하였다. 그리고 이 데이터의 공간적 자기상관성 분석을 위해 Global Moran’s I와 Local Moran’s I, Getis-Ord 통계분석을 실시하였다. 분석결과 2015년과 2017년 모두 매우 강한 군집(clustered) 경향을 보이는 것으로 나타났으며, 서울시의 각 구별로 온실가스 배출량이 높은 필지들이 군집되어 있었으며, 그 경향이 2017년도에 높게 발생하는 것으로 분석되었다. 또한, 핫스팟 분석결과 2015년 7개에서 2017년 11개로 배출량의 핫스팟 지역이 증가하는 것으로 분석되었다. 이러한 결과를 바탕으로 온실가스 배출원에 대한 미시적 분석을 통해 그 원인을 규명과 이에 따른 효과적인 정책마련과 모니터링의 도구로 활용이 가능할 것으로 판단된다. 향후 다양한 배출원 및 요인들에 대한 지속적인 연구가 이루어져야 할 것이다.

상이한 메모리 크기를 가지는 분산 환경에서 부하 분산을 위한 캐시 관리 기법

최기태(Kitae Choi),윤상원(Sangwon Yoon),박재열(Jaeyeol Park),임종태(Jongtae Lim),이석희(Seokhee Lee),복경수(Kyoungsoo Bok),유재수(Jaesoo Yoo) 한국정보과학회 2015 정보과학회 컴퓨팅의 실제 논문지 Vol.21 No.8

최근 소셜 미디어의 성장과 디지털 기기의 활용이 증가함에 따라 기하급수적으로 데이터가 급증하고 있다. 기존 디스크 기반 분산 파일 시스템은 I/O 처리 비용 및 병목 현상으로 인해 데이터 처리나 데이터 접근 성능에 한계가 발생한다. 이러한 문제점을 해결하기 위해 메모리에 데이터를 관리하는 캐시 기법이 활용되고 있다. 본 논문에서는 분산 메모리 환경에서 부하 분산을 처리하기 위한 캐시 관리 기법을 제안한다. 제안하는 기법은 노드의 메모리의 크기가 서로 상이한 환경에서 메모리 크기에 따라 데이터를 분배하고 노드의 부하가 발생할 경우 핫 데이터를 재분배한다. 또한, 캐시 항목의 재사용 가능성, 사용 빈도수, 접근 시간을 고려한 캐시 교체 기법을 제안한다. 성능 평가를 통해 제안하는 분산 캐시 기법이 기존에 캐시 관리 기법에 비해 우수함을 입증한다. Recently, volume of data has been growing dramatically along with the growth of social media and digital devices. However, the existing disk-based distributed file systems have limits to their performance of data processing or data access, due to I/O processing costs and bottlenecks. To solve this problem, the caching technique is being used to manage data in the memory. In this paper, we propose a cache management scheme to handle load balancing in a distributed memory environment. The proposed scheme distributes the data according to the memory size, n distributed environments with different memory sizes. If overloaded nodes occur, it redistributes the the access time of the caching data. In order to show the superiority of the proposed scheme, we compare it with an existing distributed cache management scheme through performance evaluation.

분산 인-메모리 환경에서 부하 분산을 위한 데이터 복제와 이주 기법

최기태(Kitae Choi),윤상원(Sangwon Yoon),박재열(Jaeyeol Park),임종태(Jongtae Lim),복경수(Kyoungsoo Bok),유재수(Jaesoo Yoo) 한국정보과학회 2016 정보과학회 컴퓨팅의 실제 논문지 Vol.22 No.1

최근 소셜 미디어의 성장과 디지털 기기의 활용이 증가함에 따라 데이터가 기하급수적으로 급증하고 있다. 이러한 대용량의 데이터를 효율적으로 처리하기 위해 분산 메모리 처리 시스템을 사용한다. 하지만 분산 환경에서 특정 노드에 부하가 집중이 되면 노드의 성능이 저하되는 문제가 발생한다. 본 논문은 분산 메모리 환경에서 노드의 부하를 적절하게 분배하는 부하 분산 기법을 제안한다. 제안하는 기법은 노드의 부하를 관리하기 위해 핫 데이터를 여러 노드에 복제하고 노드가 추가되거나 삭제될 때 노드의 부하를 고려하여 데이터를 이주시킨다. 클라이언트는 핫 데이터의 메타데이터 정보를 유지하여 직접 노드에 접근함으로써 중앙 서버의 접근을 감소시킨다. 성능 평가를 통해 제안하는 부하 분산 관리 기법이 기존에 캐시 관리 기법에 비해 우수함을 입증한다. Recently, data has been growing dramatically along with the growth of social media and digital devices. A distributed memory processing system has been used to efficiently process large amounts of data. However, if a load is concentrated in a certain node in distributed environments, a node performance significantly degrades. In this paper, we propose a load balancing scheme to distribute load in a distributed memory environment. The proposed scheme replicates hot data to multiple nodes for managing a node’s load and migrates the data by considering the load of the nodes when nodes are added or removed. The client reduces the number of accesses to the central server by directly accessing the data node through the metadata information of the hot data. In order to show the superiority of the proposed scheme, we compare it with the existing load balancing scheme through performance evaluation.

그래프 스트림 분산 관리를 위한 정점 절단 기반의 분할 기법

한진수,조중권,최도진,임종태,복경수,유재수 한국정보과학회 2018 정보과학회 컴퓨팅의 실제 논문지 Vol.24 No.4

Graph data is being generated in various fields such as social network, semantic web, and IoT. With the increasing utilization of large scale graph streams that change over time, the real-time distributed management of graphs has been required. In this paper, we propose a vertex-cut based graph stream partitioning method for efficient query processing and load balancing. We choose the load of each node that considers its storage utilization and throughput as the graph partitioning criterion. In addition, the proposed method performs the partitioning with a higher weight on throughput in order to resolve the problem of hot data loaded in a particular node. It is shown through performance evaluation that the proposed method outperforms the existing methods. SNS, 시맨틱 웹, IoT 등 다양한 분야에서 그래프 데이터가 생성되고 있다. 최근 그래프가 동적으로 변화하는 대용량의 그래프 스트림에 대한 활용이 증가됨에 따라 실시간으로 그래프를 분산 관리하기 위한 필요성이 증가되고 있다. 본 논문에서는 질의 처리 성능 향상과 부하 분산을 고려한 정점 절단 기반의 스트림 그래프 분할 기법을 제안한다. 제안하는 기법은 저장 공간의 사용률 및 처리량을 고려한 노드의 부하를 그래프 분할 기준으로 선정한다. 또한, 핫 데이터로 인해 특정 노드에 부하가 집중되는 문제점을 해결하기 위해 핫 데이터가 삽입되는 경우 처리 성능에 더 높은 비중을 두고 분할을 수행한다. 성능평가에서는 기존 기법과의 성능 평가를 통해 제안하는 기법의 우수성을 입증한다.

외래관광객의 시공간적 방문 패턴 분석 - 전주시를 중심으로 -

황혜진,박상원,전동훈,서예빈 대한지리학회 2022 대한지리학회지 Vol.57 No.6

Characteristics such as nationality affect the movement of tourists. The movement of tourists can be described as a change in spatial location over time. Understanding the difference in tourist movement behavior patterns according to time and nationality plays a vital role in developing tourist attractions and enhancing tourist experiences. However, existing studies are limited to understanding tourists' movement behavior in terms of space. Therefore, studies that reflect the actual movement behavior considering the time and individual characteristics of tourists are required. This study grasped the spatial movement behavior of foreign tourists visiting Jeonju based on the space, time, and nationality of tourists. Hot spots and cold spots were identified using Optimized Hot Spot Analysis, and Emerging Hot Spot Analysis was conducted to identify changes in the distribution of popular and unpopular tourist destinations over time regarding tourists' nationality. As a result, it was found that hot spots were formed widely in Jeonju Hanok Village and Jungang-dong, the tourist hubs in Jeonju. The distribution was different depending on the nationality of tourists. Remarkably, the distribution of hot and cold spots among Chinese, Japanese, and Americans was different and changed through the seasons. In addition, it was proved that the spatio-temporal distribution of tourists was different according to nationality. The results of this study are expected to enhance tourists’ experience by suggesting efficient ways to develop tourist destinations and establishing policies in the future. 관광객의 이동은 시간의 흐름에 따른 공간적 위치의 변화로 이해할 수 있다. 국적과 같은 특성은 관광객의 이동에 영향을 미친다. 시간과 국적에 따라 관광객의 이동 행동 패턴 차이를 이해하는 것은 관광지를 개발하고 이를 통해관광객의 경험을 증진시키는데 중요한 역할을 한다. 그러나 기존 연구는 관광객의 이동 행동을 공간 측면에서 이해하는데 국한되어있고, 시간 측면과 관광객 개인의 특성을 고려한 실질적 이동 행동 패턴을 분석한 연구는 미비하다. 이에따라 이 연구는 전주시를 방문한 외래관광객의 공간적 이동 행동을 공간과 시간, 관광객의 국적에 따라 파악하였다. 관광객의 국적의 따른 인기관광지(Hot spot)와 비인기 관광지(Cold spot)을 파악하기 위해 최적화된 핫스팟 분석법을활용하였다. 또한, 인기관광지와 비인기 관광지의 시간의 흐름에 따른 분포 변화를 확인하기 위해 발생 핫스팟 분석을실시하였다. 분석 결과 전주시의 관광 거점 지역인 전주 한옥마을, 중앙동 일대에 핫스팟이 넓게 형성되었으며, 관광객의 국적에 따라 분포가 상이하게 나타났다. 더불어 계절에 따라 중국인, 일본인, 미국인의 핫스팟과 콜드스팟의 분포가다르다는 것이 밝혀졌다. 해당 연구는 전주시 내 인기 관광지 분포와 시간의 흐름에 따른 인기 관광지 분포의 변화를확인하였다. 더불어 국적에 따라 관광객의 시공간적인 분포가 상이함을 입증하였다. 해당 연구의 결과는 앞으로의 관광지 개발 및 정책 수립에 효율적인 방안을 제시하고 이를 통해 관광객의 경험을 증진하는데 기여할 것으로 기대한다.