R 기반 센서 데이터 분석 라이브러리 설계및 구현

오수정,이민수 한국정보과학회 2016 데이타베이스 연구 Vol.32 No.1

While the amount of sensor data has been rapidly increasing due to the advances in information technology, wireless internet and sensor technologies, it is becoming increasingly necessary to be able to support the collection and analysis of such sensor data. Especially the development and dissemination of device control boards such as Arduino or Rasberry Pi have enabled the easy installment of various sensors. However, it is too difficult for people with non-computer related backgrounds or beginners to use them to perform data collection. Furthermore, even though the data is collected, performing data analysis and visualization tasks could be difficult without expert knowledge and experience. To overcome these issues, our goal is to construct a library for collecting and analyzing sensor data. In order to simplify the data collection process we construct modules for each sensor, and make it possible to collect data by easily calling the sensor functions in the modules. For the data analysis and visualization process we defined function names as general words to construct a more understandable library, and we reduced the number of function arguments which are used in a function call to minimize the information needed to perform the data analysis and visualization. The sensor data collection part is developed using the C programming language, and the sensor data analysis part is developed using the R programming language. 정보 기술과 무선 인터넷 및 센서 기술의 발달과 더불어 센서 데이터의 생성이 급속하게 증가하고 있는 가운데 이들 센서 데이터의 수집과 분석을 효율적으로 지원하기 위한 필요성이 커지고 있다. 특히 아두이노와 라즈베리파이 같은 보드들의 보급으로 손쉽게 다양한 센서를 직접 설치할 수 있게 되었지만 보드를 이용한 데이터 수집에는 컴퓨터 관련 전공자가 아니거나 처음 접해보는 경우 사용하는 데 있어서 많은 어려움이 있다. 또 데이터를 수집하더라도 전문적인 지식이 부족하거나 경험이 없으면 데이터 분석 및 시각화를 하는데 어려움이 발생할 수 있다. 본 논문에서는 이러한 문제점을 보완하는 센서 데이터 수집 및 분석을 위한 라이브러리구축을 목표로 한다. 데이터 수집 과정을 간소화하기 위해 각 센서 별로 모듈을 구축하였고, 간단하게 원하는센서 함수를 호출하면 데이터 수집이 가능하게 하였다. 또 데이터 분석 및 시각화 과정에서는 사용자가 직관적으로 이해할 수 있는 함수의 이름을 사용하여 함수를 정의하고, 함수에 들어가는 인자들을 간소화하여, 최소한의 정보로 데이터 분석 및 시각화를 가능하도록 설계하였다. 센서 데이터 수집은 C 언어를 기반으로 구축하였으며, 데이터 분석 및 시각화 과정을 R 프로그래밍 언어를 기반으로 구축하였다.

Anomaly Detection in Sensor Data

김종민,백재욱 한국신뢰성학회 2018 신뢰성응용연구 Vol.18 No.1

Purpose: The purpose of this study is to set up an anomaly detection criteria for sensor data coming from a motorcycle. Methods: Five sensor values for accelerator pedal, engine rpm, transmission rpm, gear and speed are obtained every 0.02 second from a motorcycle. Exploratory data analysis is used to find any pattern in the data. Traditional process control methods such as X control chart and time series models are fitted to find any anomaly behavior in the data. Finally unsupervised learning algorithm such as k-means clustering is used to find any anomaly spot in the sensor data. Results: According to exploratory data analysis, the distribution of accelerator pedal sensor values is very much skewed to the left. The motorcycle seemed to have been driven in a city at speed less than 45 kilometers per hour. Traditional process control charts such as X control chart fail due to severe autocorrelation in each sensor data. However, ARIMA model found three abnormal points where they are beyond 2 sigma limits in the control chart. We applied a copula based Markov chain to perform statistical process control for correlated observations. Copula based Markov model found anomaly behavior in the similar places as ARIMA model. In an unsupervised learning algorithm, large sensor values get subdivided into two, three, and four disjoint regions. So extreme sensor values are the ones that need to be tracked down for any sign of anomaly behavior in the sensor values. Conclusion: Exploratory data analysis is useful to find any pattern in the sensor data. Process control chart using ARIMA and Joe’s copula based Markov model also give warnings near similar places in the data. Unsupervised learning algorithm shows us that the extreme sensor values are the ones that need to be tracked down for any sign of anomaly behavior.

무선 센서 네트워크를 위한 상황 인지 데이터 중심 저장 기법

김현주,이충희,박준호,성동욱,유재수 한국정보과학회 2011 데이타베이스 연구 Vol.27 No.2

In wireless sensor networks, various data‐centric storage schemes (DCS) are one of representative researches to efficiently store sensor readings and to process a query. The DCS scheme assigns distributed data regions to sensor nodes and stores sensor readings to the sensor node which is responsible for the data region to process the query efficiently. However, the existing DCS schemes have some drawbacks that the sensor nodes have the fixed ranges to store sensor readings. Because the ranges of sensor readings change periodically in real world applications, they have problems that they use storage space unevenly in entire sensors and their network lifetimes are reduced. To solve such a problem, we propose a context aware data‐centric storage scheme to store sensor readings equally in the entire sensor network. To show the superiority of our proposed scheme, we compare it with the existing DCS schemes. Our experimental results show that our proposed scheme improves about 377.7% lifetime over the existing schemes on average. 센서 네트워크에서 데이터 중심 저장 기법은 측정값을 효율적으로 저장하고 질의를 처리하기 위한 대표적인 연구 중 하나이다. 데이터 중심 저장 기법의 경우 질의를 효과적으로 처리하기 위해 수집한 데이터 값에 따라 저장 될 센서 노드를 지정하고, 질의 처리를 위해 질의에 해당하는 데이터를 저장하는 노드에서만 데이터를수집한다. 하지만 기존에 제안된 DCS 기법들은 데이터의 저장 범위를 고정적으로 설정한다. 그러므로 시기별로 상이한 범위의 데이터가 발생되는 실제 응용에서는 저장 공간 활용의 불균등을 초래하여 네트워크 수명을 단축시킨다. 이러한 문제를 해결하기 위해, 본 논문에서는 시간이 지남에 따라 변화 하는 데이터 발생 패턴에상황 적응적인 범위 설정 기법을 적용하여 네트워크 전반에 걸쳐 노드들의 저장 공간을 균등하게 사용하는 상황 인지 데이터 중심 저장 방식을 제안한다. 제안하는 기법의 우수성을 보이기 위해 시뮬레이션을 통해 기존 DCS기법과 성능을 비교평가 하였다. 그 결과, 제안하는 기법은 기존 기법에 비해 네트워크 수명이 평균377.7% 증가하였다.

A Scalable and Flexible Repository for Big Sensor Data

Dongeun Lee,Jaesik Choi,Heonshik Shin IEEE 2015 IEEE SENSORS JOURNAL Vol.15 No.12

<P>Data generation rates of sensors are rapidly increasing, reaching a limit such that storage expansion cannot keep up with the data growth. We propose a new big data archiving scheme that handles the huge volume of sensor data with an optimized lossy coding. Our scheme leverages spatial and temporal correlations inherent in typical sensor data. The spatio-temporal correlations, observed in quality adjustable sensor data, enable us to compress a massive amount of sensor data without compromising distinctive attributes in sensor signals. Sensor data fidelity can also be decreased gradually. In order to maximize storage efficiency, we derive an optimal storage configuration for this data aging scenario. Experiments show outstanding compression ratios of our scheme and the optimality of storage configuration that minimizes system-wide distortion of sensor data under a given storage space.</P>

Anomaly Detection in Sensor Data

Kim, Jong-Min,Baik, Jaiwook The Korean Reliability Society 2018 신뢰성응용연구 Vol.18 No.1

Purpose: The purpose of this study is to set up an anomaly detection criteria for sensor data coming from a motorcycle. Methods: Five sensor values for accelerator pedal, engine rpm, transmission rpm, gear and speed are obtained every 0.02 second from a motorcycle. Exploratory data analysis is used to find any pattern in the data. Traditional process control methods such as X control chart and time series models are fitted to find any anomaly behavior in the data. Finally unsupervised learning algorithm such as k-means clustering is used to find any anomaly spot in the sensor data. Results: According to exploratory data analysis, the distribution of accelerator pedal sensor values is very much skewed to the left. The motorcycle seemed to have been driven in a city at speed less than 45 kilometers per hour. Traditional process control charts such as X control chart fail due to severe autocorrelation in each sensor data. However, ARIMA model found three abnormal points where they are beyond 2 sigma limits in the control chart. We applied a copula based Markov chain to perform statistical process control for correlated observations. Copula based Markov model found anomaly behavior in the similar places as ARIMA model. In an unsupervised learning algorithm, large sensor values get subdivided into two, three, and four disjoint regions. So extreme sensor values are the ones that need to be tracked down for any sign of anomaly behavior in the sensor values. Conclusion: Exploratory data analysis is useful to find any pattern in the sensor data. Process control chart using ARIMA and Joe's copula based Markov model also give warnings near similar places in the data. Unsupervised learning algorithm shows us that the extreme sensor values are the ones that need to be tracked down for any sign of anomaly behavior.

Anomaly Detection in Sensor Data

Jong-Min Kim,Jaiwook Baik 한국신뢰성학회 2018 신뢰성응용연구 Vol.18 No.1

Purpose: The purpose of this study is to set up an anomaly detection criteria for sensor data coming from a motorcycle. Methods: Five sensor values for accelerator pedal, engine rpm, transmission rpm, gear and speed are obtained every 0.02 second from a motorcycle. Exploratory data analysis is used to find any pattern in the data. Traditional process control methods such as X control chart and time series models are fitted to find any anomaly behavior in the data. Finally unsupervised learning algorithm such as k-means clustering is used to find any anomaly spot in the sensor data. Results: According to exploratory data analysis, the distribution of accelerator pedal sensor values is very much skewed to the left. The motorcycle seemed to have been driven in a city at speed less than 45 kilometers per hour. Traditional process control charts such as X control chart fail due to severe autocorrelation in each sensor data. However, ARIMA model found three abnormal points where they are beyond 2 sigma limits in the control chart. We applied a copula based Markov chain to perform statistical process control for correlated observations. Copula based Markov model found anomaly behavior in the similar places as ARIMA model. In an unsupervised learning algorithm, large sensor values get subdivided into two, three, and four disjoint regions. So extreme sensor values are the ones that need to be tracked down for any sign of anomaly behavior in the sensor values. Conclusion: Exploratory data analysis is useful to find any pattern in the sensor data. Process control chart using ARIMA and Joe’s copula based Markov model also give warnings near similar places in the data. Unsupervised learning algorithm shows us that the extreme sensor values are the ones that need to be tracked down for any sign of anomaly behavior.

센서 네트워크에서 저장 공간의 활용성과 에너지 효율성을 위한 시간 매개변수 기반의 데이타 중심 저장 기법

박용훈(Yong Hun Park),윤종현(Jong Hyun Yoon),서동민(Dong Min Seo),김준(June Kim),유재수(Jae Soo Yoo) 한국정보과학회 2009 정보과학회논문지 : 데이타베이스 Vol.36 No.2

최근 무선 센서 네트워크 환경에서 감지되는 데이타를 네트워크상에 효과적으로 저장하고 처리하기 위한 다양한 기법들이 제안되었다. 데이타 중심 저장(Data-Centric Storage : DCS) 기법은 분할된 데이타 영역을 센서들에게 할당하고, 수집된 데이타를 해당 데이타 영역을 담당하는 센서에 저장하는 기법이다. 기존 연구된 DCS 기반 기법들은 데이타 전송을 위한 통신비용의 감소와 정합 질의(Exact Query) 및 영역 질의(Range Query)의 효과적인 처리를 위해 제안되었다. 하지만 방대한 데이타가 발생하는 데이타 영역을 담당하는 센서의 저장 부하 문제는 고려되지 않았다. 최근 이와 같은 저장 부하 문제를 해결하기 위해 K-D 트리를 기반으로 동적 분할 데이타 영역을 사용하는 KDDCS가 제안되었다. 하지만 KDDCS를 포함한 모든 기존 DCS 기반 기법들은 인기 있는(많은 질의 요청을 받는) 데이타 영역에 대한 질의 부하가 고려되지 않았기 때문에, 결과적으로 전체 센서 네트워크의 수명이 단축된다. 그래서 본 논문에서는 저장 부하뿐만 아니라 질의 부하도 효과적으로 해결할 수 있는 새로운 DCS 기반 기법인 TPDCS(Time parameterized DCS)를 제안한다. 제안하는 기법은 데이타 차원뿐만 아니라 시간 차원을 함께 고려하여 센서에 할당되는 데이타 영역을 분할한다. 제안하는 방법은 데이타 저장과 질의 처리 분산을 통해 전체 센서 네트워크의 수명을 크게 연장시킨다. 또한 본 논문에서는 대표적인 기존 DCS기반 기법들과 다양한 성능 비교 평가를 통해 제안하는 기법의 우수성을 보인다. In wireless sensor networks, various schemes have been proposed to store and process sensed data efficiently. A Data-Centric Storage(DCS) scheme assigns distributed data regions to sensors and stores sensed data to the sensor which is responsible for the data region overlapping the data. The DCS schemes have been proposed to reduce the communication cost for transmitting data and process exact queries and range queries efficiently. Recently, KDDCS that readjusts the distributed data regions dynamically to sensors based on K-D tree was proposed to overcome the storage hot-spots. However, the existing DCS schemes including KDDCS suffer from Query Hot-Spots that are formed if the query regions are not uniformly distributed. As a result, it causes reducing the life time of the sensor network. In this paper, we propose a new DCS scheme, called TPDCS (Time-Parameterized DCS), that avoids the problems of storage hot-spots and query hot-spots. To decentralize the skewed data and queries, the data regions are assigned by a time dimension as well as data dimensions in our proposed scheme. Therefore, TPDCS extends the life time of sensor networks. It is shown through various experiments that our scheme outperform the existing schemes.

동적 비트할당 기반 센서데이타 압축 기법

이석재(Seok Jae Lee),박현호(Hyun Ho Park),여명호(Myung Ho Yeo),송석일(Seok Il Song),유재수(Jae Soo Yoo) 한국정보과학회 2008 정보과학회논문지 : 정보통신 Vol.35 No.4

대부분의 센서네트워크 응용들은 일정기간 동안 센서데이타를 지속적으로 수집·분석한다. 이때 모든 센서가 계속해서 서버로 데이타를 전송하기 때문에 많은 통신비용이 소모된다. 따라서 통신비용 감소를 위한 기술은 배터리를 이용해 동작하는 무선 센서에 기반한 센서네트워크의 수명 연장을 위한 가장 핵심적인 기술이라 할 수 있다. 본 연구에서는 센서데이타를 압축·전송함으로써 통신비용을 감소시키기 위한 동적 비트할당 기법에 기반한 센서데이타 압축 기법을 제안한다. 제안하는 기법은 일정기간 동안 수집한 센서데이타의 분포를 분석해 센서데이타를 비트로 표현할 수 있는 정보를 각 센서에 배포하고, 데이타를 압축해 수집함으로써 통신비용을 효과적으로 줄일 수 있다. Most of the sensor applications collect and analyze sensor data within a given period of time. When sensor send a data to sink, it spend many communication cost. Accordingly, a compression algorithm is one of the most critical issues for the communication cost decrease in sensor fields. In this paper, we propose an algorithm for compressing sensor data using the dynamic bit assignment technique. In our algorithm, sink collect sensor data within a short period of time and make bit assign information. Then sink send the information to sensor. Finally, sensors compresssensing data and send to sink.

센서 네트워크에서 지리적인 라우팅과 데이터 핫스팟을 고려한 인-네트워크 데이터 중심 저장 기법

여명호(Myungho Yeo),성동욱(Dongook Seong),유재수(Jaesoo Yoo) 한국정보과학회 2011 정보과학회논문지 : 데이타베이스 Vol.38 No.3

센서 네트워크에서 데이터 중심 저장 기법은 원격 센서 노드로 센서 데이터를 전송하거나 저장 부하를 조절하기 위하여 많은 에너지를 소모하는 문제점을 가지고 있다. 본 논문에서는 지리적인 라우팅과 데이터 압축을 지원하는 새로운 데이터 중심 저장 기법을 제안한다. 센서 노드는 위치를 기반으로 지리적인 그룹을 구성하고, 각 그룹에서 대표 노드를 선출한다. 대표 노드는 인코딩 정책을 이용하여 센서 데이터를 압축하고, 센서 데이터를 효율적으로 저장하도록 센서 노드 그룹을 운영한다. 성능 평가 결과, 제안하는 기법은 기존 연구에 비해 저장 공간을 확장하고, 데이터 통신 비용과 데이터 손실을 줄인다. Data-centric storage (DCS) schemes have some problems that sensor nodes consume a lot of energy for transmitting sensor readings to remote sensor node or for balancing storage load in sensor networks. In this paper, we propose a novel data-centric storage scheme to support data compression and geographical routing. Sensor nodes organize geographical groups based on their locations and elect a representative node in each group. The representative node compresses sensor data with encoding policy and operates corresponding sensor node group to store sensor data efficiently. In the experimental result, the proposed scheme extends the storage space and reduces communication cost and data losses over the existing schemes.

5G 기술 기반의 사물인터넷을 위한 센서 데이터 위변조 방지 기술과 정책에 대한 연구

박소현,이일구,윤선우 한국산업보안연구학회 2020 한국산업보안연구 Vol.10 No.3

5G 기술의 도입으로 사물인터넷은 초연결, 초저지연, 초밀집 네트워킹이 가능해졌다. 사물인터 넷 장치는 인간의 일상생활의 필수 요소로 활용될 뿐만 아니라 전 산업 분야에 확장·적용되어 스마 트 시티, 스마트 그리드, 스마트 팜, 스마트 홈, 스마트 카 등 센서들의 조합으로 구성된 스마트 시스템을 재창조하는 요소 기술로 자리매김하고 있다. 이 스마트 시스템 네트워크를 구성하는 사 물인터넷 센서들은 인간의 개입 없이 인공지능을 활용해 데이터를 수집, 가공, 저장, 전송하는 역 할을 수행한다. 그리고 밀집 네트워크를 구성하는 사물인터넷 센서들이 전송한 데이터들이 모이면 인간의 안전, 생명, 재산과 직결되는 결정에 활용되는 빅데이터가 된다. 그러나 종래의 상용 센서 모듈들은 보안이 내재화되지 않았으며, 효율성과 확장성을 고려하지 않아서 다가오는 5G 기반의 사물인터넷 시대에 활용하는 데 한계를 가지며 이에 대한 기술적·정책적 해결책이 요구된다. 본 논문에서는 앞선 문제점들을 분석하여 현 상황의 한계점을 보완할 수 있는 센서 데이터 위변조 방지 기술과 함께, 제안한 기술을 활성화할 수 있는 정책에 대해 제안한다. 이를 위해 재구성 가능 한 블록 형태의 센서 모듈과 프라이빗 블록체인 네트워크를 활용하여 센서 데이터를 관리하고 위 변조를 방지할 수 있는 기술인 ‘센서블록’과 ‘센서체인’을 소개하며, 이 기술을 활성화하기 위해 필요한 데이터 소유권, 데이터 인증제도, 개인정보보호법의 3가지 정책 개선 방안을 제시한다. Along with the introduction of 5G technology, it has become possible to make hyper-connected, low-latency and ultra-dense networks on Internet of Things(IoT). The IoT devices are playing important roles in everyday life, and the utilization of IoT is extending to various industry, recreating smart systems such as a smart city, a smart grid, a smart farm, and a smart home, which are made up of a combination of smart sensors. Sensors in IoT devices, which organize the network of the smart systems, can gather, process, store, and transmit data without any human intervention, but by using Artificial Intelligence (AI). Furthermore, collected sensors’ data are processed to Big Data, and is used to make decisions to ensure human safety, life, and property. However, security, efficiency, and scalability are not considered when conventional sensor modules are designed and implemented, and it leads to a limitation in utilization of 5G-enabled IoT. This paper objectively analyzes above problems and provides a sensor data forgery prevention technology with policy proposal to enable the technology. Accordingly, ‘Sensor Block” and ‘Sensor Chain’, which are each block-formed reconfigurable sensor module and sensor data forgery prevention technology using private blockchain network, is introduced, and three policy improvement plans – related to data ownership, data certification system, and privacy act – are proposed to activate ‘Sensor Block’ and ‘Sensor Chain’ technology.