A Study on Guaranteeing the data subject’s right to be informed - focused on comparative study between Korea’s PIPA and EU’s GDPR -

Kim, Hyun Sook 동국대학교 비교법문화연구원 2020 DONGGUK LAW REVIEW Vol.14 No.-

Anyone who collects and uses other people’s data must meet legal requirements such as prior consent from the data subject. Data controllers who can legally process other people’s data must comply with the corresponding rules. In this context, controllers also disclose and inform all matters related to the processing of such data subject. After the OECD adopted the privacy principle of transparent and fair processing, most countries have accepted it, including the EU and Korea. The data subject must know who, for what purpose, and how their data is processed in order to control their data. The data subject’s right to basic information on data processing is the prerequisite for exercising their rights to rectification, erasure, etc. However, this basic principle has been mitigated as Korea revised the Personal Information Protection Act in February 2020. The PIPA introduced an exceptional case of data processing, pseudonymization. When data controllers process pseudonymized personal data, they can process it without prior consent from the data subject and without notifying the data subject of relevant information related to the processing. Korea publicly announced it would revise the PIPA by referring to European Union’s General Data Protection Regulation. Still, GDPR does not eliminate the data controller’s obligation to notify when pseudonymized processing. Only consent is exempted if the data initially collected is pseudonymized for compatible purposes such as statistical, scientific research, or archiving purposes in the public interest. This inconsistency appears because the systems of both laws do not match perfectly even though they are much similar. This paper suggests how the PIPA guarantees the data subject’s right to basic information when processing by a comparative study between Korea’s PIPA and the EU’s GDPR. Notification of data processing is crucial in ensuring the right to informational self-determination that the PIPA should accomplish as the ultimate goal.

빅데이터 기반 음성언어 처리 기술에 관한 연구

조진관 한국지식정보기술학회 2019 한국지식정보기술학회 논문지 Vol.14 No.4

Among the age of multiple information processing with smart device, many users feel each information and comfortable life through their smart device and computer so on. The area of language processing about multiple information make an automatically recognition and processing by computer with human language, and study their algorithm. In addition, it provides a several of application services such as siri, speech conversation system. Especially, language processing technology offer to valuable service in big data environment, and necessary to essential technology to processing big speech and text information. Moreover, big data-based application system become main resource that make a good performance using language processing technology by huge data. Moreover, our research provide web/app environment-based speech collaboration, big data-based both speech signal processing, and speech collaboration algorithm. Big data-based both speech signal processing and speech algorithm carry out by transaction procedure organically. By the transaction procedure, we had an experiment with Trek user speech data using RLS and SNR algorithm for big data-based language processing. Accordingly, in this paper, we propose big data-based information processing with many pre-research in order to improve a capability of the information processing technology using big data.

Optimized Data Processing Analysis Using Big Data Cloud Platform

김종윤,김진홍 한국지식정보기술학회 2021 한국지식정보기술학회 논문지 Vol.16 No.1

Recently data processing has main gained many attention both from academic and commercial industry. Their term use to tools, technical methods and frameworks made to gathering, collect, store, processing and analysis massive amounts of data. Data processing and analysis are based on structured/semi -structured/unstructured by big data, as well as is generated from various different sources in the system at various rates. For the purpose of processing with their large data and suitable way, voluminous parallelism is usually used. The general architecture of a big data system is made up a shared cluster of their machines. Nonetheless, even in very parallel environment, data processing is often very time-consuming. A various applications can take up to everytime to produce useful results, interactive analysis and debugging. Nevertheless, we have main problems that how we have a high performance requires both quality of data locality and resource. Moreover, big data analysis provide the amount of data that is processed typically large in comparison with computation in their systems. In other words, specified optimization that would relieve low-level to achieve good performance essentially. Accordingly, our main goal of this research paper provide how we have to do to optimize for big data frameworks. Our contribute approach to make big data cloud platform for easy and efficient processing of big data. In addition, we provides results from a study of existing optimization of data processing in MapReduce and Hadoop oriented systems.

The Framework of Social Networks Big Data Processing Based on Cloud Computing

Liu Kewen,Gao Changyuan 보안공학연구지원센터 2016 International Journal of Database Theory and Appli Vol.9 No.10

With the rise of cloud computing, internet of things, social networks, the type and scale of data in human society has increased at an unprecedented rate, making data from being a simple object to be process to being a basic resource. Fully mining the value of data resources that was hidden in SNS such Weibo Microblog, Wechat has become a common subject concerned by industrial circle, academic area and government departments. Although the distributed storage and analysis of cloud computing platform have been widely used in big data process of social networks, it has not been able to fully solve the problems of big data storage and process in social networks. In this paper, it proposed the big data process framework of social networks based on cloud computing. By adopting the mixing cloud model and coordinating the data storage framework and data computing framework, and regarding social networks features such as real-time, sharing, mobility, individuation, and interactivity, this big data process framework can be adopted to process large-scale massive amount of data, to research the unified management and sharing strategy of massive data, to propose data process strategy and the service application of big data such as Microblog and Wechat, and to discuss several urgent key problems in processing social networks big data.

데이터센터 모니터링 시스템에서 대량 스트리밍 센서 데이터 처리

선동한,김성중,최경륜,황수찬 한국차세대컴퓨팅학회 2017 한국차세대컴퓨팅학회 논문지 Vol.13 No.6

데이터센터는 다양한 센서로부터 수많은 종류의 데이터를 수집하고 있으며 이러한 데이터는 데이터센터 모니터링시스템의 분석을 통해 센터의 효율 관리와 개선에 활용되고 있다. 최근에는 데이터센터의 대형화 추세에 따라 센서데이터 양이 폭발적으로 증가하고 모니터링 시스템은 대량의 실시간 스트리밍 데이터에 대한 분석 및 처리 방안이필요하게 되었다. 따라서 본 논문에서는 데이터 발생시간인 이벤트 시간을 기반으로 한 대량의 스트리밍 센서데이터 처리 방안과 데이터양의 증가에 따른 처리 확장성(scalability) 제공 방안을 제시하고자 한다. 이벤트 시간 기반스트리밍 처리를 위해서는 데이터 발생시간과 처리시간 사이의 시간 지연 문제가 해결되어야 하는데 이를 위해 필터링(filtering), 추가시간(slack time), 윈도우 더블링(window doubling), 조정시간(coordinate time) 등을 이용한 처리 방안을 제시한다. 또한 처리 확장성 제공 방안으로 분산 스트리밍 시스템을 활용한 모니터링 시스템 구축 방안을 제시하고 실험적 시스템 구현을 통해 그 효율과 성능을 분석한다. A data center collects a very large volume of data from various kinds of sensors that is used by the data center monitoring system for the center’s efficiency management and improvement. As the recent trend of large size data center leads to the explosion of sensor data, the monitoring system requires streaming data processing to process and to analyze large volume of real-time data. This paper proposes an event time based real-time streaming processing model for large sensor data. The event time is the time when the data is generated at a sensor. This paper also presents a method to provide scalability of streaming data processing. For the event time based real-time streaming processing, a latency problem between data generation time and processing time should be resolved. We provide a solution based on filtering, slack time, window doubling and coordinate time methods. In order to provide the scalability, this paper builds an experimental monitoring system based on distributed streaming systems and shows an analysis of its performance and efficiency.

무질서 데이터를 위한 데이터 스트림 분리 처리 모델

선동한,장준혁,황수찬,이정구,고은비,정국식 한국차세대컴퓨팅학회 2023 한국차세대컴퓨팅학회 논문지 Vol.19 No.1

It is crucial to process the data stream in event-time ordering when real-time processing a great amount of data. Data stream however, through various causes may create disorientation of the input order. These out-of-order data may induce data latency and reduce the correctness of the result. We propose a one such approach, a DSSP(Data Stream Split Processing) model that can reduce the latency of the data processing while increasing the accuracy of out-of-order data process results. To prevent the delay of response time caused by late data, our DSSP model splits input data stream into normal data stream that arrives on time and late data stream that does not. This model provides the result of normal data stream first, then applies the late data result that has been separately cached to assure the correctness of the data processing. We analyze the efficiency and performance of our DSSP model through experimental implementation. 대량의 데이터를 실시간으로 처리하는 스트리밍 처리에서는 데이터가 발생한 순서에 따라 처리하는 것이 중요하다. 그러나 데이터 스트림은 다양한 원인으로 인해 입력 순서가 뒤바뀔 수 있으며, 이런 무질서 데이터는 데이터 처리 시간을 지연시키거나, 처리 정확도를 떨어트리는 문제를 초래한다. 본 논문에서는 무질서 데이터 처리결과의 정확성을 높이면서 이로 인해 발생하는 데이터 처리 지연을 줄일 수 있는 데이터 스트림 분리 처리 방법인 DSSP(Data Stream Split Processing) 모델을 제안한다. DSSP 모델은 지연 데이터로 인한 전체 처리시간의 지연을 방지하기 위해 입력 데이터 스트림을 처리시간 내에 입력되는 정상 데이터 스트림과 처리시간 내에 입력되지 못한 지연 데이터 스트림으로 분리하여 처리한다. 정상적으로 입력된 데이터는 처리결과를 우선 신속히 제공하고, 지연 입력된 데이터는 별도로 저장하였다가 그 처리결과를 추가로 반영하여 데이터의 정확성을 보장할 수 있도록 한다. 본 논문에서는 DSSP 시스템의 실험적 구현을 통해 그 효율과 성능을 분석한다.

대용량 민감 데이터 보호를 지원하는 비트맵 기반 분산 색인구조 및 암호화 질의처리 기법

이현조,김형일,장재우 한국차세대컴퓨팅학회 2015 한국차세대컴퓨팅학회 논문지 Vol.11 No.2

대용량 민감 데이터에 대한 아웃소싱이 각광받음에 따라, 이를 보호하기 위한 데이터 암호화 기법이 요구되고 있다. 이에 따라, 대용량 암호화 데이터 관리를 지원하는 분산 색인 구조 및 암호화된 데이터 상에서의 질의처리 알고리즘 이 요구되고 있다. 그러나 기존 분산 색인 구조 중 암호화 데이터의 특성을 고려한 연구는 존재하지 않는다. 또한, 기존 암호화 질의처리 알고리즘은 지원 가능한 질의 타입이 한정적이며, 상이한 방식으로 암호화된 컬럼 간 연산을 지원하지 못하는 문제점이 존재한다. 이를 해결하기 위해, 본 논문에서는 비트맵 기반 분산 색인 구조 및 암호화 질 의처리 기법을 제안한다. 제안하는 분산 암호화 색인 구조는 데이터 프라이버시를 보장하며, 다양한 종류의 질의에 대해 성능 향상을 제공한다. 아울러, 제안하는 암호화 질의처리 기법은 복호화를 수행하지 않고 질의처리를 수행함 으로써 데이터 보호 수준을 향상시키며, 높은 질의 처리 성능 및 정확도를 보장한다. 아울러 성능평가를 통해 제안 하는 색인구조 및 암호화 질의처리 기법이 대용량 민감 데이터 보호에 적합함을 보인다. As the outsourcing of the large sensitive data has been highlighted, data encryption schemes to protect the sensitive data are required. Accordingly, it is necessary to develop not only a distributed index structure to manage the large amount of encrypted data, but also a query processing scheme over the encrypted data. However, there has been no index structure considering the encrypted data. Existing query processing schemes over the encrypted data can support limited types of queries. In addition, the schemes cannot support operations among data with different columns because they use different types of encryption schemes depending on their attribute type. To solve these problems, in this paper, we propose a bitmap-based distributed index structure and a query processing scheme for the encrypted data. The proposed distributed index structure guarantees data privacy preservation and performance improvement for the various types of queries. In addition, by processing a query over the encrypted data without data decryption, the proposed query processing scheme guarantees the high query performance and accuracy while preserving the data privacy. Finally, we show from our performance evaluation that our proposed index structure and query processing scheme are suitable for protecting the data privacy of the large sensitive data.

대규모 웹 문서의 실시간 자연어 처리를 위한 데이터 수집·저장 시스템 설계 및 구현

현일성,윤재연,최병서,이익훈,이상구 한국정보과학회 2018 데이타베이스 연구 Vol.34 No.2

In the big data era, collecting and processing data is the most fundamental and central thing for big data system implementation and utilization. Internet text data is the one of the most representative big data. The demand of collection of these big data and natural language processing thereof is steadily increasing. In the paper, we propose a system for collecting and storing text data of large-scale web documents. The proposed data collection system can collect data from various websites which support no API. In addition, the massive text data can be collected quickly and efficiently through various parallelization methods for performance improvement. The proposed storage system can be applied to various natural language processing modules and the execution speed is improved by using in-memory DBMS for real-time natural language processing. The validity of the proposed system is verified by our experiments to collect actual large web documents. 빅데이터 시대에 빅데이터 시스템 구축 및 활용을 위해 데이터를 수집하고 저장 및 처리하는 일은 가장 기본적이면서도 핵심적인 일이다. 인터넷 텍스트 데이터는 대표적인 빅데이터이고, 대용량의 텍스트 데이터 수집 및 처리와 자연어 처리에 대한 수요는 지속적으로 증가하고 있다. 본 논문에서는 대규모 웹 문서의 텍스트 데이터를 수집하고 저장하는 시스템을 설계하고 구현한다. 데이터 수집 부분에서는 API가 제공되지 않는 다양한 웹 사이트로부터 텍스트 데이터를 수집할 수 있는 설계를 제안한다. 또한 데이터를 빠르고 효율적으로 수집하기 위한 병렬화 방법을 제안한다. 저장 시스템은 다양한 자연어 처리 모듈에 적용할 수 있고 실시간 자연어 처리를 지원하기 위해 인메모리 데이터베이스 관리 시스템을 사용함으로써 실행 속도를 향상시켰다. 본 논문의 실험에서는 실제로 웹 문서의 대규모 텍스트 데이터를 수집하고 처리하는 실험을 통해 시스템의 유효성을 확인하였다.

데이터 의미 변화에 따른 디자인 프로세스에서 데이터 역할 및 활용 방향 제안

이주연,정의철 한국디자인트렌드학회 2020 한국디자인포럼 Vol.25 No.2

Background The design process is the process of understanding the user and suggesting a concept. In this process, various data are collected, analyzed, interpreted, and the design inspiration is obtained. In the traditional design process, data was regarded as a reference material, but as the design process gradually formed a view of viewing as a knowledge creation activity using data, attempts to utilize data as a material for design concept creation by utilizing various data collection technologies. This study aims to consider the role of data in the design process and to suggest directions for its use. Methods Theoretical considerations such as the meaning of data in design and the concept of big data that played a big role in these semantic changes will be conducted as a literature study. Through a case study in data-driven design, we consider the process of using data as a creative material, and present a model that can conceptually explain the role of data in the design process according to the change in the meaning of data. Result The change in the direction in which data can be used in the design process due to changes in data roles and usage methods was proposed as the following two points. The process of data semantic evolution is reflected in the design process as it is, leading to a change in the design process, and this change in data utilization is leading to the evolution of user participation. Conclusion In this study, we looked at the changes in data utilization and its cases brought about by the evolution of the meaning of data in the design process, and redefined the changes in the design process from the perspective of data. It is expected that this study will be a basic study that can present a data utilization frame in future product and service projects. 연구배경 디자인 프로세스는 사용자를 이해하여 컨셉을 제안하는 과정이다. 이 과정에서 다양한 데이터를 수집, 분석, 해석하고 이를 통해 디자인 영감을 얻게 된다. 전통적 디자인 프로세스에서 데이터는 참고자료로 간주가 되었으나, 점차 디자인 프로세스가 데이터를 활용한 지식 창조 활동으로 보는 관점이 형성되면서, 다양한 데이터 수집 기술을 활용하여, 데이터를 디자인 컨셉 창작의 재료로 활용하려는 시도가 많아지고 있다. 본 연구는 디자인 프로세스에서 데이터의 역할을 고찰하고 활용 방향을 제안하는 것을 목표로 한다. 연구방법 디자인에서 데이터의 의미와 이러한 의미 변화에 큰 역할을 한 빅데이터의 개념 등의 이론적 고찰은 문헌 연구로 진행되며, 데이터 의미 변화에 따른 디자인 프로세스에서의 데이터의 역할에 대한 연구를  4단계로 정리하여  제시한다. 데이터 기반 디자인에서의 사례 연구를 통해  데이터를 창작의 재료로 활용하는 프로세스를 고찰하며 데이터 의미 변화에 따른 디자인 프로세스에서 데이터의 역할 변화를 개념적으로 설명할 수 있는 모형을 제시한다. 연구결과 데이터 역할 및 활용 방법의 변화로 디자인 프로세스에서 데이터를 활용할 수 있는 방향의 변화를 다음의 두 가지의 논점으로 제시하였다. 데이터 의미 진화 과정이 디자인 프로세스에 그대로 반영되어 디자인 프로세스의 변화를 이끌고 있으며, 이러한 데이터 활용의 변화가 사용자 참여 형태의 진화를 가져오고 있는 것이다. 결론 본 연구에서는 디자인 프로세스에 있어서 데이터 의미의 진화가 가져온 데이터 활용의 변화와 그 사례를 살펴보고 디자인 프로세스의 변화를 데이터의 관점에서 재정의 하였다. 본 연구는 추후 제품, 서비스 프로젝트에서의 데이터 활용 프레임웤을 제시할 수 있는 기반연구가 될 것으로 기대한다.

맵리듀스를 이용한 그리드 기반 k-NN 조인 질의처리 알고리즘

윤들녁,장미영,장재우 한국정보과학회 2014 데이타베이스 연구 Vol.30 No.2

Recently, MapReduce based query processing algorithms have been widely studied to analyze bigdata. K-nearest neighbor(k-NN) join algorithm, which aims to produce the k nearest neighbors ofeach point of a data set S from another data set R, has been considered most important in dataanalysis-based applications. However, the existing k-NN join query processing algorithm suffersfrom high index construction cost which makes them unsuitable for big data processing. Furthermore, to store data partitioning information, the existing algorithm utilizes R-tree which isnot useful in the distributed computing environment. To solve these problems, we propose a newgrid-based k-NN join query processing algorithm. First, to reduce the index construction cost, wedesign a dynamic grid index construction algorithm by considering data distribution. Second, toefficiently perform a k-NN join query in MapReduce, we devise a candidate cell retrieval andpruning method based on data signature. Therefore, our algorithm only retrieves neighboring datafrom the query cell and sends them as an input of MapReduce job. This can greatly reduce thedata transmission and computation overhead. In performance analysis, we prove that our algorithmoutperforms the existing work up to 3 times in terms of query processing time while our algorithmachieves high query result accuracy. 최근 대용량 데이터를 분석하기 위한 맵리듀스 기반 질의처리 알고리즘이 다양하게 연구되고 있다. 특히, k-NN조인 질의처리 알고리즘은 서로 다른 두 개의 데이터베이스 R과 S가 존재할 때, R의 모든 데이터에 대해 가장거리가 가까운 상위 k개의 S데이터를 탐색하는 알고리즘으로써, 데이터 마이닝 및 분석을 기반으로 하는 응용 분야에서 매우 중요하게 활용되고 있다. 그러나, 대표 연구인 보로노이 기반 k-NN 조인 질의처리 알고리즘은 보로노이 인덱스 구축 비용이 매우 크기 때문에, 업데이트가 빈번하게 발생하는 대용량 데이터에 적합하지 못하다. 아울러 보로노이 셀 정보를 저장하기 위해 사용하는 R-트리는 맵리듀스 환경에서의 분산 병렬 처리에 적합하지 않다. 따라서, 본 논문에서는 새로운 그리드 인덱스 기반의 k-NN 조인 질의 처리 알고리즘을 제안한다. 첫째, 높은 인덱스 구축 비용 문제를 해결하기 위해, 데이터 분포를 고려한 동적 그리드 인덱스 생성 기법을 제안한다. 둘째, 맵리듀스 환경에서 효율적으로 k-NN 조인 질의를 수행하기 위해, 인접셀 정보를 시그니처로 활용하는 후보영역 탐색및 필터링 알고리즘을 제안한다. 이를 통해, R의 각 데이터가 위치한 그리드 셀의 인접 셀만을 탐색하여 관련 데이터만을 맵리듀스의 입력으로 전송하기 때문에 데이터 입출력 및 연산 시간이 크게 감소하는 장점을 지닌다. 마지막으로 성능 평가를 통해 제안하는 기법이 높은 질의 결과 정확도를 보이는 동시에 질의 처리 시간 측면에서 기존기법에 비해 최대 3배의 높은 질의 처리 성능을 나타낸다.