빅데이터의 효과적인 처리 및 활용을 위한 클라이언트-서버 모델 설계

박대서(Dae Seo Park),김화종(Hwa Jong Kim) 한국지능정보시스템학회 2016 지능정보연구 Vol.22 No.4

최근 빅데이터 분석은 기업과 전문가뿐만 아니라 개인이나 비전문가들도 큰 관심을 갖는 분야로 발전하였다. 그에 따라 현재 공개된 데이터 또는 직접 수집한 데이터를 분석하여 마케팅, 사회적 문제 해결 등에 활용되고 있다. 국내에서도 다양한 기업들과 개인이 빅데이터 분석에 도전하고 있지만 빅데이터 공개의 제한과 수집의 어려움으로 분석 초기 단계에서부터 어려움을 겪고 있다. 본 논문에서는 빅데이터 공유를 방해하는 개인정보, 빅트래픽 등의 요소들에 대한 기존 연구와 사례들을 살펴보고 정책기반의 해결책이 아닌 시스템을 통해서 빅데이터 공유 제한 문제를 해결 할 수 있는 클라이언트-서버 모델을 이용해 빅데이터를 공개 및 사용 할 때 발생하는 문제점들을 해소하고 공유와 분석 활성화를 도울 수 있는 방안에 대해 기술한다. 클라이언트-서버 모델은 SPARK를 활용해 빠른 분석과 사용자 요청을 처리하며 Server Agent와 Client Agent로 구분해 데이터 제공자가 데이터를 공개할 때 서버 측의 프로세스와 데이터 사용자가 데이터를 사용하기 위한 클라이언트 측의 프로세스로 구분하여 설명한다. 특히, 빅데이터 공유, 분산 빅데이터 처리, 빅트래픽 문제에 초점을 맞추어 클라이언트-서버 모델의 세부 모듈을 구성하고 각 모듈의 설계 방법에 대해 제시하고자 한다. 클라이언트-서버 모델을 통해서 빅데이터 공유문제를 해결하고 자유로운 공유 환경을 구성하여 안전하게 빅데이터를 공개하고 쉽게 빅데이터를 찾는 이상적인 공유 서비스를 제공할 수 있다. Recently, big data analysis has developed into a field of interest to individuals and non-experts as well as companies and professionals. Accordingly, it is utilized for marketing and social problem solving by analyzing the data currently opened or collected directly. In Korea, various companies and individuals are challenging big data analysis, but it is difficult from the initial stage of analysis due to limitation of big data disclosure and collection difficulties. Nowadays, the system improvement for big data activation and big data disclosure services are variously carried out in Korea and abroad, and services for opening public data such as domestic government 3.0 (data.go.kr) are mainly implemented. In addition to the efforts made by the government, services that share data held by corporations or individuals are running, but it is difficult to find useful data because of the lack of shared data. In addition, big data traffic problems can occur because it is necessary to download and examine the entire data in order to grasp the attributes and simple information about the shared data. Therefore, We need for a new system for big data processing and utilization. First, big data pre-analysis technology is needed as a way to solve big data sharing problem. Pre-analysis is a concept proposed in this paper in order to solve the problem of sharing big data, and it means to provide users with the results generated by pre-analyzing the data in advance. Through preliminary analysis, it is possible to improve the usability of big data by providing information that can grasp the properties and characteristics of big data when the data user searches for big data. In addition, by sharing the summary data or sample data generated through the pre-analysis, it is possible to solve the security problem that may occur when the original data is disclosed, thereby enabling the big data sharing between the data provider and the data user. Second, it is necessary to quickly generate appropriate preprocessing results according to the level of disclosure or network status of raw data and to provide the results to users through big data distribution processing using spark. Third, in order to solve the problem of big traffic, the system monitors the traffic of the network in real time. When preprocessing the data requested by the user, preprocessing to a size available in the current network and transmitting it to the user is required so that no big traffic occurs. In this paper, we present various data sizes according to the level of disclosure through pre - analysis. This method is expected to show a low traffic volume when compared with the conventional method of sharing only raw data in a large number of systems. In this paper, we describe how to solve problems that occur when big data is released and used, and to help facilitate sharing and analysis. The client-server model uses SPARK for fast analysis and processing of user requests. Server Agent and a Client Agent, each of which is deployed on the Server and Client side. The Server Agent is a necessary agent for the data provider and performs preliminary analysis of big data to generate Data Descriptor with information of Sample Data, Summary Data, and Raw Data. In addition, it performs fast and efficient big data preprocessing through big data distribution processing and continuously monitors network traffic. The Client Agent is an agent placed on the data user side. It can search the big data through the Data Descriptor which is the result of the pre-analysis and can quickly search the data. The desired data can be requested from the server to download the big data according to the level of disclosure. It separates the Server Agent and the client agent when the data provider publishes the data for data to be used by the user. In particular, we focus on the Big Data Sharing, Distributed Big Data Processing, Big Traffic problem, and construct the detailed module of

빅데이터 공유 문제 해결을 위한 신경망 계층 데이터 공유 방안 연구

박대서(Park Dae Seo),김화종(Kim Hwa Jong) 한국통신학회 2018 한국통신학회 학술대회논문집 Vol.2018 No.1

야구 데이터 분석을 통한 데이터 축소 방안 연구

박대서(Park Dae Seo),김화종(Kim Hwa Jong) 한국통신학회 2016 한국통신학회 학술대회논문집 Vol.2016 No.11

뉴스 기사의 키워드 영향력 분석을 통한 맞춤형 기사 추천 방안 연구

박대서(Park Dae Seo),안두헌(Ahn Doo Heon),홍성은(Hong Seong Eun),김화종(Kim Hwa Jong) 한국통신학회 2017 한국통신학회 학술대회논문집 Vol.2017 No.6

TF-IDF 기반 키워드 추출에서의 의미적 요소 반영을 위한 결합벡터 제안

박대서(Dae-Seo Park),김화종(Hwa-Jong Kim) 한국정보기술학회 2018 한국정보기술학회논문지 Vol.16 No.2

Recently, there has been a brisk technological development to handle big data. In the past, finding exact information based on insufficient information was the key. Finding the right information in a lot of information is now becoming key. Finding the right information can help improve user satisfaction and improve performance. In this paper, a new method of keyword extraction is proposed by combining the traditional statistical-based method of keyword extraction with the semantic-based method of keyword extraction. Use TF-IDF and Word2vec to extract keywords. TF-IDF vectorizes news articles based on word frequency, and Word2vec vectorizes news articles on the basis of similarity score between words. Finally, keywords are extracted with a combined vector combination and the performance of this study is evaluated.

CNN을 이용한 음성 데이터 성별 및 연령 분류 기술 연구

박대서(Dae-Seo Park),방준일(Joon-Il Bang),김화종(Hwa-Jong Kim),고영준(Young-Jun Ko) 한국정보기술학회 2018 한국정보기술학회논문지 Vol.16 No.11

Research is carried out to categorize voices using Deep Learning technology. The study examines neural networkbased sound classification studies and suggests improved neural networks for voice classification. Related studies studied urban data classification. However, related studies showed poor performance in shallow neural network. Therefore, in this paper the first preprocess voice data and extract feature value. Next, Categorize the voice by entering the feature value into previous sound classification network and proposed neural network. Finally, compare and evaluate classification performance of the two neural networks. The neural network of this paper is organized deeper and wider so that learning is better done. Performance results showed that 84.8 percent of related studies neural networks and 91.4 percent of the proposed neural networks. The proposed neural network was about 6 percent high.

LSTM을 활용한 화자 성별 분류 기술 연구

박대서(Park Dae Seo),김화종(Kim Hwa Jong) 한국통신학회 2018 한국통신학회 학술대회논문집 Vol.2018 No.6

빅데이터 공유 활성화를 위한 시스템의 제안

박대서(Park Dae Seo),안두헌(Ahn Doo Heon),홍성은(Hong Seong Eun),김화종(Kim Hwa Jong) 한국통신학회 2016 한국통신학회 학술대회논문집 Vol.2016 No.6

광원을 내장한 펜의 출력광과 광 도파로의 광 결합을 이용하는 터치 패널 장치의 내부 광 결합 구조 설계

박대서,김대종,오범환,박세근,이일항,이승걸,Park, Dae-Seo,Kim, Dae-Jong,O, Beom-Hoan,Park, Se-Geun,Lee, El-Hang,Lee, Seung-Gol 한국광학회 2009 한국광학회지 Vol.20 No.2

본 연구에서는 광원을 내장하고 있는 포인팅 펜(pointing pen)의 출력광과 광 도파로 배열 사이의 광 결합을 이용하여 펜의 접촉여부와 접촉 위치를 검출하는 광학식 터치 패널 장치를 제안한다. 펜의 출력광과 광 도파로 배열 간의 광 결합을 최대화하고, 동시에 특정 광 도파로로 결합된 광속이 적은 손실로 전파할 수 있도록 하기 위해 광 도파로의 교차점 마다 부가적인 피라미드 구조를 삽입하였다. 광 도파로 단면의 크기가 $50{\times}50{\mu}m^2$인 경우 광선 추적법을 통해 결정된 피라미드의 최적 구조는 밑변의 폭, 높이, 경사각이 각각 $50{\mu}m$, $22.5{\mu}m$, $42^{\circ}$이었다. 이때 광 결합 효율은 97.8%이었으며, 전파손실은 평균적으로 0.3 dB/mm이었다. 그리고 펜의 기울어짐에 대한 허용 각도는 ${\pm}12^{\circ}$임을 확인하였다. In this paper, an optical touch panel device is newly proposed, with operating principle based on the optical coupling between a pointing pen having a built-in light source and perpendicularly crossed optical waveguide arrays. In order to enable an external light to couple into a waveguide core, the auxiliary pyramidal structures are introduced into all intersecting points located periodically along optical waveguides. The shape is optimized for minimizing the unwanted propagation loss due to the same structure by a ray tracing method. For the optical waveguide with the size of $50{\times}50{\mu}m^2$, the bottom width, height, and slope angle of the optimized pyramidal structure are $50{\mu}m$, $22.5{\mu}m$, and $42^{\circ}$, respectively. The optical coupling efficiency of about 97.8% and the average propagation loss of 0.3 dB/mm were achieved for the optimized touch panel. Finally, it is found from the tolerance analysis that tilting of the pen up to ${\pm}12^{\circ}$ can be allowed.

유한 반경의 시준 광속을 이용한 투명 매질의 두께와 굴절률의 동시 측정

박대서,오범환,박세근,이일항,이승걸,Park, Dae-Seo,O, Beom-Hoan,Park, Se-Geun,Lee, El-Hang,Lee, Seung-Gol 한국광학회 2009 한국광학회지 Vol.20 No.1

We propose a new measuring technique based on optical low-coherence reflectometry that enables us to determine the refractive index and the geometrical thickness of a transparent sample by one-time scanning only. By passing a collimated beam having a finite size through the edge of the sample, the refractive index and the geometrical thickness can be determined simultaneously from the comparison of interferograms generated by two kinds of reflected beams. In this study, a refractive index could be determined with the accuracy of $10^{-3}$, and its accuracy would be enhanced by using a more precise translator and a thicker sample. 본 연구에서는 저간섭성 반사계(Optical low-coherence reflectometry)를 이용하여 한 번의 측정으로 투명 시료의 두께와 굴절률을 동시에 측정하는 기술을 제안하였다. 제안된 방법은 유한 반경을 가진 시준된 광속을 시료의 경계 영역으로 입사시키는 것으로써, 시료가 있는 부분과 없는 부분으로부터 반사된 광속에 의한 간섭 무늬들을 한 번에 획득할 수 있다. 한번의 측정을 통해 얻어진 두 종류 간섭 무늬들의 상대적인 위치 차이를 이용하여 시료의 두께와 굴절률을 동시에 결정할 수 있었다. 굴절률의 정밀도는 이송장치의 위치 정밀도가 향상되고, 시료의 두께가 두꺼워 질수록 개선될 수 있으며, 본 실험에서는 약 $10^{-3}$의 정밀도로 굴절률을 결정할 수 있었다.