전산망의 분산처리 기술

하성룡 慶北專門大學(영주경상전문대학) 1999 慶北專門大學 論文集 Vol.17 No.-

소프트웨어 개발환경의 구조가 크게 변모함에 따라 종래의 TSS(Time Sharing System)에 의한 집중처리 환경에서 응답시간은 프로그램 생산성 향상에 큰 영향을 미치고 있음이 지적되고 있었으며, 이에 따라 생산성 향상을 위해 응답시간 단축이 요구되었다. 분산처리 환경은 이러한 문제를 경제적으로 해소할 수 있었으며, 워크스테이션의 풍부한 처리능력을 활용하여 개발자의 능력을 최고로 발휘할 수 있는 환경이 기대되고 있다. 이는 분산처리기술의 개방성을 지원하기 위한 분산처리 플렛홈으로 지원하기 때문에 LAN/WAN을 기반으로 하는 정보시스템 구축시 핵심기술로 사용될 전망이다. 분산처리에 가장 대표적인 표준기술인 OSF/DEC의 원격 프로시주어 호출(RPC: Remote Procedure Call) 기능을 이용하여 상호 연결하여 어플리케이션들을 좀더 쉽게 개발하고, 운영하기 위한 소프트웨어 툴 및 서비스 집합을 말한다. 따라서 다양한 시스템 플렛홈 상에서의 클라이언트/서브 분산 컴퓨팅 구축기술이 표준에 준수하며, 개방성을 지향할 때 이는 사용자의 생산성을 극대화하고, 전산 시스템의 비전을 향한 진화과정에서 가장 중요한 부분을 차지하리라 기대된다.

MongoDB 기반의 분산 침입탐지시스템 성능 평가

한효준,김혁호,김양우 한국정보처리학회 2019 정보처리학회논문지. 컴퓨터 및 통신시스템 Vol.8 No.12

Due to the development and increased usage of Internet services such as IoT and cloud computing, a large number of packets are being generated on the Internet. In order to create a safe Internet environment, malicious data that may exist among these packets must be processed and detected quickly. In this paper, we apply MongoDB, which is specialized for unstructured data analysis and big data processing, to intrusion detection system for rapid processing of big data security events. In addition, building the intrusion detection system(IDS) using some of the private cloud resources which is the target of protection, elastic and dynamic reconfiguration of the IDS is made possible as the number of security events increase or decrease. In order to evaluate the performance of MongoDB – based IDS proposed in this paper, we constructed prototype systems of IDS based on MongoDB as well as existing relational database, and compared their performance. Moreover, the number of virtual machine has been increased to find out the performance change as the IDS is distributed. As a result, it is shown that the performance is improved as the number of virtual machine is increased to make IDS distributed in MongoDB environment but keeping the overall system performance unchanged. The security event input rate based on distributed MongoDB was faster as much as 60%, and distributed MongoDB-based intrusion detection rate was faster up to 100% comparing to the IDS based on relational database. IoT, 클라우드 컴퓨팅과 같은 인터넷 서비스의 발전과 사용량의 증가로 인해 수많은 패킷들이 인터넷상에서 빠르게 생성되고 있다. 안전한 인터넷 사용 환경을 만들기 위해서는 이 수많은 패킷 중에 존재할 수 있는 악성 데이터의 빠른 처리가 이뤄져야 한다. 본 논문에서는 빅데이터 보안 이벤트의 신속한 처리를 위해 비정형 데이터 분석과 빅데이터 처리에 특화된 MongoDB를 침입탐지시스템에 적용하였다. 또한 보호 대상인 사설 클라우드의 일부 자원을 이용하여 침입탐지시스템을 구축함으로써 증가 또는 감소하는 보안 이벤트 수에 따라 탄력적으로 컴퓨팅 자원 재구성이 가능하도록 하였다. 본 논문에서 제안하는 MongoDB 기반 침입탐지시스템의 성능을 평가하기 위하여 MongoDB 기반의 침입탐지시스템과 기존의 관계형 데이터베이스를 기반으로 한 침입탐지시스템의 프로토타입을 구축하고 성능을 비교하였다. 또한 분산화 구성에 따른 성능 변화를 확인하기 위하여 가상머신의 수를 변경하며 성능 변화를 확인하였다. 그 결과 전체적으로 MongoDB 환경에서 동일한 성능의 시스템을 분산화시켜 가상 머신의 수를 증가시킬수록 침입탐지시스템의 성능이 향상되는 것을 확인하였다. 분산 MongoDB 기반의 보안 이벤트 저장 속도가 관계형 데이터베이스 기반에 비해 최대 60%, 그리고 분산 MongoDB 기반의 침입 데이터 탐지 속도가 관계형 데이터베이스 기반에 비해 최대 100% 빠른 결과를 얻었다.

SWOSpark : 분산 처리 기반 공간 웹 객체 검색 시스템

양평우,남광우 한국정보과학회 2018 정보과학회논문지 Vol.45 No.1

This study describes a spatial web object retrieval system using Spark, an in - memory based distributed processing system. Development of social networks has created massive amounts of spatial web objects, and retrieval and analysis of data is difficult by using exist spatial web object retrieval systems. Recently, development of distributed processing systems supports the ability to analyze and retrieve large amounts of data quickly. Therefore, a method is promoted to search a large-capacity spatial web object by using the distributed processing system . Data is processed in block units, and one of these blocks is converted to RDD and processed in Spark. Regarding the discussed method, we propose a system in which each RDD consists of spatial web object index for the included data, dividing the entire spatial region into non-overlapping spatial regions, and allocating one divided region to one RDD. We propose a system that can efficiently use the distributed processing system by dividing space and increasing efficiency of searching the divided space. Additionally by comparing QP-tree with R-tree, we confirm that the proposed system is better for searching the spatial web objects; QP-tree builds index with both spatial and words information while R-tree build index only with spatial information. 본 논문은 인 메모리 기반의 분산처리 시스템인 Spark를 이용하여 공간 웹 객체 검색 시스템을 구현한 논문이다. 소셜 네트워크의 발전은 방대한 양의 공간 웹 객체를 생성하게 되었고, 기존의 공간 웹 객체 검색 시스템을 이용한 데이터 검색이나 분석은 힘들어졌다. 최근에 분산처리 시스템의 발전은 대용량의 데이터를 빠르게 분석하고 검색하는 기능을 지원해준다. 따라서 대용량의 공간 웹 객체를 검색하기 위해서는 분산 처리 시스템을 이용한 방법이 필요하다. 분산 처리 시스템에서는 데이터가 블록 단위로 처리되고, 이러한 블록 하나를 Spark에서는 데이터를 RDD로 변환하여 처리한다. 본 논문에서는 위의 방법에 착안하여 전체 공간 영역을 기반으로 서로 겹치지 않는 공간영역으로 분할을 하고, 분할된 영역 하나당 하나의 파티션을 할당하고 각각의 파티션은 자신이 포함하고 있는 데이터에 대한 공간 웹 객체 인덱스로 구성하는 시스템을 제안한다. 즉, 본 논문에서는 공간 분할을 이용하여 분산처리 시스템을 효율적으로 이용하고, 분할된 공간에 대한 검색의 효율성을 높일 수 있는 시스템을 제안한다. 또한, 데이터의 검색을 위하여 공간 정보와 단어 정보를 같이 사용하여 인덱스를 구축하는 QP-tree를 적용한 방법과 공간 정보만을 이용하여 인덱스를 구축하는 R-tree를 적용한 방법과의 비교를 통하여 제안한 시스템이 공간 웹 객체의 검색에 더 우수한 성능을 보여주는 것을 확인할 수 있다.

Cassandra 기반 분산 처리 데이터베이스 시스템 설계 및 구현

홍승태,신영성,오병석,장재우 한국차세대컴퓨팅학회 2012 한국차세대컴퓨팅학회 논문지 Vol.8 No.2

최근 SNS의 발전과 더불어 급격히 증가하고 있는 대용량 데이터들을 효과적으로 활용하기 위해서는, 대용량 데이터에 대한 효율적이고 유연한 분산 처리 기술이 필수적이다. 그러나 기존의 관계형 데이터베이스는 데이터의 폭증 상황에 대한 QoS를 보장하기 어려운 단점이 존재한다. 따라서 본 논문에서는 SNS에서와 같은 대용량 데이터 서비스 지원 시 발생하는 기존 RDBMS의 문제점을 제시한다. 또한, 이러한 문제점을 해결하기 위해 Cassandra 기반 분산 처리 데이터베이스 시스템을 설계 및 구현한다. 아울러, 구현한 시스템을 SNS 프로토타입에 적용하여 HBase와의 성능비교를 수행한다. 마지막으로, 성능결과를 분석함으로써 구현한 시스템이 데이터 폭증 상황에 유연한 플랫폼임을 검증한다.

정상류하 침투·이류 분산 해석을 이용한 폐기물 해상최종처리장 차수시스템의 최적 성능 평가

황웅기(Woong-Ki Hwang),오명학(Myoung-Hak Oh),김태형(Tae-Hyung Kim),김향은(Hyang Eun Kim) 한국해안해양공학회 2018 한국해안해양공학회 논문집 Vol.30 No.2

본 연구는 정상류 조건에서 폐기물 해상최종처리장에서의 오염원의 누출 방지에 필요한 최적의 최소기준을 제안하기 위하여 각각 바닥 및 연직 차수시스템의 기본적인 차수공에 대하여 침투·이류 분산해석을 수행하였다. 연구 결과 바닥 차수시스템의 최소기준으로 투수계수 1 × 10<SUP>−6</SUP> cm/s 이하인 불투수성 지층이 두께 500 cm 이상이거나 이와 동등한 차수효과를 가진 차수시스템이어야 한다. 연직 차수시스템의 최소기준으로 투수계수 1 × 10<SUP>−6</SUP> cm/s 이하인 두께 50 cm 이상이거나 이와 동등한 차수효과를 가진 차수시스템을 설치하여야 한다. 또한, 연직 차수시스템은 바닥 차수시스템과 일체가 되어 차수기능을 발휘하도록 충분한 근입깊이가 필요하다. This study was conducted to propose the optimum minimum requirement of cutoff system composed of the impermeable soil layer and vertical barrier in offshore landfill for prevention pollution leakage by seepage, advection, and dispersion numerical analyses under steady state. According to the study results, the minimum requirement of impermeable soil layer is below 1 × 10<SUP>−6</SUP> cm/s of hydraulic conductivity with more than 500 cm thickness or a system with equivalent cutoff effect. The minimum requirement of vertical barrier is below 1 × 10<SUP>−6</SUP> cm/s of hydraulic conductivity with more than 50 cm thickness or a system with equivalent cutoff effect. In addition, the vertical barrier should be embedded enough to seal securely with the impermeable soil layer for working cutoff effect.

대용량 악성코드의 특징 추출 가속화를 위한 분산 처리시스템 설계 및 구현

이현종,어성율,황두성 한국정보처리학회 2019 정보처리학회논문지. 컴퓨터 및 통신시스템 Vol.8 No.2

기존 악성코드 탐지는 다형성 또는 난독화 기법이 적용된 변종 악성코드 탐지에 취약하다. 기계학습 알고리즘은 악성코드에 내재된 패턴을 학습시켜 유사 행위 탐지가 가능해 기존 탐지 방법을 대체할 수 있다. 시간에 따라 변화하는 악성코드 패턴을 학습시키기 위해 지속적으로 데이터를 수집해야한다. 그러나 대용량 악성코드 파일의 저장 및 처리 과정은 높은 공간과 시간 복잡도가 수반된다. 이 논문에서는 공간 복잡도를 완화하고 처리 시간을 가속화하기 위해 HDFS 기반 분산 처리 시스템을 설계한다. 분산 처리 시스템을 이용해 2-gram 특징과 필터링 기준에 따른 API 특징 2개, APICFG 특징을 추출하고 앙상블 학습 모델의 일반화 성능을 비교했다. 실험 결과로 특징 추출의 시간 복잡도는 컴퓨터 한 대의 처리 시간과 비교했을 때 약 3.75배 속도가 개선되었으며, 공간 복잡도는 약 5배의 효율성을 보였다. 특징 별 분류 성능을 비교했을 때 2-gram 특징이 가장 우수했으나 훈련 데이터 차원이 높아 학습 시간이 오래 소요되었다. Traditional Malware Detection is susceptible for detecting malware which is modified by polymorphism or obfuscation technology. By learning patterns that are embedded in malware code, machine learning algorithms can detect similar behaviors and replace the current detection methods. Data must collected continuously in order to learn malicious code patterns that change over time. However, the process of storing and processing a large amount of malware files is accompanied by high space and time complexity. In this paper, an HDFS-based distributed processing system is designed to reduce space complexity and accelerate feature extraction time. Using a distributed processing system, we extract two API features based on filtering basis, 2-gram feature and APICFG feature and the generalization performance of ensemble learning models is compared. In experiments, the time complexity of the feature extraction was improved about 3.75 times faster than the processing time of a single computer, and the space complexity was about 5 times more efficient. The 2-gram feature was the best when comparing the classification performance by feature, but the learning time was long due to high dimensionality.

집중형 분산처리시스템의 성능평가를 위한 퍼지 폐쇄형 BCMP 큐잉네트워크모델

추봉조,조정복,우종호,Choo, Bong-Jo,Jo, Jung-Bok,Woo, Chong-Ho 한국정보처리학회 2002 정보처리학회논문지 A Vol.9 No.1

본 논문에서는 네트워크환경에 따라 모호성을 갖는 집중형 분산처리시스템의 성능평가를 위해 퍼지이론을 적용한 퍼지 폐쇄형 BCMP 큐잉네트워크모델을 제안하였다. 이 모델은 퍼지요소들을 처리할 수 있는 퍼지평균값분석방법을 사용하여 작업소요시간, 시스템처리율, 시스템내 작업수 및 서버 활용율 등의 시스템 성능을 평가할 수 있는 측도를 유도하였다. 이들의 유효함을 검증하기 위하여 퍼지서비스요구시간을 갖는 집중형 분산 처리시스템에 클라이언트의 수의 변화에 따른 유도된 성능평가측도를 시뮬레이션하고, 그 결과를 고찰하였다. 제안된 모델은 모호성을 갖는 시스템의 성능을 평가할 때 기존의 방법보다 유연하고 실제적인 방법을 제공한다. This paper proposes the fuzzy closed RCMP queueing network model using fuzzy set theory for the performance evaluation of centralized distributed processing system with ambiguous system factors in the network environments. This model can derive the measures for system performances such as the job spending time, the system throughput, average job number and server utilizations using fuzzy mean value analysis which can process the fuzzy factors. Computer simulation has been performed centralized distributed system with fuzzy service requirement time for verifying the effectiveness of derived equations of performance evaluation according to the numbers of clients, and the results were analyzed. The proposed model provides more and flexible realistic than performance evaluation of conventional method when we evaluated system performance with ambiguous factors.

빅데이터 처리시간 감소와 저장 효율성이 향상을 위한 맵리듀스 기반 빅데이터 처리 기법 구현

이협건,김영운,김기영 한국융합학회 2018 한국융합학회논문지 Vol.9 No.10

맵리듀스는 하둡의 필수 핵심 기술로 하둡 분산 파일 시스템을 기반으로 빅데이터를 처리하는 가장 보편화되어 사용되고 있다. 그러나 기존 맵리듀스 기반 빅데이터 처리 기법은 하둡 분산 파일 시스템에 정해진 블록의 크기대로 파일 나눠 저장되는 특징으로 인해 인프라 자원의 낭비가 극심하다. 이에 본 논문에서는 효율적인 맵리듀스 기반 빅데이터 처리 기법을 제안한다. 제안하는 기법은 처리할 데이터를 사전에 맵리듀스에서 처리하기 적합한 데이터 형태로 변환 및 압축하여 빅데이터 인프라 환경의 저장 효율성을 증가시킨다. 또한 제안하는 기법은 저장 효율성을 중점으로 구현했을 때 발생할 수 있는 데이터 처리 시간의 지연 문제를 해결한다. MapReduce, the Hadoop's essential core technology, is most commonly used to process big data based on the Hadoop distributed file system. However, the existing MapReduce-based big data processing techniques have a feature of dividing and storing files in blocks predefined in the Hadoop distributed file system, thus wasting huge infrastructure resources. Therefore, in this paper, we propose an efficient MapReduce-based big data processing scheme. The proposed method enhances the storage efficiency of a big data infrastructure environment by converting and compressing the data to be processed into a data format in advance suitable for processing by MapReduce. In addition, the proposed method solves the problem of the data processing time delay arising from when implementing with focus on the storage efficiency.

그래프 기반 분산처리 시스템 트리니티를 이용한 서열 정렬 알고리즘

이준수,여윤구,노홍찬,윤영미,박상현 한국정보과학회 2014 데이타베이스 연구 Vol.30 No.1

Sequence alignment is one of the widely used tools in genomics. Recently, after NGS(NextGeneration Sequencing) technology was developed, the production of sequence read data increaseddramatically. A number of sequence alignment algorithms have been developed for processing theseNGS data. However, these algorithms are suffered from a trade-off between throughput andalignment quality, because there is a large computation cost for handling the repeat reads andpolymorphism. On the contrary, alignment algorithms with distributed system such as Hadoop andTrinity can obtain better throughput without compromising alignment quality than existingalgorithms on single machine. In this paper, we suggest SAG, sequence alignment algorithm basedon graph with in-memory distributed system, Trinity proposed by Microsoft. We transformedreference sequence into a graph form, and added new edge between adjacent node havingconnection possibility on graph. And we performed combination of sequence fragments in order tocandidates allowing polymorphism. Finally, we performed glocal alignment to find final results forthe obtained candidates. Our experimental results show that SAG better throughput with samequality or better quality than existing algorithms with Hadoop. We have also proved scalability thatwe obtained better throughput by simply adding machines. 유전체학(Genomics)에서 서열정렬은 가장 널리 사용된다. 차세대 시퀀싱(Next Generation Sequencing) 기술이 발전하면서, 최근 서열 리드 데이터의 양이 급격하게 증가했다. 급증한 차세대 시퀀싱 데이터를 처리하기 위한 서열정렬 알고리즘이 많이 개발되었다. 하지만 서열정렬 알고리즘들은 반복서열(repeat), 변이(polymorphism)를 처리하기 위해 많은 계산량을 요구한다. 그렇기 때문에 기존 서열정렬 알고리즘은 처리량(throughput)과 정렬품질(quality)사이에 트레이드오프(trade-off)가 존재한다. 하지만 분산처리 시스템Hadoop, Trinity에서 동작하는 정렬 알고리즘은 기존 싱글에서 동작하는 알고리즘에 비해 정렬 품질을 덜 희생하고, 더 높은 처리량을 얻을 수 있다. 본 논문에서는 Microsoft에서 제안한 그래프 기반 인-메모리(in-memory)분산시스템 트리니티(Trinity)에서 동작하는 서열정렬 알고리즘 SAG(Sequence Alignment Algorithm basedon Graph with Trinity)를 제안한다. 우리는 기존 참조 서열을 그래프 형태의 데이터로 변형 한 뒤, 그래프에서연결 가능한 인접한 노드에 새로운 간선을 추가했다. 그리고 변이(polymorphism)를 허용하는 정렬을 수행하기위해 서열조각들 사이의 조합을 통해 후보를 얻었다. 마지막으로 후보를 대상으로 glocal alignment를 수행해최종적인 결과를 찾았다. 실험을 통해 SAG는 기존 Hadoop에서 동작하는 알고리즘과 비교했을 때 비슷하거나더 좋은 정렬 품질조건과 동시에 상당히 높은 처리량을 얻었다. 또한 머신을 추가함으로써 더 좋은 처리량을 얻는확장성을 입증하였다.

Invariant 데이터를 이용한 순환처리를 지원하는MapReduce 기반 분산 데이터 처리 시스템

윤민,장재우,김형일,홍승태,최문철,조희승,최동훈 한국정보과학회 2013 데이타베이스 연구 Vol.29 No.3

Recently, interest in cloud computing which provides IT resources as service form in IT field is increasing. As a result, much research has been done on the distributed data processing that store and manage a large amount of data in many servers. However, the existing systems, such as Hadoop and HaLoop, have problems that do not provide iterative processing efficiently. Threfore,in this paper, we propose a new iterative processing system based on MapReduce. Our proposed system supoort automatic invariant data detection scheme for the layman who does not know MapReduce system. And in-memory caching algorithm in our system can improve the performance for iterative processing. Finally, we show from performance analysis that the proposed scheme greatly improve the performance of iterative processing than the existing systems. 최근 IT 분야에서 인터넷을 기반으로 IT 자원들을 서비스 형태로 제공하는 클라우드 컴퓨팅에 대한 관심이 증대되고 있으며, 이에 따라 대규모 데이터를 수많은 서버들에 분산 저장하고 관리하기 위한 분산 데이터 처리 기법에대한 연구가 활발히 진행되고 있다. 하지만, Hadoop 및 HaLoop 과 같은 기존 연구들은 반복적인 수행을 위한순환 처리 작업에 대해 효율적으로 지원하지 못하는 문제점이 존재한다. 이를 위해 본 논문에서는 비전문 개발자를위한 MapReduce 기반 순환 처리 기법을 제안(이하 Hadoop X)한다. 제안하는 기법은 비전문 개발자가 효율적으로순환 처리 응용을 사용할 수 있도록, invariant 데이터의 자동 검출 기능을 수행한다. 또한, 클러스터 환경의 가용메모리를 활용한 In-memory 캐싱을 수행함으로써, 순환 처리 과정에서의 캐싱 성능을 향상시킨다. 마지막으로 다양한 순환 처리 응용을 통한 성능평가를 수행함으로써, 제안하는 시스템이 기존 시스템보다 향상된 성능을 보임을입증한다.