A Performance Isolation Mechanism Based on Fuzzy Technique for Web Server Load Balancing

PARK, Bumjoo,PARK, Kiejin,KIM, Bongjun The Institute of Electronics, Information and Comm 2009 IEICE TRANSACTIONS ON COMMUNICATIONS - Vol.92 No.4

<P>In this study, a performance isolation mechanism based on a fuzzy control technique is developed in such a way that ambiguous situations caused when estimating the workload of cluster-based web servers, client request rates, and dynamic request rates can be represented effectively. The proposed mechanism involving a fuzzy-based technique is compared with a non-fuzzy technique in terms of the response time in the 95th percentile. Experiments showed that the proposed technique improves the performance of web servers that provide differentiated services.</P>

A Development of LDA Topic Association Systems Based on Spark-Hadoop Framework

( Kiejin Park ),( Limei Peng ) 한국정보처리학회 2018 Journal of information processing systems Vol.14 No.1

Social data such as users’ comments are unstructured in nature and up-to-date technologies for analyzing such data are constrained by the available storage space and processing time when fast storing and processing is required. On the other hand, it is even difficult in using a huge amount of dynamically generated social data to analyze the user features in a high speed. To solve this problem, we design and implement a topic association analysis system based on the latent Dirichlet allocation (LDA) model. The LDA does not require the training process and thus can analyze the social users’ hourly interests on different topics in an easy way. The proposed system is constructed based on the Spark framework that is located on top of Hadoop cluster. It is advantageous of high-speed processing owing to that minimized access to hard disk is required and all the intermediately generated data are processed in the main memory. In the performance evaluation, it requires about 5 hours to analyze the topics for about 1 TB test social data (SNS comments). Moreover, through analyzing the association among topics, we can track the hourly change of social users’ interests on different topics.

A Development of LDA Topic Association Systems Based on Spark-Hadoop Framework

Park, Kiejin,Peng, Limei Korea Information Processing Society 2018 Journal of information processing systems Vol.14 No.1

Social data such as users' comments are unstructured in nature and up-to-date technologies for analyzing such data are constrained by the available storage space and processing time when fast storing and processing is required. On the other hand, it is even difficult in using a huge amount of dynamically generated social data to analyze the user features in a high speed. To solve this problem, we design and implement a topic association analysis system based on the latent Dirichlet allocation (LDA) model. The LDA does not require the training process and thus can analyze the social users' hourly interests on different topics in an easy way. The proposed system is constructed based on the Spark framework that is located on top of Hadoop cluster. It is advantageous of high-speed processing owing to that minimized access to hard disk is required and all the intermediately generated data are processed in the main memory. In the performance evaluation, it requires about 5 hours to analyze the topics for about 1 TB test social data (SNS comments). Moreover, through analyzing the association among topics, we can track the hourly change of social users' interests on different topics.

네트워크 기반 컴퓨팅에서 주-백업 침입감내시스템의 생존성 분석

박기진(Kiejin Park),남궁미정(Mijung Namgung),박미선(Misun Park) 한국정보과학회 2004 한국정보과학회 학술발표논문집 Vol.31 No.2Ⅲ

고속 네트워크와 이질적인 자원의 결함으로 구성되어 보안에 취약할 수 밖에 없는 네트워크 기반 컴퓨팅 환경을 대상으로 내 외부적 공격이나 결함이 발생하더라도 중요한 서비스를 지속적으로 제공하여 시스템의 피해를 최소화하는 침입감내시스템(Intrusion Tolerant Systems)에 대한 연구가 활발하다. 본 논문에서는 주 백업 구조를 갖는 침입감내시스템 구조를 제안하였으며, 마코브 분석 (Markov Analysis)을 통해, 시스템 생존성을 정량적으로 정의하였다.

고가용성 Active / Active 클러스터 시스템의 설계

박기진(Kiejin Park),김성수(Sungsoo Kim) 한국정보과학회 2000 한국정보과학회 학술발표논문집 Vol.27 No.2Ⅲ

전자 상거래를 지원하는 클러스터 컴퓨팅 시스템은 장시간에 걸쳐 대량의 트랜잭션을 처리해야 하며, 빈번한 통신 두절 및 데이터 유실 가능성이 높기 때문에, 현재 이와 같은 시스템의 가용도를 개선 · 확보하기 위한 연구가 활발하다. 본 논문에서는 Active/Active 클러스터 시스템의 소프트웨어적인 결함 발생을 미연에 방지할 수 있는 능동적 결함허용 기법인 소프트웨어 재활(rejuvenation) 방법을 적용하여, 가용도 및 시스템 가동 중단으로 인한 손실비용을 계산하였으며, 이를 통하여 소프트웨어 재활을 하면 할수록, Active/Active 클러스터 시스템의 가용도와 손실비용이 모두 감소하는 추세에 있음을 확인하였다.

가용성이 높은 Cold Standby 클러스터 시스템의 성능 분석

박기진(Kiejin Park),김성수(Sungsoo Kim) 한국정보과학회 2001 정보과학회논문지 : 시스템 및 이론 Vol.28 No.3·4

고가용도 클러스터 시스템에서 가동되는 인터넷 기반 소프트웨어의 복잡도가 증가됨에 따라 소프트웨어의 설계, 구현, 또는 그 밖의 여러 가지 원인과 관련된 결함으로 인하여 시스템 서비스의 오동작 또는 수행 중단으로 이어지는 사례가 늘어나고 있다. 특히 대량 트랜잭션을 처리하는 인터넷 기반 컴퓨팅 소프트웨어는 빈번한 통신 두절과 데이타 유실로 인하여, 이들이 탑재된 클러스터 시스템의 결함 발생이 더욱 심각할 가능성이 높다. 본 연구는 소프트웨어 재활 결함 허용 기법을 활용하여, 별도의 추가되는 하드웨어 없이도 가용도를 개선할 수 있다는 “소프트웨어 재활 기법을 적용한 다중계 시스템 가용도 분석” 에 관한 논문에서 언급된 문제점들에 대한 해결 방안을 제시하였으며, 구체적으로는 1) 주서버의 고장 발생시 여분서버로의 작업전이(switchover) 상태를 클러스터 시스템 모델링에 포함시켰으며, 2) 작업전이 상태와 재활(rejuvenation) 상태에서 머무는 시간을 지수분포 대신에 k-stage Erlangian 분포를 사용하여 확정시간(deterministic time)을 표현할 수 있도록 하였다. 즉 본 논문에서는 고가용도 cold standby 클러스터 시스템의 운영 상태에 대한 상태전이도(state transition diagram)에서, 임의의 상태에서 머무는 시간분포가 memoryless 성질을 만족하지 않아도 되는 semi-Markov 프로세스 문제를 해결하였다. Due to the complexity of Internet based computing softwares in which have someundetected design or implementation faults, highly available cluster systems that run the software become unreliable or stop service frequently. Especially, because of the loss of communications or data, Internet based computing software that deals with massive transaction processing jobs may easily be unavailable. In this paper, we solve the specific problems left as the further research topics in our previous publication that demonstrates the possibility of availability improvement for multiplex systems using software rejuvenation method. Those are 1) we include the switchover state in our model to represent the role of the primary and backup server, 2) instead of using memoryless property to describing sojourn time distribution for a rejuvenation state and a switchover state, we use k-stage Erlangian distribution and then it becomes possible to give deterministic time for the sojourn time of rejuvenation or switchover. In other words, our state transition diagram for a highly available cold standby cluster systems consists of two kinds of states that are exponentially distributed sojourn time and deterministic sojourn time. This kind of problem is classified as the semi-Markov process.

결함 발생을 고려한 대규모 주문형 멀티미디어 서비스 시스템의 큐잉 네트워크 모델

박기진(Kiejin Park),김성수(Sungsoo Kim) 한국정보과학회 1999 정보과학회논문지 : 시스템 및 이론 Vol.26 No.3

멀티미디어 서비스 환경에서는 수백에서 수천의 클라이언트들이 하나의 서버에 접속되기 때문에 서버 결함이 미치는 영향이 상당히 크다. 이러한 결함은 단지 서버 자체의 장애로 끝나는 것이 아니라, 멀티미디어 서비스 환경 전체의 마비를 초래하여 서비스 이용자들에게 큰 불편을 끼칠 뿐만 아니라 그로 인해 서비스 제공자들에게 유형 · 무형의 막대한 재산상의 피해를 가져올 수 있다. 본 논문에서는 멀티미디어 서버를 구성하고 있는 자원(프로세서, 디스크, 네트워크)의 결함 발생을 고려한 큐잉 네트워크 모델을 개발하였다. 복수개의 M/M/1 큐를 큐잉 네트워크로 연결하여, 각 자원에 대한 접근 및 서비스를 모델링 하였으며, 각 자원에서의 서비스 시간 지연 비율(큐의 응답시간)의 조정을 통해서, 서버 자원의 결함 발생을 고려하였다. 고객 도착률과 자원 고장률 변동에 대한 서버 자원의 이용률과 큐의 길이를 구하여 효율적인 시스템 구성 자원의 부분별 용량을 산정 하였으며, 또한 데이타 패킷 응답 시간 분포 및 고장률 변화에 따른 시스템의 신뢰도 수준을 계산하였다. 이와 같은 서비스 시스템 성능에 관련된 파라미터 분석을 통하여 멀티미디어 데이타 서비스 수준(Quality of Service) 에 중요한 영향을 미치는 서버 설계 요소를 파악하였고, 시뮬레이션 패키지를 활용한 모의 실험을 통하여 개발된 큐잉 네트워크 모델의 정확성을 검증하였다. In multimedia service environment, especially for on-demand service, a fault in the multimedia server causes enormous influence on the thousands of clients connected to. It is not only harmful to the server itself but also brings about inconvenience to the users of the multimedia service. When a server stops operation during service hours, a service provider should be faced with tangible or intangible loss of property vastly. In tins paper, we design a queueing network model for large-scale multimedia-on-demand(MOD) service systems with failures of components(e.g., processors, disks and networks). In the model, we describe a request of resources in the server as a network of M/M/1 queues and a faulty status of the server as a delay of service time. When a fault occurs, the response time is increased in proportion to service delay factor. By acquisition of utilization and queue length parameters, we can estimate desirable capacity of server components with various arrival rates of customers and failure rates of components. For a given failure probability, we also compute packet delay probability and reliability of the server. It is possible to derive some important design information of the MOD server by using the above parameters. We validate the design of the queueing network model by comparison of the queueing result with the simulation output.

고신뢰성 차량 임베디드 컴퓨팅 시스템의 백업 최소화 방안

박기진(Kiejin Park),김광섭(Gwang-sub Kim),최석호(Seokho Choi) 한국신뢰성학회 2005 한국신뢰성학회 학술대회논문집 Vol.2005 No.6

대규모 주문형 멀티미디어 서비스 시스템의 큐잉 네트워크 모델 설계

박기진(Kiejin Park),정지영(Jiyoung Chung),김용규(Yongkyu Kim),박주용(Jooyong Park),김성수(Sungsoo Kim) 한국정보과학회 1998 한국정보과학회 학술발표논문집 Vol.25 No.1A

대규모 주문형 멀티미디어(Multimedia-On-Demand) 서버의 성능분석 및 용량계획(Capacity Planning)에 적용하기 위하여 멀티미디어 서비스 시스템의 큐잉 네트워크 모델을 제안하였다. 개발된 큐잉 네트워크 모델을 활용하여, 멀티미디어 서비스 질(Quality of Service)에 중요한 영향을 미치는 서버 설계 요소의 파악 및 고객 요구에 대한 비용 효율적인 멀티미디어 서비스 시스템의 용량 계획을 결정하고자 하였으며, 시뮬레이션 패키지를 활용한 모의 실험을 통하여 큐잉 네트워크 모델의 정확성을 검증하였다. 고객 도착률 변동에 대한 디스크, 네트워크 등과 같은 시스템 자원의 이용률과 큐의 길이를 계산하므로써 효율적인 시스템 구성 자원의 부분별 용량 산정이 가능하게 되었다.

소프트웨어 재활 기법을 적용한 다중계 시스템의 가용도 분석

박기진(Kiejin Park),김성수(Sungsoo Kim),김재훈(Jai-hoon Kim) 한국정보과학회 2000 정보과학회논문지 : 시스템 및 이론 Vol.27 No.8

고가용성 다중계 시스템의 소프트웨어 재활 기법은 시스템의 결함 발생 이후에 수동적으로 대처하기보다는 결함이 발생하기 전에 이를 미연에 방지하는 능동적 차원의 결함 허용 방법이다. 특히 멀티미디어 이동 컴퓨팅에서 사용되는 소프트웨어는 통신 단절, 데이터 유실 등으로 인한 노화 진행이 일반소프트웨어보다 상당히 빠르게 진행되기 때문에 소프트웨어 재활에 의한 결함 예방 방법은 대규모 멀티미디어 이동 컴퓨팅 시스템에 사용될 가능성이 높다고 볼 수 있다. 본 연구에서는 서버에서 수행되는 소프트웨어의 재활 주기, 재활 소요시간, 서버의 고장률, 수리률, 동시에 가동되는 서버의 수, 서버의 가동 기간 및 가동 방식 등의 시스템 운영 파라미터에 기초하여, 소프트웨어 재활 정책에 대한 평가를 위한 평형 상태에서의 확률, downtime, 가용도, 손실 비용 등을 계산하였다. 수학적 분석을 통해 구한 재활 모델의 closed-form 해는 다양한 시스템 운영 상태에 대한 실험을 통해 검증하였으며, 소프트웨어 재활을 통한 예방적 결함허용 기법의 적용 가능성이 높다는 것을 확인하였다. 또한 서버의 고장률 및 불안정률이 소프트웨어 재활 정책 결정에 중요한 요소임을 파악하였다. The software rejuvenation method for highly available multiplex systems uses a pro-active fault-tolerant approach to handle system failures. The software rejuvenation prevents failures from occurring, while the previous methods recover from failures after happening. Especially, since the software aging proceeds fast in the software used for the multimedia mobile computing due to the loss of communications or data, the preventive method from failures using software rejuvenation can be used for the multimedia mobile computing. In this paper, according to the operational parameters such as rejuvenation period, rejuvenation time, failure rate and repair rate of the servers, number of running servers, duration of running time, and type of running modes, we calculate steady-state probabilities, downtime, availability, and cost of the multiplex systems using software rejuvenation method. We validate the closed-form solutions of the mathematical model by experiments based on various operational parameters and find that the software rejuvenation method can be adopted as preventive fault-tolerant technique. The failure rate and unstable rate of the servers are essential factors for the decision making of the rejuvenation policies.