http://chineseinput.net/에서 pinyin(병음)방식으로 중국어를 변환할 수 있습니다.
변환된 중국어를 복사하여 사용하시면 됩니다.
PCIe 불투명 브리지 기반 HDFS 저장 방식의 성능 분석
신동렬,고병현,지민재,김성현,임승호 한국차세대컴퓨팅학회 2020 한국차세대컴퓨팅학회 논문지 Vol.16 No.6
HDFS와 같은 분산 시스템은 다수의 노드를 인터커넥트 네트워크로 연결하여 클러스터로 구성한 HPC(High Performance Computing) 시스템이다. 이러한 시스템에서 인터커넥트 네트워크의 전송방식은 전체 시스템의 성 능에 미치는 영향이 크며, 분산 시스템의 연산 및 저장 방식에 많은 영향을 미친다. 최근, HDFS 시스템은 데이터 연산 및 저장 방식의 복잡화로 네트워크 부하와 노드의 연산 부하 분석을 통한 시스템 최적화가 필요하다. 본 논문 에서는 인터커넥트 네트워크와 HDFS 시스템의 안정성 보장 기법에 대한 다양한 방법의 시스템 성능 실험을 통해 서 HDFS 시스템의 병목현상을 분석해본다. 특히, 이더넷뿐만 아니라 PCIe NTB와 같은 RDMA(Remote Direct Memory Access) 방식의 인터커넥트 네트워크 기반의 HDFS 시스템에서 Erasure Coding 기법에 대한 성능 분 석을 함으로써, RDMA 전송 가능한 PCIe NBT 기반의 인터커넥트 네트워크에서 HDFS 시스템의 안정성 향상 및 성능 향상을 위한 해결 방안을 구상하였다. A distributed system such as HDFS is a High Performance Computing(HPC) system composed of a cluster by connecting a number of nodes through an interconnect network. In such a system, the Interconnect Network has a large effect on the performance of the entire system, and has a great influence on the storage operations of distributed system. Recently, the HDFS system is required to be optimized by analyzing the network load and the computational load of nodes due to the complexity of the data operation and storage method. In this paper, we have analyzed the bottleneck of HDFS system through system performance experiment of various methods in the aspect of the stability guarantee method of HDFS system. In particular by analyzing the performance of the erasure coding technique in the RDMA interconnect network-based HDFS system such as PCIe NTB as well as Ethernet a solution for improving the stability and performance of the HDFS system in the PCIe NTB-based interconnect network capable of RDMA transfer could be figured out.