VCS 상관블록의 TCP/IP 출력데이터의 무결성 검사 소프트웨어의 개발과 성능개선에 관한 연구

염재환,노덕규,오충식,정진승,정동규,오세진,Yeom, Jae-Hwan,Roh, Duk-Gyoo,Oh, Chung-Sik,Jung, Jin-Seung,Chung, Dong-Kyu,Oh, Se-Jin 한국융합신호처리학회 2012 융합신호처리학회 논문지 (JISPS) Vol.13 No.4

본 논문에서는 VLBI상관서브시스템(VLBI Correlation Subsystem, VCS)의 상관블록 TCP/IP 출력데이터의 무결성 검사를 위한 소프트웨어의 개발과 상관출력 데이터의 손실을 방지하기 위한 성능개선 방법에 대해 기술한다. VCS의 상관결과는 TCP/IP 패킷 통신으로 데이터아카이브(Data Archive)에 저장된다. 본 논문에서는 데이터아카이브에 저장된 상관결과의 무결성을 확인하기 위해 VCS의 TCP/IP 패킷 정보를 이용한 무결성 검사 소프트웨어를 개발하였다. 개발한 소프트웨어를 이용하여 3단계의 무결성 검사 과정을 제안하고, 상관처리 실험을 통하여 제안방법의 유효성을 확인하였다. 또한 VCS와 데이터아카이브 사이에는 최소 적분시간 이내에 TCP/IP 패킷 통신이 완료되어야 하지만, 짧은 적분시간에 다량의 패킷과 대용량 데이터로 인해 패킷 손실이 발생할 뿐만 아니라 상관결과의 무결성 문제에도 영향을 미치는 것으로 확인되었다. 본 논문에서는 TCP/IP 패킷 손실의 원인을 분석하고 VCS의 FPGA(Field Programmable Gate Array) 설계에 대한 수정방법을 제시하여 상관결과의 무결성 문제를 해결하고자 한다. In this paper, we described the software development for verifying the integrity of output data of TCP/IP for VLBI Correlation Subsystem (VCS) correlation block and proposed the performance improvement method in order to prevent the data loss of correlation output. The VCS correlation results are saved at the Data Archive system through TCP/IP packet transmission. In this paper, the integrity verification software is developed so as to confirm the integrity of correlation result saved at the data archive system using TCP/IP packet information of VCS. The 3-step integrity verification process is proposed by using the developed software, its effectiveness was confirmed in consequence of correlation experiments. In addition, TCP/IP packet transmission must be completed within minimum integration period. However, there is not only TCP/IP packet loss occurred but also the problem of correlation result integrity affected in account of a large quantity of packets and data during short integration time. In this paper, the reason of TCP/IP packet loss is analyzed and the modified methods for FPGA(Field Programmable Gate Array) of VCS are proposed, the integrity problem of correlation results will be solved.

Gluster 파일시스템을 이용한 상관자료 수집 시스템 구축 및 시험고찰

염재환,오세진,노덕규,정동규,황주연,오충식,김효령,Yeom, Jae-Hwan,Oh, Se-Jin,Roh, Duk-Gyoo,Jung, Dong-Kyu,Hwang, Ju-Yeon,Oh, Chungsik,Kim, Hyo-Ryoung 한국융합신호처리학회 2016 융합신호처리학회 논문지 (JISPS) Vol.17 No.2

본 논문에서는 대전상관기의 전체 성능을 달성하기 위해 새로운 방식의 상관자료 수집장치의 구축과 시험결과에 대해 소개한다. 최근 한국우주전파관측망(Korean VLBI Network, KVN)의 최대 관측규격인 8Gbps 속도의 관측이 수행되고 있으며, 대전상관기를 이용한 상관처리도 요구되고 있기 때문에 노후 장치를 대체하여 최대 상관처리 속도에 대응하기 위한 새로운 상관자료 수집장치의 도입이 필요하게 되었다. 대전상관기의 최대 상관결과 출력속도는 25.6ms 적분시간에 대해 초당 1.4GB/sec이다. 기존에 도입한 상관자료 수집장치는 대전상관기의 최대 상관출력 속도에 대응하지 못해 출력속도를 1/4로 제한하여 활용되었다. 즉, 대전상관기의 입력포트 4개 중에 관측속도 1Gbps에만 대응하도록 3개의 입력은 제한하였다. 이번에 도입한 장치는 스토리지 시스템에서 활용되고 있는 여러 최신의 기술 중에서 Gluster 파일 시스템을 사용하고 있으며, 대전상관기의 최대 출력속도인 1.4GB/sec를 만족하는 시험에서 광 출력 4개에 대해 각각 350MB/sec, 총 1.4GB/sec의 결과를 얻었다. In this paper, we introduce the implementation and test results of a new method of correlated result storage to achieve the full performance of the Daejeon hardware correlator. Recently, the observation of 8 Gbps speed, which is the maximum observational standard of KVN(Korean VLBI Network), has been performed. The correlation processing using the Daejeon hardware correlator is also required. Therefore, a new correlation result storage introduction has become necessary. The maximum correlation result output speed of the Daejeon hardware correlator is 1.4 GB/sec per 25.6 ms integration time. The conventional correlation result storage system can not cope with the maximum correlation output speed of the Daejeon hardware correlator, and the output speed is limited to 1/4. That is, among the four input ports of the Daejeon hardware correlator, the three inputs are limited to correspond to the observation rate of 1 Gbps. This new storage system uses the Gluster file system among many of the latest technologies used in storage systems. In tests that meet the maximum output rate of 1.4 GB/sec for the Daejeon hardware correlator, 350 MB/sec for each of the four optical outputs, resulting in 1.4 GB/sec in total.

VLBI 관측 데이터의 전송 알고리즘 개발과 서버와 RVDB 사이의 전송 시험

염재환,오세진,노덕규,정동규,오충식,윤영주,김효령,Yeom, Jae-Hwan,Oh, Se-Jin,Roh, Duk-Gyoo,Jung, Dong-Kyu,Oh, Chung-Sik,Yun, Youngjoo,Kim, Hyo-Ryoung 한국융합신호처리학회 2014 융합신호처리학회 논문지 (JISPS) Vol.15 No.4

본 논문에서는 전파천문학에서 초고속 전송망을 위한 관측 데이터의 전송 알고리즘의 개발에 대해 기술한다. 전파망원경으로 관측한 VLBI 데이터 처리를 위한 전처리 과정으로, 데이터 전송 알고리즘은 대용량 스토리지 서버에 저장된 VLBI 데이터를 대전상관기의 동기재생처리장치(RVDB)에 1대 1 방식으로 동작하며 VDIF 규격과 VDIFCP, UDP 프로토콜을 사용한다. 제안방법은 대전상관기의 동기재생처리장치의 데이터 전송을 기다리고 있으면 대용량 스토리지 서버의 Mark5B VSI 규격으로 저장된 2048 Mbps 급 VLBI 관측 데이터를 읽은 후 UDP로 전송하는 방식이다. 제안방법의 유효성을 확인하기 위해 대용량 스토리지 서버와 RVDB OCTADDB 사이에 실제 VLBI 관측 데이터를 전송하고 전송 전후의 데이터에 대해 상관처리 시험을 수행한 후 결과를 비교하였으며, 데이터 전송손실이 없이 전송 전후의 결과가 동일함을 확인하였다. 향후 본 연구에서 개발한 데이터 전송 알고리즘은 KaVA 네트워크에서 e-VLBI로도 유용하게 활용할 수 있을 것으로 기대한다. This paper describes the development of the observational data transmission algorithm for high-speed network in radio astronomy. For the preprocessing of VLBI data observed by radio telescope, data transmission algorithm uses the VDIF specification, VDIFCP, and UDP protocol by transferring VLBI data stored in a massive storage server with one-to-one correspondence between the server and the RVDB of Daejeon correlator. A transmission method is proposed, which reads the recorded data in Mark5B VSI format and trnasmits 2048 Mbps VLBI data by software through UDP packet transmission, while RVDB system is waiting for the transmitting data from the server. In order to check the effectiveness of the proposed method, the data transmission between the massive storage server and RVDB is conducted and the transmitted data is correlated by Daejeon correlator for the accurate comparison concerning the data before and after. The transmitted data is shown to be completely the same as the original data without any data transmission loss. Henceforth, the developed data transmission algorithm in this research is expected to be applied effectively as e-VLBI for KaVA network.

전파천문 관측데이터 분석을 위해 소프트웨어를 이용한 디지털필터 설계에 관한 연구

염재환,오세진,노덕규,오충식,정동규,신재식,김효령,황주연,Yeom, Jae-Hwan,Oh, Se-Jin,Roh, Duk-Gyoo,Oh, Chung-Sik,Jung, Dong-Kyu,Shin, Jae-Sik,Kim, Hyo-Ryoung,Hwang, Ju-Yeon 한국융합신호처리학회 2015 융합신호처리학회 논문지 (JISPS) Vol.16 No.4

본 논문은 전파천문 관측데이터 분석을 위해 소프트웨어를 이용한 디지털필터 설계방법에 대해 제안한다. 전파천문 관측시스템은 컴퓨팅 시스템의 발전과 함께 하드웨어에서 소프트웨어를 이용한 분석방법으로 넘어가는 단계이다. 기존 하드웨어로는 특정규격에 맞도록 설계 제작되었기 때문에 규격을 변경하는 것이 어렵고 제작에 많은 비용이 소요되지만, 소프트웨어는 규격 변경이 유연하고 공개 소프트웨어를 이용할 경우 저렴하게 설계할 수 있는 장점이 있다. 그러나 소프트웨어로 전파천문과 같이 많은 자료를 분석하기 위해서는 컴퓨터 시스템의 성능이 우수해야 하는 점도 있다. 본 연구에서는 한국우주전파관측망에서 운영하고 있는 관측시스템 중에서 하드웨어로 구성된 디지털필터와 같은 성능을 갖는 소프트웨어 디지털 필터 설계에 대해 제안한다. 제안 방법은 표준 C언어를 이용하여 디지털 필터를 설계하였으며, 설계한 디지털필터에 대해 GNU Octave로 시뮬레이션을 수행하여 유효성을 검토하였다. 또한 설계한 디지털필터의 고속연산을 위해 병렬연산이 가능한 SSE 라이브러리를 도입하였다. KVN 관측모드 중에 광대역 관측데이터를 대상으로 제안한 방법의 디지털 필터를 통하여 협대역 관측모드로 데이터 필터링을 수행하였다. 그 결과, 대역 내의 필터링이 설계대로 수행되었고 리플이 발생하지 않아, 제안방법이 유효함을 확인하였다. In this paper, we propose a design method for a digital filter using software in order to analyze the radio astronomy observation data. Recently the analysis method for radio astronomy observing system is transferring from hardware to software by developing of state-of-the-art of computer system. The existing hardware system is not able to easily change the specification because it is implemented to meet special requirements and it takes a high cost and time. In case of software, however, it has an advantage to implement with small cost if open software is used, and flexibly changes to satisfy the desired specification. But, in order to analyze the massive data like radio astronomy with software, the good performance system is needed for computer. Therefore, this paper proposes a digital filter design method using software with the same performance as that of digital filter implemented with hardware in observation system which is operated by the KVN(Korean VLBI Network). To design a digital filter, the proposed method is performed with standard C language and the simulation is conducted with GNU(GNU's Not Unix) Octave and investigated to show its effectiveness. In addition, for the high speed operation of the designed digital filter, the SSE(Streaming SIMD Extensions) library is adopted for available parallel operation. By the proposed digital filter, the digital filtering is performed for the wide band observation data in the KVN observation mode, the filtering result of narrow band observation has no ripple inside of stop band, and confirmed the effectiveness of the proposed method.

유효 비트수 확장을 이용한 대전상관기의 상관 정밀도 개선에 관한 연구

염재환,노덕규,오세진,오충식,정진승,정동규,윤영주,김용현,황철준,Yeom, Jae-Hwan,Roh, Duk-Gyoo,Oh, Se-Jin,Oh, Chung-Sik,Jung, Jin-Seung,Chung, Dong-Kyu,Yun, Young-Joo,Ozeki, Kensuke,Onuki, Hirofumi,Kim, Yong-Hyun,Hwang, Cheol-Jun 한국융합신호처리학회 2013 융합신호처리학회 논문지 (JISPS) Vol.14 No.4

본 논문에서는 대전상관기의 상관결과 정밀도 향상을 위해 FFT 모듈의 유효비트 확장에 관해 고찰한다. FPGA를 기반으로 하는 대전상관기는 데이터처리의 고속화를 위해 FFT 연산을 고정소수점으로 구현하였다. 그러나 상관결과에서 연산비트의 부족으로 인해 대역폭의 낮은 주파수 영역에서 위상의 0도 집중현상이 발생하고 있다. 이 현상은 관측천체를 분석할 때 위상 집중현상을 제외시키기 때문에 데이터 손실과 같은 효과를 주어 상관결과의 정밀도에 영향을 주고 있다. 따라서 상관결과의 정밀도 향상을 위해 FPGA의 주어진 리소스 범위 내에서 기존 FFT 모듈의 16비트 연산보다 비트수를 확장할 수 있는지에 대한 시뮬레이션을 수행하였다. 시뮬레이션 결과를 통하여 사용한 FPGA 리소스 범위 내에서 FFT 모듈의 유효비트 수는 확장할 수 있으며, FFT 모듈의 20-bit 연산비트가 실험결과의 비교를 통하여 상관결과의 정밀도를 향상시키는데 유효한 것으로 확인되었다. In this paper, we propose the effective bit expansion of FFT module for improving the accuracy of correlation result of the Daejeon correlator. The Daejeon correlator based on FPGA was implemented in order to fast data processing with the fixed-point of FFT operation. In correlation result, however, the phenomenon of phase concentration to 0 degree was appeared in lower frequency area of bandwidth due to lack of operational bit. This phenomenon has an affect on the accuracy of correlation result by introducing the effect of data loss because of excluding phase concentration during analysis of observed radio source. In order to improving the accuracy of correlation result we carried out the simulation by expanding bit-number than 16-bit operation of previous FFT module within given resource limits of FPGA. Through the simulation results, the effective bit number for FFT module within used FPGA resource limits is able to expand, and we confirmed that the operational 20-bit of FFT module is effective for improving accuracy of correlation result by comparing with experimental result.

최적 성능을 갖는 1 비트 자기상관기 개발에 관한 연구

염재환(Jae-Hwan Yeom),정구영(Goo-Young Jeong),노덕규(Duk-Kyu Roh),오세진(Se-Jin Oh),김광동(Kwang-Dong Kim),이창훈(Chang-Hoon Lee) 한국통신학회 2006 한국통신학회 학술대회논문집 Vol.2006 No.7

MARK5B 시스템을 이용한 전파천문 데이터 처리

오세진,염재환,노덕규,정현수,제도흥,김광동,김범국,황철준,정구영,Oh, Se-Jin,Yeom, Jae-Hwan,Roh, Duk-Gyoo,Chung, Hyun-Soo,Je, Do-Heung,Kim, Kwang-Dong,Kim, Bum-Koog,Hwang, Cheol-Jun,Jung, Gu-Young 한국천문학회 2006 天文學論叢 Vol.21 No.2

In this paper, we describe the radio astronomical data processing system implementation using Mark5B and its development. KASI(Korea Astronomy and Space Science Institute) is constructing the KVN (Korean VLBI Network) until the end of 2007, which is the first VLBI(Very Long Baseline Interferometery) facility in Korea and dedicated for the mm-wave VLBI observation. KVN will adopt the DAS (Data Acquisition System) consisting of digital filter with various function and 1Gsps high-speed sampler to digitize the radio astronomical data for analyzing on the digital filter system. And the analyzed data will be recorded to recorder up to 1Gbps data rates. To test this, we have implemented the system which is able to process 1Gbps data rates and carried out the data recording experiment.

상관결과 분석을 위한 CODA/FITS 변환 소프트웨어 개발

오세진,염재환,노덕규,오충식,정진승,정동규,Kawaguchi,O, Se-Jin,Yeom, Jae-Hwan,No, Deok-Gyu,O, Chung-Sik,Jeong, Jin-Seung,Jeong, Dong-Gyu 한국천문학회 2012 天文學會報 Vol.37 No.2

2010년 7월부터 한국천문연구원과 일본국립천문대가 공동으로 운영하고 있는 한일상관센터(KJCC)에는 최대 16관측국, 최고 속도 8Gbps, 8192출력채널의 성능을 갖는 한일공동VLBI 상관기(KJJVC)가 설치되어 운용되고 있다. 상관결과는 각 출력 채널별로 관측데이터의 비지빌리티 정보만을 보유하고 있기 때문에, AIPS 등의 천문분석 프로그램에서 활용하기 위해서는 변환작업을 수행해야 한다. KJJVC는 일본국립천문대의 FX 상관기에서 활용하고 있는 CODA(Correlated Output Data Analysis) 파일 시스템을 도입하여, KJJVC의 상관결과 후처리에 적합하도록 수정하였다. 이 CODA 파일 시스템은 관측과 상관처리시 필요한 여러 가지 파라미터 정보를 정렬하고, 상관결과인 비지빌리티 정보를 각 채널별로 정렬하여 파일 시스템을 구축한 것이다. 본 발표에서는 KJJVC에서 개발한 CODA 파일 시스템과 AIPS 등에서 분석에 활용할 수 있는 FITS 형식으로 변환하는 소프트웨어의 개발과 성능에 대해 간략히 소개한다.

RVDB와 대용량 서버 간의 직접 데이터 전송 알고리즘 개발과 시험에 관한 연구

노덕규,오세진,염재환,정동규,오충식,윤영주,김효령,Roh, Duk-Gyoo,Oh, Se-Jin,Yeom, Jae-Hwan,Jung, Dong-Kyu,Oh, Chung-Sik,Yun, Young-Joo,Kim, Hyo-Ryoung,Ozeki, Kensuke 한국천문학회 2014 天文學論叢 Vol.29 No.3

This paper describes the development of algorithm for direct data transmission between Raw VLBI Data Buffer (RVDB) and Huge Capacity Data Server (HCDS) operated in Korea-Japan Correlation Center (KJCC). The transmitted data is the VLBI observation data, which is recorded at each radio telescope site, and the data transmitting rate is varying from 1 Gbps, in usual case, upto 8 Gbps. The developed algorithm for data transmission enables the direct data transmission between RVDB and HCDS through 10 Gbps optical network using VLBI Data Interchange Format (VDIF). Proposed method adopts the conventional UDP/IP protocol, but in order to prevent the loss of data during data transmission, the packet error monitoring and data re-transmission functions are newly designed. The VDIF specification and VDIFCP (VDIF Control Protocol) are used for the direct data transmission between RVDB and HCDS. To validate the developed algorithm for data transmission, we conducted the data transmission from RVDB to HCDS, and compared to the transmitted data with the original data bit by bit. We confirmed that the transmitted data is identical to the original data without any loss and it has been recovered well even if there were some packet losses.

전파천문 상관처리를 위한 최적 코딩 방법에 관한 연구

신재식,오세진,염재환,노덕규,정동규,오충식,황주연,소요환,Shin, Jae-Sik,Oh, Se-Jin,Yeom, Jae-Hwan,Roh, Duk-Gyoo,Chung, Dong-Kyu,Oh, Chung-Sik,Hwang, Ju-Yeon,So, Yo-Hwan 한국융합신호처리학회 2015 융합신호처리학회 논문지 (JISPS) Vol.16 No.4

본 논문에서는 한일공동VLBI상관기를 위한 소프트웨어 상관기의 성능개선을 위해 공개된 라이브러리를 이용한 최적 코딩 방법에 대해 제안한다. VLBI 관측데이터를 상관처리하는 시스템은 관측국 수에 따라 계산량이 기하급수적으로 증기하기 때문에 일반적으로 ASIC 또는 FPGA를 이용하여 하드웨어로 구축한다. 하지만 최근에는 컴퓨터 성능의 발전에 따라 소프트웨어를 이용하여 클러스터와 같은 대용량 서버에서 구축하고 있다. 하드웨어로 구축한 VLBI 상관처리 시스템은 대부분 관측시간대비 준 실시간 또는 실시간으로 데이터처리를 수행하기 때문에, 소프트웨어 상관처리 시스템도 이와 같은 성능을 갖기 위해서는 코딩작업에서 데이터 처리를 최적으로 수행할 수 있어야 한다. 따라서 본 논문에서는 상관처리 시스템에서 가장 중요한 과정인 FFT 처리과정에서 공개된 fftw 라이브러리를 활용하여 최적코딩을 수행할 수 있도록 fftw 라이브러리를 이용한 일반적인 방법, SSE를 활용한 방법, 공유메모리를 사용한 방법, OpenMP를 활용한 방법, 그리고 제시한 것들을 병합한 방법을 적용한 경우에 대해 상관처리 실험을 수행하였다. 상관처리실험을 통하여 본 논문에서 제안한 fftw와 공유메모리, 그리고 OpenMP를 적용한 최적 코딩 방법이 상관처리 시간을 단축할 수 있어서 소프트웨어 상관기의 성능개선에 유효함을 확인하였다. In this paper, the optimum coding method is proposed by using open library in order to improve the performance of a software correlator developed for Korea-Japan Joint VLBI Correlator(KJJVC). The correlation system for VLBI observing system is generally implemented with hardware using ASIC or FPGA because the computational quantity is increased geometrically according to the participated observatory number. However, the software correlation system is recently constructed at a massive server such as a cluster using software according to the development of computing power. Since VLBI correlator implemented with hardware is able to conduct data processing with real-time or quasi real-time compared with mostly observational time, software correlation has to perform optimal data processing in coding work so as to have the same performance as that of the hardware. Therefore, in this paper, the experimental comparison was conducted by open-source based fftw library released in FFT processing stage, which is the most important part of the correlator system for performing optimum coding work in software development phase, such as general method using fftw library or methods using SSE(Streaming SIMD Extensions), shared memory, or OpenMP, and method using merged techniques listed above. Through the experimental results, the proposed optimum coding method for improving the performance of developed software correlator using fftw library, shared memory and OpenMP is effectively confirmed by reducing correlation time compared with conventional method.