Development of Robust High Resolution PIV Analysis Method using Deep Learning = 심층학습을 이용한 고해상도 입자영상유속계 분석 방법 개발

국문 초록 (Abstract)

국문 초록

원자로 내부의 열수력 연구는 원자력 연구에서 매우 중요하고 노심 냉각제의 유동 특성은 원자력 발전의 성능 및 안전성에 큰 영향을 미치게 된다. 유동 가시화는 이와 같은 유동 특성 연구에서 연구자들로 하여금 유동에 대한 직관력을 가지게 해준다는 측면에서 중요하다. 이와 같은 유동 가시화 기술 중 입자영상유속계(Particle Image Velocime try : PIV)는 해당 유동에 대한 짧은 시간간격을 가진 연속된 두 장의 입자 이미지를 이용하여 유동의 속도장을 얻을 수 있는 기술로 널리 사용되고 있다.
일반적으로 입자영상유속계는 상호상관법(Cross Correlation Method)을 사용하고 이 방법은 상관영역(Interrogation window)이라 불리는 특정 영역 내에서 두 입자 이미지 사이의 최대 상관계수를 찾아 하나의 속도 벡터를 얻음으로써 최종 속도장을 결정 할 수 있다. 이와 같은 특징 때문에 상호상관법의 결과는 정확하고 신뢰성이 높지만 결과 속도 벡터장의 해상도가 입자 이미지의 해상도 보다 작게 되고 이로인하여 작고 복잡한 유동에 대해서는 분석의 한계점을 가지게 된다. 특히 원자력 열수력 분야에서는 핵 연료 사이의 좁은 공간을 지나가는 복잡한 유동을 다루는 경우에 대해서 고해상도의 결과를 요구하는 경우가 늘어나고 있기 때문에 고해상도 입자영상유속계 분석 방법의 개발이 필요하였다.
이와 같은 상호상관법의 한계점을 극복하기위한 방법 중 하나로 영상처리분야에서 널리 사용되는 광류 해석 기법이 있다. 광류 해석은 인접한 두 영상의 시간에 따른 화소의 명암 변화를 분석하여 움직임 정보를 추정하는 방식으로 Horn-Schunk 방법을 사용한다면 하나의 화소에 대해 하나의 벡터를 얻을 수 있고 이를 통하여 입자 이미지와 같은 해상도를 가지는 결과를 얻을 수 있다.
본 논문에서는 광류를 계산하기 위하여 심층 신경망을 사용하였다. 심층 신경망은 여러가지 복잡한 분제를 해결함에 있어 좋은 성능을 보여주었으며 특히 심층 신경망 중 컨볼루션 신경망(Convolutional Neural Network: CNN)은 최근 여러가지 영상처리 문제에서 뛰어난 성능을 보여주며 각광받아왔다.
플로우넷(FlowNet)은 이와 같은 컨볼루션 신경망을 이용하여 광류를 계산한 심층학습 코드로 Flying Chairs, MPI-Sintel 등과 같은 강체 움직임을 가진 물체 데이터셋들을 학습시키고 그 결과를 확인하는 일에 대해서 좋은 성능을 보여주었다. 또한 플로우넷에서 진화한 버전인 플로우넷2는 기존의 플로우넷의 구조를 쌓아서 만든 네트워크 구조를 가지며 이를 통해서 플로우넷에 비하여 좋은 결과를 보여주었다.
본 연구의 방법론의 기본은 이와 같은 플로우넷2 네트워크에 강체 움직임 데이터셋을 학습시키는 것이 아닌 입자영상유속계 입자 이미지를 학습시켜 이에 대한 결과를 확인하는 것이다. 컨볼루션 신경망은 많은 양의 데이터셋을 요구하기 때문에 실제 입자영상유속계 입자 이미지를 데이터셋으로 사용하기에는 무리가 있었고 PIVlab을 이용하여 합성 입자 이미지 데이터셋을 구성하였다. 이와 같이 입자영상유속계 분석에 심층학습 코드인 플로우넷 2를 도입함으로써 견고함과 빠른 계산 속도 그리고 고해상도의 결과를 얻는 것을 목표로 하고 있다.
본 논문의 주 내용은 이와 같은 플로우넷2를 이용한 입자영상유 속계 분석 방법을 개발하여 기존의 상호상관법의 단점으로 꼽혔던 저해상도의 결과와 작고 복잡한 유동에 대해서 좋지 못한 결과에 대해 개선하는 것이었다. 이를 위하여 플로우넷2를 이용한 방법론을 제시하였고 방법론들을 계속해서 개선하여 본 연구의 목표에 맞는 방법론을 찾아가는 과정을 중점적으로 다루었다.
가장 먼저 시도해본 방법론은 플로우넷2의 네트워크 구조를 그대로 사용하여 학습하고 결과를 얻어보는 시도였고 데이터셋 생산 방식에 따라서 2가지 방법론으로 나누어 학습 후 결과를 얻어보았다. 첫 번째 방법은 특정 유동을 상정하여 데이터셋을 생산하는 방식이었고 두 번째는 2차 다항식을 이용한 데이터셋 생산 방식이었다. 방법론에 대한 검증을 위하여 선형 유동, 회전 유동, 큰 와류 유동, 작은 와류 유동 총 4가지의 참조 유동에 대한 합성 입자 이미지 쌍을 사용하였다. 또한 정량적인 비교를 위하여 RMS 에러 및 R-square를 사용하였으며 이와 같은 검증을 통하여 본 연구에서는 두 번째 방식인 2차 다항식을 이용한 데이터셋 생산방식이 더 적합하다고 판단하였다.
다음으로는 이와 같이 결정 된 2차 다항식을 이용한 데이터셋 방법론을 본 연구의 목적에 맞게 개선하기 위하여 플로우넷2 네트워크 구조를 수정하는 시도를 진행하였다. 개선의 단계에 따라서 3가지의 방법론을 제시하였으며 입자영상유속계의 외곽 특성, 작고 복잡한 유동의 해석, 계산 시간 등을 고려하였다. 이와 같은 방법론들 역시 참조 유동에 대해서 검증을 진행하였으며 가장 개선된 방법인 방법 3의 결과에서는 고해상도의 결과를 기반으로 기존의 상호상관법의 결과와 비교해보아도 정확도 측면에서 비슷한 수준을 보여준다는 것을 알 수 있었다.
다음으로는 플로우넷2의 수정을 통한 3가지의 방법론 중 가장 개선된 모델에 대해서 매개변수 연구를 진행하였다. 매개변수는 모델의 정확도 및 표현력을 고려하여 4가지를 선정하였고 각 매개변수에 대해서 마찬가지로 참조 유동을 통하여 성능을 검증하였다. 이와 같은 매개변수에 대한 결과에서 정확도와 표현력을 고려하여 최종 모델을 선정하였고 마찬가지로 최종 모델에 대해서 참조 유동을 통한 결과를 얻어보았다. 최종 모델에서는 마찬가지로 고해상도의 결과를 바탕으로 상호상관법과 비슷한 수준의 정확도 및 작은 와류 유동과 같은 작고 복잡한 유동에 대해서 상호상관법의 결과보다 정량적, 정성적인 측면에서 개선된 모습을 보여주었다.
마지막으로 최종 모델을 이용하여 실제 입자영상유속계 입자 미지에 대한 분석을 진행하였다. 이를 위해서 속도장 개선방법을 도입하였는데 이 방법을 통하여 기존의 상호상관법의 결과를 보존함과 동시에 정확한 고해상도 속도장 결과를 얻을 수 있었다. 실제 입자영상유속계 입자 이미지는 제트 유동의 정보를 담고 있는 입자 이미지를 사용하였으며 최종 모델을 이용한 속도장 개선 방법의 결과는 기존의 상호상관법의 결과와 비교하였을 때 조금의 노이즈들이 발생하긴 하지만 고해상도의 결과를 바탕으로 구조들이 조금 더 선명해졌으며 상호상관법의 결과에서 나타난 계산 이상 치들이 나타나지 않았다.
본 연구에서 제안한 모델은 다양한 유동에 대한 검증을 통하여 실제 입자영상유속계 분석에 적용이 가능하며 기존의 상호상관법의 한계점으로 지적되었던 저해상도의 문제를 해결하였고 마찬가지로 상호상관법의 작고 복잡한 유동에 대한 부정확한 계산 결과를 어느정도 개선하였다고 말할 수 있다. 이를 통하여 원자로 노심 내부의 작고 복잡한 구조에서 유동을 분석을 진행함에 있어 본 연구에서 제안한 모델을 이용한다면 상호상관법을 이용한 분석과 비교하여 고해상도의 정확한 분석을 진행할 수 있고 원자로의 성능 및 안정성 평가에 기여할 것으로 예상한다.

주요어 입자영상유속계, 상호상관법, 광류해석, 컨볼루션신경망, 플로우넷, 고해상도

학번 : 2019-21272

다국어 초록 (Multilingual Abstract)

Abstract

Development of Robust High Resolution PIV Analysis Method using Deep Learning

Jun Sung Choi
Department of Energy System Engineering
The Graduate School
Seoul National University




Thermal hydraulic research of nuclear reactor is important in nuclear research, the flow characteristics of coolant in reactor core has a great influence on the performance and safety of nuclear power plant. Flow visualization plays an important role in flow characteristic research, because a various flow visualization techniques help the researchers to get a deeper insight into the complex flow. Among the flow visualization techniques, Particle Image Velocimetry (PIV) is a widely used as flow visualization technique, which can measure velocity components of flow field using the successive two tracer particle images in small time step.
In generally, the PIV use the correlation based method, which can obtain one velocity vector per the region by dividing each image frame into grids named interrogation window and determining maximum correlation coefficient. Although the correlation based method has the reliability, accuracy, and robustness, there are the limitation in small & complex flow because of low spatial resolution compared to the particle image. Especially in nuclear hydraulic research, the high resolution PIV analysis is required because of analysis of the narrow area between nuclear fuels and development of high resolution PIV analysis was needed.
Therefore, we adopted another practical way to overcome the limitation of correlation based method, it is optical flow techniques which have been development greatly for object detection in the computer vision community. Optical flow analysis is a method of estimating motion information by analyzing the change in brightness and darkness of pixels over time of two adjacent images and can obtain one vector per one pixel by using Horn-Schunk method.
In this paper, we are applying the deep neural network for optical flow estimation. The deep learning methods have been developed to solve complicated problems. Among the deep neural network, Convolutional Neural Network (CNN) have recently been very successful in a variety of computer vision tasks.
The FlowNet is Deep Learning code for calculating optical flow using rigid body motion dataset like Flying Chairs, MPI-sintel and shows good performance for these tasks. FlowNet2 is evolution version of FlowNet using stacking of FlowNet network architecture and shows better performance compared to FlowNet.
The basic concept of this research is to train particle image dataset rather than rigid body motion dataset in FlowNet2. In this work, we use a synthetic particle image dataset because it is difficult to get a large amount of real PIV experiment data and CNN requires very large amount of dataset. The purpose of this research is a robust, fast, high resolution PIV estimation by applying FlowNet2.
The main contents of this research is the development of PIV analysis method using FlowNet2 to overcome the limitation of correlation based method and the process of improving this methodology for research goal.
The first trial was to use the FlowNet2 network architecture as it is, and it was divided into two methodologies according to the dataset generation method. We selected 4 synthetic reference flows particle image pairs to validate proposed methodology and Reference flows is linear flow, rotation flow, large scale Rankine vortex flow, small scale Rankine vortex flow, and RMS_error & R_square is used for quantitative comparison of methodologies. Through these validation, we determined that dataset generation using second order polynomials was more suitable for this study.
Next, we tried to modify the FlowNet2 network architecture in order to improve the dataset methodology using second order polynomials for purpose of this study. 3 methodologies were proposed according to the stage of improvement and these 3 methodology established considering the boundary characteristic of PIV, analysis of small & complex flows, time of calculation. Validation is also conducted using reference flows, and it can be seen that the results of the most improved method among 3 methodologies show a similar level in terms of accuracy compared correlation based method based on the high resolution.
The parametric studies about the most improved method was conducted. 4 parameters was selected considering the accuracy & expressiveness of models and validation is also conducted using reference flows. The final model was determined by parametric studies and showed better results in quantitative and qualitative aspects for small & complex flows when compared to the correlation based method based on the high resolution.
Finally, the final model was used to analyze the real PIV particle image pair. To this analysis, a velocity refinement method was introduced. Through this method, the information of the correlation based method was preserved and accurate high resolution velocity fields were obtained. The real PIV particle image pair contains the information of the jet flow, and the refinement velocity field using the final model were compared with the correlation based method, although some noises occurred, but based on the high resolution results, the structures became a clearer and there are no calculation outliers in fields.
It was found that the proposed method in this research can be applied to real PIV analysis through validation for a various reference flows. And the proposed method overcame the limitation of low resolution pointed out as a limitation of the correlation based method. Also it can be said that there is improvement of an inaccuracy results for small & complex flows in proposed method. Through these improvement, the proposed method is expected to be able to analyze with high resolution and accurate analysis compared to the correlation based method in nuclear thermal hydraulic research.


Keywords
Particle Image Velocimetry (PIV), correlation based method, optical flow, Convolutional Neural Network (CNN), FlowNet, High Resolution

Student Number: 2019-21272

목차 (Table of Contents)

• Chapter 1. Introduction 1
• 1.1 Background and Motivation 1
• 1.2 Related Works 3
• 1.3 Objectives 4
• Chapter 2. Particle Image Velocimetry 8
• 2.1 Cross correlation based PIV 8
• 2.2 Optical Flow based PIV 9
• Chapter 3. Deep Learning for Optical Flow 12
• 3.1 Machine Learning 12
• 3.2 Deep Neural Networks 13
• 3.3 Convolutional neural network (CNN) 14
• 3.4 Deep Learning based Optical Flow: FlowNet 15
• Chapter 4. Deep Learning for PIV Analysis 23
• 4.1 PIV Analysis using Original FlowNet 23
• 4.2 Preparation of Training Data 24
• 4.2.1 Synthetic Particle Image Generation 24
• 4.2.2 Synthetic Particle Image Pairs from Specific Flow Patterns 25
• 4.2.3 Synthetic Particle Image Pairs from Second Order Polynomials 25
• 4.3 Training of Original FlowNet 26
• 4.3.1 Training Conditions 27
• 4.3.2 Reference Flow 28
• 4.3.3 Method 30
• 4.3.4 Results and Discussions 30
• 4.4 Modification of FlowNet Network 33
• 4.4.1 Method 1: Applying sub size evaluation 34
• 4.4.2 Method 2: Increase in size of resulting velocity fields 35
• 4.4.3 Method 3: Reduction of input particle images size 36
• 4.5 Comparisons of Deep Learning and Cross-correlation for PIV 37
• 4.6 Parametric Studies 39
• 4.6.1 Parameters 40
• 4.6.2 Results and Discussions 41
• 4.6.3 Final model 42
• 4.7 Analysis of Real Data Using Deep Learning 43
• 4.7.1 Velocity Refinement Method using Deep Learning 43
• 4.7.2 Result of Refined Velocity Field 44
• Chapter 5 Conclusion and Recommendations 103
• 5.1 Conclusion 103
• 5.2 Recommendations 104
• References 106
• Appendix A Direct Numerical Simulation(DNS) synthetic flow 109
• 국문 초록 114