Optical Flow 기반 무인 매대 물품 추적 알고리즘 고도화

유민규 성균관대학교 일반대학원 2024 국내석사

본 논문에서는 Optical Flow를 이용하여 제한적 환경인 에지 디바이스에서 객체 추적의 성능 및 속도를 개선하는 방법을 제안하고, 이를 실제로 무인 판매 시스템에 적용하는 것을 목표로 한다. 무인 판매대를 사용하는 실제 환경에서는 판매하려는 물품이 사람에 의해 가려지거나, 밑으로 떨어뜨려 너무 빠른 속도로 변화가 생기는 등 다양한 원인으로 인해 일반적인 객체 탐지 및 추적 알고리즘만으로는 탐지 및 추적에 실패하는 경우가 많다. 이를 보완하기 위하여 많은 연구가 진행되고 있고, 본 연구에서 사용한 무인 판매 시스템은 Deep SORT와 few-shot 기반의 VOS 모델인 LWL을 추가로 사용하였다. 하지만 이렇게 알고리즘을 추가하여 보완해도 커버하지 못하는 경우가 있고, 그 과정에서 너무 많은 연산이 필요하게 되어 속도가 너무 느려져서 기술을 실제로 사용하기에는 어려움이 있었다. 본 논문에서는 Optical Flow를 이용하여 이러한 문제를 해결할 수 있는 방법을 제안한다. 물품을 추적하는 과정에서 Deep SORT와 LWL 각각에 Optical Flow를 적용한다. 제안하는 방법을 이용하면, 물품 탐지 및 추적 성능을 보완하면서 속도 문제 역시 개선할 수 있음을 확인할 수 있다. In this paper, we propose a method to improve the performance and speed of object tracking in edge devices in a limited environment using Optical Flow and aim to apply it to an unmanned sales system. In a real-world environment using an unmanned sales stand, detection and tracking with general object detection and tracking algorithms alone often fail due to various reasons, such as the object being covered by a person or falling down and changing its location too quickly. To compensate for this, many studies are being conducted, and the unmanned sales system used in this study additionally used Deep SORT and LWL, a VOS model based on few-shot. However, even if an algorithm is added and supplemented like this, there are cases where it cannot be covered, and in the process, too many operations were required, making it difficult to actually use the system because the speed was too slow. In this paper, we propose a method to solve this problem using Optical Flow. We apply Optical Flow to Deep SORT and LWL each in the process of tracking objects. Using the proposed method, it can be confirmed that the speed problem can also be improved while complementing the product detection and tracking performance.

(An) integrative approach to pedestrian detection based on sparse optical flow and convolutional neural network model

최호식 Graduate School, Yonsei University 2023 국내석사

Visual information plays a very important role in interacting with the real world. In the field of computer science, image processing algorithms inspired by human visual information systems have been widely studied. Traditional research topics include optical flow algorithms, which extract a motion vector between images using brightness constancy assumptions, and Histogram of Gradient (HOG) algorithms that detect objects by learning the boundary values of pixels. State-of-the-art, deep learning techniques in artificial intelligence research mimic neural structures in the human brain, and are an area of active development. However, small computers such as Micro Controller Unit (MCU) and Internet of Things (IOT) devices in industry create computational time restrictions to utilizing the state-of-the-art techniques. In this dissertation, a light-weight object detection algorithm is designed to perform efficiently, even in situations where computer performance is limited. It reduces the computational load and increase the object detection performance by combining the existing traditional techniques and the latest techniques. Rather than using the entire state-of-the-art deep learning model, optical flow vectors are calculated to estimate moving objects in the beginning of the detection process. Then, in the last phase of the algorithm, machine learning and neural network models including deep learning are applied to extract image features for object classification. The proposed method begins by introducing proposed feature point reset function, moving window and target estimator function based on the Lucas-Kanade method for sparse optical flow estimation. These functions improve performance when tracking moving objects and reduce computational time greatly. Next, it classifies the moving objects in the area extracted from the proposed optical-flow-based algorithm. When applying learning-based classification models, training data is a very important factor for the performance of the learning models. Training data relationships and confirmed coverage effects are determined among datasets by performing experiments to evaluate test datasets. In the end, a HOG+SVM machine learning model, You-Only-Look-Once version 5 (YOLOv5), and simple CNN-based Small Person Detection (SPD) deep learning models are used to classify the moving objects with the optical-flow-based algorithm. A learning-based classification model is applied to the object-existing Region of Interest (ROI) which is extracted from the optical-flow-based model. The optimal parameters are found by adjusting the crop size and resize ratio parameters according to the size of the ROI. Proposed CNN-based deep learning model SPD is operated on the proposed separated ROI method which is pre-process step. ROI is separated according to threshold of aspect ratio from the experiment analysis. Object detection performance such as FPS, recall, and precision are compared for the machine learning technique the HOG+SVM, HOG Multi-scale, OF+HOG+SVM, YOLOv5n, OF+YOLOv5n models, and the proposed deep learning technique OF+SPD model. The comparison results shows better performance in computational speed and object detection performance for proposed detection algorithm. This work presents a pedestrian detection algorithm having high computational speed through sparse optical flow and a lightweight CNN-based neural network model. First, it employs an object localization function with a moving window detector, which mitigates the flaws of the sparse optical flow. Next, an SPD neural network model consisting of fewer CNN layers performs object classification. A performance comparison evaluation experiment of the proposed method was conducted upon a CPU device, which showed good detection performance and faster computation speed compared to existing object detection algorithms. This indicates that the proposed pedestrian detection algorithm could be applied using only a CPU device without the need for an expensive GPU device. The proposed algorithm can serve as an economic and efficient algorithm for real-time pedestrian detection in industrial areas where low-performance computing devices need to be used.

CHT와 Voting 누적 기반 Optical Flow를 이용한 개선된 움직임 정보 평가

장민혁 조선대학교 대학원 1991 국내박사

Motion estimation, which may refer to image-plane motion estimation, is one of the fundamental problems in digital video processing. Indeed, it has been the subject of much research effort. In short, motion estimation is very important for dynamic scene analysis such as 3D-object reconstruction, object tracking, robot navigation etc. One way to find 3D motion information is to get its perspective projection on the image plane. This is usually called "velocity field", and represents the apparent velocity of the image pixels from one frame to another frame. One of the most notable approaches to find velocity field is based on the estimation of a measure of the change of image brightness in the frame sequence commonly referred to as Optical Flow. Optical flow represents an approximation of the velocity field, which is a purely geometric concept. In many applications Optical Flow is a sufficient approximation of the velocity field and can be reasonably employed in its place. Different approaches for Optical Flow estimation exhibit different behavior with respect to discontinuities and for different types of motion. Two most popular approaches of Optical Flow are regularization- based, and multi constraint-based approaches. Regularization-based approaches consider velocity field estimation as an ill-posed problem. Solutions are obtained by minimizing a function where a smoothness constraint is appropriately weighted to regularize the solution. Usually, these methods lead to iterative solutions and the velocity is evaluated a t every point of the image. Drawbacks of these approaches are that difficulties occur at the regions of object occlusions. Further the depth of propagation of the field depends on the number of iterations used and on the weighting factor of the regularizing. Multi constraint-based approaches of Optical Flow are based on the principle that it is possible to define a set of constraint equations for the point under consideration. This s e t of equations is usually solved by numerical methods. Traditional numerical methods, like the least-squares technique, are averaging methods, and are thus susceptible to errors in cases of occlusion and of noise. Another drawback of these Optical Flow based methods is that the detected motion boundary is not precise because motion is not usually homogeneous near the motion boundary. Furthermore, the object contour is not determined when the motion of the object is similar to that of its neighborhood. Therefore, several methods have been proposed which use not only Optical Flow but also other information such as color and edges. Optical flow estimation based on multi constraint approaches is frequently used for recognition of moving objects. Numerical methods or least squares techniques are usually used to solve the set of constraint equations for Optical Flow. These traditional Optical Flow methods are mostly averaging methods, and are susceptible to error in the cases of occlusion and of noise. Two moving objects having common border causes confliction in the velocities, and taking their averages yields a less satisfactory Optical Flow estimation. Noise also enhances the error in averaging methods. The wrong detection of moving boundary, as motion is usually not homogeneous and the inexact contour measurements of moving objects are the other problems of Optical Flow methods. Therefore, information such as color and edges along with Optical Flow has been used in the literature. Our multi-constraint based Optical Flow algorithm along with the Sobel edge detection is used for finding motion information in the image sequences. In this method, we first find the locations and areas of the moving objects in the input image sequence, so that we can reduce the computational time for Hough Transform and voting accumulation to find the optimal constraint lines for Optical Flow estimation. The Sobel edge detector is applied on the two input image sequence, and then find the location of moving objects by taking the binary difference of the two edge maps. After dilating the resulting difference image gives us the areas of possible moving objects. In this process, we also get the erroneous moving objects due to noise. We removed these erroneous moving objects by thresholding the possible moving objects. The moving objects, which have considerable area (count the number of pixel in the segmented moving objects), are called the real moving objects. After finding the real moving objects, we separately find the Optical Flow in those areas to estimate the direction of moving objects. We calculate orientation angles for the every tracked object in the two images. From the difference of the angles of orientation of the individual moving object in the two consecutive images, we can find the direction of the velocity vector of the moving objects. The centers of gravity of the moving objects are also found. For velocity vector, we need information about the direction and the magnitude of the vector. From the difference of the two orientation angles of the same moving object, we can find the direction of the velocity vector. For calculating the magnitude of the velocity vector, the Euclidean distance of the two centers of gravity is measured. From the difference of the orientation angles, and Euclidean distance of the centers of gravity, we can find the velocity vectors of the moving objects The simulation results show that the proposed method is very effective for extracting Optical Flow vectors and hence recognizing moving objects in the images. After finding the total motion trajectory of a moving object, we divide the time scale into smaller divisions. We plot the trajectory of moving object against the time.

Effects of Optical Flow on Cybersickness in a Fixed-Based Flight Simulator

김지원 숭실대학교 대학원 2021 국내석사

Mobile robots의 속도제어 및 위치추적을 위하여 Kalman filter와 optical flow를 사용한 이미지 특징점 매칭

모도일 성균관대학교 일반대학원 2015 국내석사

본 논문에서는 이동로봇으로 물체의 위치를 탐색하고 추적하기 위해서 Kalman Filter와 Optical Flow를 사용한다. 단순히 Optical Flow만을 사용해서 물체의 위치를 추적할 경우, 여러 가지 오차가 발생 할 수 있다. 이에 Kalman Filter를 사용해서 초기값을 설정해 준 다음, 이를 Optical Flow에 적용시켜 이미지의 특징점(feature point)을 결정한다. 따라서 본 논문에서는 Optical Flow의 three step methods를 사용해서 이미지의 특정점을 찾아내고, RANSAC(Ransom Sample Consensus)을 통해서 물체의 outlier를 제거해 보다 선명한 이미지의 특징점을 결정한다. 위의 Kalman Filter와 Optical Flow를 합성함으로써, 이동로봇이 물체의 위치를 정확하게 파악하고 추적 할 수 있다.

메모리 대역폭이 감소된 다중 프레임 레이트 옵티칼 플로우

성한수 서울대학교 대학원 2015 국내박사

최근 high frame rate camera의 비약적인 발전으로 이미 4K 1000FPS camera가 출시되었고 휴대폰에서도 1080P 240FPS를 지원하고 있다. Camera의 Frame rate 증가는 optical flow의 구현에 시사하는 바가 큰데, 그 이유는 frame rate이 올라갈수록 frame 간의 움직임 크기가 줄어들기 때문이다. 그 동안 큰 움직임에 대한 부정확한 optical flow 문제를 해결하기 위해서 다양한 알고리즘이 사용되어 왔지만, 이로 인한 computation의 증가 또는 알고리즘 dependency로 인해 늘어난 연산 시간은 real-time operation에 제약으로 작용한다. 하지만 camera의 frame rate이 올라가면 모든 움직임들은 이에 반비례해서 작아지므로, 결국 high frame rate camera는 간단한 알고리즘으로 정확한 optical flow를 얻을 수 있는 길을 열고 있다. 본 논문은 accurate real-time optical flow의 구현을 위해서 multi-frame rate and multi-scale optical flow 알고리즘을 제안한다. High frame rate camera를 이용한 multi-frame rate and multi-scale optical flow 알고리즘은 real-time optical flow의 hardware 구현에 적합하도록 iterative calculation없는 알고리즘이다. Multi-frame rate 알고리즘은 다양한 frame rate의 optical flow를 연산하고 서로간의 연관관계를 이용하여 slow motion 뿐만 아니라 high motion에 관해서도 optical flow 결과를 얻게 함으로써 측정 가능한 움직임을 확장시킨 알고리즘이다. 이 알고리즘은 frame rate 증가에 따른 시스템 연산량 증가를 기존 연구의 O(n)에서 O(log n) 수준으로 감소시킴으로써 system performance에 의한 제약을 크게 줄인다. Multi scale 알고리즘은 high frame rate system을 위한 full density 지원 알고리즘이다. 또한 본 논문에서는 frame rate의 증가에 따른 external memory access bandwidth 증가 문제를 풀기 위해서 spatial & temporal bandwidth reduction 알고리즘을 제안한다. 이 방법은 기존 LK optical flow알고리즘의 연산 순서를 바꾸고, iterative sub-sampling scheme, temporal Gaussian tail cut 그리고 frame reuse 등 다양한 방식의 알고리즘들을 제안함으로써 high frame rate system의 external memory access bandwidth를 감소시킨다. 마지막으로 Multi-Frame rate and multi-scale optical flow 알고리즘의 Multi-scale 구조의 hardware 의 구현 시 multiplier의 개수를 mxm크기의 윈도우처리를 위해 m개의 multiplier를 이용해서 convolution방식으로 구현하던 기존의 방법을 윈도우의 크기에 상관없이 2개의 multiplier로 mxm multiplication을 구현하는 방식을 제안한다. 이 방식을 기반으로 multi frame rate과 multi-scale의 hardware architecture를 제안하고 single level LK optical flow의 fpga구현을 통해서 제안한 architecture의 hardware 동작을 검증한다. 이상의 과정들을 통해서 accurate real-time optical flow system을 위한 multi-frame rate and multi-scale optical flow의 알고리즘 제안부터 architecture 검증까지의 연구를 진행한다.

Mesoscale Eddy Variability from Lagrangian Coherent Structure of Satellite Sea Surface Current Field

김희영 서울대학교 대학원 2023 국내박사

전구 해역 어디에서나 볼 수 있는 중규모 소용돌이는 수평 규모가 ~100km인 회전 구조로, 몇 주에서 몇 달 동안 유지되며 해양 운동 에너지의 상당 부분을 저장한다. 코히어런트 구조는 내부의 수괴가 형태를 유지하며 주변 흐름과의 체적 교환 없이 먼 거리를 운반한다는 특징을 가진다. 해류장으로부터 코히어런트 에디와 와류를 탐지하는 방법으로는 크게 두 가지 방법이 있다. 먼저 altimeter와 같은 위성의 스냅샷 영상으로부터 에디의 경계부를 찾는 Eulerian 방법이 있고, 다른 하나는 일정한 시간 동안 입자를 따라가며 코히어런트 구조를 탐지하는 Lagrangian 방법이 있다. 순간적인 해수면 정보를 이용하여 에디를 탐지하는 Eulerian 방법과는 달리 Lagrangian 방법은 적분 시간 동안 동일한 부피로 움직이는 구조를 추적하기 때문에 코히어런트 구조를 탐지하는데 더 적합하다. 따라서 본 연구에서는 Lagrangian 관점에서 코히어런트 구조를 추적하기 위해 LAVD (Lagrangian Averaged Vorticity Deviation) 방법을 도입하여 1993년부터 2020년까지 장기간에 걸쳐 지구 와류의 변동성을 분석하였다. 위성 데이터로 구축된 28년간의 표층 해류장을 활용하여 전지구 해역의 중규모 소용돌이의 변동성을 조사하였고, 생성된 LAVD 맵으로부터 중규모 코히어런트 구조를 명확하게 탐지하였다. 본 논문에서는 cyclonic과 anti-cyclonic을 구분하기 위해 새롭게 고안한 계산법을 통해 전구 해역에 분포하는 중규모 소용돌이의 polarity 특성도 확인할 수 있었다. 탐지된 와류는 거의 모든 곳에서 발생하지만 경압적으로 불안정한 환경 및 서안 경계류 부근에서 가장 빈번하게 발생한다. 전반적으로 와류 수의 빈도는 anticyclonic 소용돌이보다 cyclonic 소용돌이가 더 크게 나타났으나, 수명이 긴 에디는 anticyclonic 에디에서 더 빈번하게 나타났다. 또한, 코히어런트 와류의 개수는 cyclonic과 anticyclonic 모두 시간이 지남에 따라 증가하는 경향을 보였다. 특히 Lagrangian 와류의 증가는 2000년 이후 확연히 나타나고 있다. 이러한 증가 추세의 원인으로 입력 자료인 고도계 데이터의 증가로 인한 eddy-resolving 능력의 향상을 하나의 이유로 생각할 수 있으나, 2000년 이후에도 지속되는 이러한 와류의 증가는 유의미한 결과로 볼 수 있다. 북서 태평양과 북대서양에서 연속적인 LAVD 지도를 사용하여 중규모 소용돌이를 추적하였다. 중규모 소용돌이는 중위도 지역에 집중적으로 분포하였고, 긴 수명을 가진(>360일) 중규모 소용돌이를 추적한 사례 연구에서는 에디의 형성, 발달, 이동, 병합, 소멸 과정이 잘 나타났다. 에디의 형태는 와류 이심률 변동에 대한 분석을 통해 에디의 형태가 에디의 생성-소멸 과정의 각 단계에서 끊임없이 변동하는 것을 볼 수 있었다. Hovmoller 다이어그램과 광학 흐름 기법을 이용하여 계산된 중규모 소용돌이의 westward 전파 속도는 저위도에서 중위도로 갈수록 감소하는 것을 확인하였다. 전구 해역에서의 LAVD 와류의 장기 변동성 분석에서는 수괴의 회전력을 의미하는 LAVD 값 자체도 증가하는 경향이 나타났으며, 이러한 증가 추세는 해안지역을 따라 뚜렷하게 나타났다. 지구 온난화 환경에서의 해수면온도 증가와 성층 강화는 이러한 전구 LAVD 소용돌이의 개수 증가 및 크기 증가에 영향을 줄 수 있으며, 대부분의 해역에서 전구 중규모 소용돌이의 LAVD 값이 증가하는 것을 확인할 수 있었다. 표층 해류의 공간 구조를 분석하기 위해서는 오차를 최소화한 고해상도의 잘 계산된 표층 해류 정보가 필요하다. 현장 관측 자료의 시간적, 공간적 한계로 인해 위성자료로부터 해류 정보를 획득하는 것이 필요하며, 고도계 자료로부터 얻을 수 있는 geostrophic 해류 정보 외에 더 향상된 해류장을 얻을 수 있을지에 대한 질문이 연구 동기가 되었다. 본 연구에서는 기존의 광학 흐름 기법에서 성능을 향상시킨 이미지 보정 광학 흐름 기법을 제시하고, GOCI chlorophyll-a 자료와 GK-2A 해수면온도 영상을 입력 데이터로 사용하여 북서태평양의 optical flow를 계산하였다. 추정된 표층 해류는 MCC 기반의 해류와 PIV 기법의 해류장, 고도계 해류와 각각 비교되었다. 산출된 optical flow current의 정확도는 표층 뜰개 자료로부터 계산한 해류와의 비교를 통해 검증되었다. 고해상도의 optical flow 해류장을 장기간에 걸쳐 산출한 후 격자를 모두 채울 수 있는 합성장을 생산한다면, 추후 코히어런트 구조의 추출 및 개선된 연구 결과를 얻을 수 있을 것이다. As rotating structures with horizontal scales of ~100 km, mesoscale eddies are ubiquitous in the global oceans. They often last several weeks to months, storing a significant proportion of the ocean’s kinetic energy. The coherent structure is characterized by that the interior water mass is enclosed by a material barrier and transported for a distance without volume exchange with the ambient flows. There are two main methods used to detect coherent eddies from oceanic current fields. One is Eulerian method to find the boundary of eddies from satellite snapshot images such as altimeter, and the other is Lagrangian method to detect coherent structures while following a water parcel during a time interval. Unlike the Eulerian method, which detects eddies using information such as instantaneous sea level anomalies, the Lagrangian method tracks a structure that moves with the same bulk during integration time, so it is suitable for detecting coherent structures. Therefore, in this study, the Lagrangian Averaged Vorticity Deviation (LAVD) method was introduced to trace the coherent structures from the Lagrangian perspective and the variability of global vortices were analyzed for a long term of 1993 to 2020. 28-years of sea surface current fields constructed with satellite data are utilized to investigate mesoscale variability in the global ocean. The coherent mesoscale features were apparent in the generated LAVD map. The newly devised calculation method for distinguishing cyclonic and anti-cyclonic in this paper made it possible to confirm the polarity characteristics of eddy distributed in the global ocean. The detected vortices are found to originate nearly everywhere, but most frequently generated in the vicinity of western boundary currents in the baroclinically unstable environment. Overall, the frequency of the number of vortices are larger for cyclonic eddies than anti-cyclonic eddies. However, there is a slight preference for the eddies with long lifetimes to be anti-cyclonic over the entire period. Also, the number of coherent vortices tends to increase with time for both cyclonic and anti-cyclonic. In particular, the increase in Lagrangian vortices has become evident since 2000. One reason for this increase trend is the improvement in ability of eddy-resolving due to the increase in the number of altimeter data used as input data, but as a result of the survey, the number of altimeter data and the detected LAVD vortices are not directly proportional, the increase in these vortices after 2000 can be regarded as a significant result. Mesoscale vortices were tracked using successive LAVD maps in the Northwest Pacific and North Atlantic. It showed a dominant activity in the mid-latitude region, and in a case study tracking long-lived eddy (>360 days), the formation, development, movement, and merging decay processes of eddy were well revealed. The shape of the vortices was found to fluctuate in each phase of the eddy life time with eddy eccentricity. It was confirmed that the westward propagation speed of mesoscale vortices calculated using the Hovmöller diagram and optical flow method decreases from low latitudes to mid-latitudes. In the long-term variability analysis of LAVD vortices in the global ocean, the LAVD value itself, which means the rotational force of the water parcel, also showed an increasing trend, and this positive trend was evident along the coastal region. Under globally warming environment as indicated in SST warming and stratification strengthening, LAVD vortex magnitudes showed increasing trend in most area of the global ocean. To analyze the spatial structure of surface currents, well-calculated current data with fine resolution and minimized errors are required. Due to the temporal and spatial limitations of in-situ data, it is necessary to obtain ocean current information from satellite data, and the question of whether there is a better developed method other than geostrophic ocean current information obtained from altimeter data became the motivation for this research. In this study, we present an image-adjusted optical flow method with improved performance from the existing optical flow technique, and optical flow in the Northwest Pacific was calculated using GOCI chlorophyll-a and GK-2A SST images as input data. The estimated current field was compared with the MCC-based currents, the current field of the PIV technique, and the altimeter currents, respectively. The accuracy of the retrieved optical flow was validated through comparison with the drifter current. Taking advantage of the dense optical flow fields, if the retrieved surface currents for a long period of time are gathered later, it is expected that improved results can be obtained by compositing them to fill the empty grid and then extracting the coherent structure.

Dense Optical Flow에 근거한 손실함수를 통한 MIM의 학습 효율 향상

문지환 숭실대학교 대학원 2020 국내석사

본 논문은 동영상 예측에 관한 논문이다. 동영상 예측은 딥러닝을 통하여 어떤 동영상 내부에 있는 이동 및 정지하고 있는 객체를 분할하여, 이 객체들의 이후의 상황을 예측하여 새로운 영상을 생성하는 기술이다. 동영상 예측을 위한 기존 예측모델 대부분은 통계적 확률 분포에 근거한다. 하지만 손실을 계산하고 역전파를 수행하는 과정에서 확률 분포와 영상 내 객체의 움직임에 대한 차이를 명확하게 정의할 수 있는 손실함수가 존재하지 않기 때문에 학습 단계에서 수렴시간이 많이 소요되고, 객체의 형체를 부정확하게 예측하는 단점이 있다. 본 논문에선 이러한 단점을 개선하기 위하여 Optical flow에 근거한 손실함수를 MIM에 내장시킨 Optical flow MIM을 제안하고 실험을 통하여 성능을 평가한다. 제안하는 예측모델은 먼저 통계적 확률 분포와 시공간 변경에 따른 객체 이동 정보를 CNN-LSTM 방식을 사용하여 학습된 다음, 역전파 단계에서 MSE와 Optical Flow를 통한 손실을 계산하여 객체의 이동 정보와 통계적 확률 분포를 갱신한다. 실험은 동영상 데이터셋인 Moving Mnist, Human 3.6M을 사용하여 학습하고 평가한다. 실험 결과 기존 모델보다 10,000~20,000회 정도의 학습 속도 차이를 보이고, SSIM, MAE, MSE 등의 정확도 또한 2% 향상된다. This paper describes video prediction. Video prediction is a technique for segmenting moving and still objects on a video image, predicting the subsequent situations of these objects, and then generating a new image through deep learning. Most of the existing prediction models for video prediction are based on statistical probability distributions. However, this approach has drawbacks in the both respect of convergence time and inaccurate, because the loss function used in calculating the loss and performing error backpropagation cannot clearly define the difference between a probability distribution and the motion of an object in a image. In order to improve the drawbacks, this paper proposes an optical flow MIM that embeds a loss function based on the optical flow into the MIM and evaluates its performance through experiments. The proposed prediction model first learns the statistical probability distribution and object movement information according to the spatio-temporal change using the CNN-LSTM method, and then calculates the loss through the MSE and Optical Flow in the backpropagation step to update the movement information and statistical probability distribution. The performance of the proposed method is verified by experiments. The video dataset Moving Mnist, Human 3.6M are used for the experiments. Experimental results show a learning rate difference of 10,000 to 20,000 times over existing models, and the accuracy of SSIM, MAE, MSE, etc. is also improved about 2%.

적응형 가중치를 기반으로 한 Optical Flow 계산과 무인 헬리콥터 제어를 위한 CCD Camera의 Ego-motion 추정

全在春 전북대학교 2000 국내석사

This thesis is for the estimation of unmanned helicopter motion based on the image processing. In the series of image frames, the vectors of specific points' movements can be used for estimating the camera motion. Such vectors are called the optical flows. To estimate the camera motion correctly, the optical flow computation is important. In this study, the multi-variable weight based matching algorithm is proposed to compute the optical flows. In the proposed algorithm, the correlation, position estimation and edge intensity factors are combined with weights to find the correct matching points. Once the optical flows are obtained, the camera motion is estimated with the pseudo inverse computation. Again, the estimated camera motion allows to compute the correct optical flows. Comparing to the correct one, the faulty optical flows are filtered out based on the correct one. If the image is influenced from the rotation or vibration of the helicopter, the adaptive weighting algorithm is effective. The proposed motion estimation algorithms are tested for computing the robot arm and unmanned helicopter motion. For the estimation of oscillating motion of robot arm, the proposed algorithm is much smaller error than the previous correlation based method. The experiment result about the helicopter which has strong vibration shows that the proposed algorithm is superior to the previous algorithms.

Development of Robust High Resolution PIV Analysis Method using Deep Learning

최준성 서울대학교 대학원 2021 국내석사

국문 초록 원자로 내부의 열수력 연구는 원자력 연구에서 매우 중요하고 노심 냉각제의 유동 특성은 원자력 발전의 성능 및 안전성에 큰 영향을 미치게 된다. 유동 가시화는 이와 같은 유동 특성 연구에서 연구자들로 하여금 유동에 대한 직관력을 가지게 해준다는 측면에서 중요하다. 이와 같은 유동 가시화 기술 중 입자영상유속계(Particle Image Velocime try : PIV)는 해당 유동에 대한 짧은 시간간격을 가진 연속된 두 장의 입자 이미지를 이용하여 유동의 속도장을 얻을 수 있는 기술로 널리 사용되고 있다. 일반적으로 입자영상유속계는 상호상관법(Cross Correlation Method)을 사용하고 이 방법은 상관영역(Interrogation window)이라 불리는 특정 영역 내에서 두 입자 이미지 사이의 최대 상관계수를 찾아 하나의 속도 벡터를 얻음으로써 최종 속도장을 결정 할 수 있다. 이와 같은 특징 때문에 상호상관법의 결과는 정확하고 신뢰성이 높지만 결과 속도 벡터장의 해상도가 입자 이미지의 해상도 보다 작게 되고 이로인하여 작고 복잡한 유동에 대해서는 분석의 한계점을 가지게 된다. 특히 원자력 열수력 분야에서는 핵 연료 사이의 좁은 공간을 지나가는 복잡한 유동을 다루는 경우에 대해서 고해상도의 결과를 요구하는 경우가 늘어나고 있기 때문에 고해상도 입자영상유속계 분석 방법의 개발이 필요하였다. 이와 같은 상호상관법의 한계점을 극복하기위한 방법 중 하나로 영상처리분야에서 널리 사용되는 광류 해석 기법이 있다. 광류 해석은 인접한 두 영상의 시간에 따른 화소의 명암 변화를 분석하여 움직임 정보를 추정하는 방식으로 Horn-Schunk 방법을 사용한다면 하나의 화소에 대해 하나의 벡터를 얻을 수 있고 이를 통하여 입자 이미지와 같은 해상도를 가지는 결과를 얻을 수 있다. 본 논문에서는 광류를 계산하기 위하여 심층 신경망을 사용하였다. 심층 신경망은 여러가지 복잡한 분제를 해결함에 있어 좋은 성능을 보여주었으며 특히 심층 신경망 중 컨볼루션 신경망(Convolutional Neural Network: CNN)은 최근 여러가지 영상처리 문제에서 뛰어난 성능을 보여주며 각광받아왔다. 플로우넷(FlowNet)은 이와 같은 컨볼루션 신경망을 이용하여 광류를 계산한 심층학습 코드로 Flying Chairs, MPI-Sintel 등과 같은 강체 움직임을 가진 물체 데이터셋들을 학습시키고 그 결과를 확인하는 일에 대해서 좋은 성능을 보여주었다. 또한 플로우넷에서 진화한 버전인 플로우넷2는 기존의 플로우넷의 구조를 쌓아서 만든 네트워크 구조를 가지며 이를 통해서 플로우넷에 비하여 좋은 결과를 보여주었다. 본 연구의 방법론의 기본은 이와 같은 플로우넷2 네트워크에 강체 움직임 데이터셋을 학습시키는 것이 아닌 입자영상유속계 입자 이미지를 학습시켜 이에 대한 결과를 확인하는 것이다. 컨볼루션 신경망은 많은 양의 데이터셋을 요구하기 때문에 실제 입자영상유속계 입자 이미지를 데이터셋으로 사용하기에는 무리가 있었고 PIVlab을 이용하여 합성 입자 이미지 데이터셋을 구성하였다. 이와 같이 입자영상유속계 분석에 심층학습 코드인 플로우넷 2를 도입함으로써 견고함과 빠른 계산 속도 그리고 고해상도의 결과를 얻는 것을 목표로 하고 있다. 본 논문의 주 내용은 이와 같은 플로우넷2를 이용한 입자영상유 속계 분석 방법을 개발하여 기존의 상호상관법의 단점으로 꼽혔던 저해상도의 결과와 작고 복잡한 유동에 대해서 좋지 못한 결과에 대해 개선하는 것이었다. 이를 위하여 플로우넷2를 이용한 방법론을 제시하였고 방법론들을 계속해서 개선하여 본 연구의 목표에 맞는 방법론을 찾아가는 과정을 중점적으로 다루었다. 가장 먼저 시도해본 방법론은 플로우넷2의 네트워크 구조를 그대로 사용하여 학습하고 결과를 얻어보는 시도였고 데이터셋 생산 방식에 따라서 2가지 방법론으로 나누어 학습 후 결과를 얻어보았다. 첫 번째 방법은 특정 유동을 상정하여 데이터셋을 생산하는 방식이었고 두 번째는 2차 다항식을 이용한 데이터셋 생산 방식이었다. 방법론에 대한 검증을 위하여 선형 유동, 회전 유동, 큰 와류 유동, 작은 와류 유동 총 4가지의 참조 유동에 대한 합성 입자 이미지 쌍을 사용하였다. 또한 정량적인 비교를 위하여 RMS 에러 및 R-square를 사용하였으며 이와 같은 검증을 통하여 본 연구에서는 두 번째 방식인 2차 다항식을 이용한 데이터셋 생산방식이 더 적합하다고 판단하였다. 다음으로는 이와 같이 결정 된 2차 다항식을 이용한 데이터셋 방법론을 본 연구의 목적에 맞게 개선하기 위하여 플로우넷2 네트워크 구조를 수정하는 시도를 진행하였다. 개선의 단계에 따라서 3가지의 방법론을 제시하였으며 입자영상유속계의 외곽 특성, 작고 복잡한 유동의 해석, 계산 시간 등을 고려하였다. 이와 같은 방법론들 역시 참조 유동에 대해서 검증을 진행하였으며 가장 개선된 방법인 방법 3의 결과에서는 고해상도의 결과를 기반으로 기존의 상호상관법의 결과와 비교해보아도 정확도 측면에서 비슷한 수준을 보여준다는 것을 알 수 있었다. 다음으로는 플로우넷2의 수정을 통한 3가지의 방법론 중 가장 개선된 모델에 대해서 매개변수 연구를 진행하였다. 매개변수는 모델의 정확도 및 표현력을 고려하여 4가지를 선정하였고 각 매개변수에 대해서 마찬가지로 참조 유동을 통하여 성능을 검증하였다. 이와 같은 매개변수에 대한 결과에서 정확도와 표현력을 고려하여 최종 모델을 선정하였고 마찬가지로 최종 모델에 대해서 참조 유동을 통한 결과를 얻어보았다. 최종 모델에서는 마찬가지로 고해상도의 결과를 바탕으로 상호상관법과 비슷한 수준의 정확도 및 작은 와류 유동과 같은 작고 복잡한 유동에 대해서 상호상관법의 결과보다 정량적, 정성적인 측면에서 개선된 모습을 보여주었다. 마지막으로 최종 모델을 이용하여 실제 입자영상유속계 입자 미지에 대한 분석을 진행하였다. 이를 위해서 속도장 개선방법을 도입하였는데 이 방법을 통하여 기존의 상호상관법의 결과를 보존함과 동시에 정확한 고해상도 속도장 결과를 얻을 수 있었다. 실제 입자영상유속계 입자 이미지는 제트 유동의 정보를 담고 있는 입자 이미지를 사용하였으며 최종 모델을 이용한 속도장 개선 방법의 결과는 기존의 상호상관법의 결과와 비교하였을 때 조금의 노이즈들이 발생하긴 하지만 고해상도의 결과를 바탕으로 구조들이 조금 더 선명해졌으며 상호상관법의 결과에서 나타난 계산 이상 치들이 나타나지 않았다. 본 연구에서 제안한 모델은 다양한 유동에 대한 검증을 통하여 실제 입자영상유속계 분석에 적용이 가능하며 기존의 상호상관법의 한계점으로 지적되었던 저해상도의 문제를 해결하였고 마찬가지로 상호상관법의 작고 복잡한 유동에 대한 부정확한 계산 결과를 어느정도 개선하였다고 말할 수 있다. 이를 통하여 원자로 노심 내부의 작고 복잡한 구조에서 유동을 분석을 진행함에 있어 본 연구에서 제안한 모델을 이용한다면 상호상관법을 이용한 분석과 비교하여 고해상도의 정확한 분석을 진행할 수 있고 원자로의 성능 및 안정성 평가에 기여할 것으로 예상한다. 주요어 입자영상유속계, 상호상관법, 광류해석, 컨볼루션신경망, 플로우넷, 고해상도 학번 : 2019-21272 Abstract Development of Robust High Resolution PIV Analysis Method using Deep Learning Jun Sung Choi Department of Energy System Engineering The Graduate School Seoul National University Thermal hydraulic research of nuclear reactor is important in nuclear research, the flow characteristics of coolant in reactor core has a great influence on the performance and safety of nuclear power plant. Flow visualization plays an important role in flow characteristic research, because a various flow visualization techniques help the researchers to get a deeper insight into the complex flow. Among the flow visualization techniques, Particle Image Velocimetry (PIV) is a widely used as flow visualization technique, which can measure velocity components of flow field using the successive two tracer particle images in small time step. In generally, the PIV use the correlation based method, which can obtain one velocity vector per the region by dividing each image frame into grids named interrogation window and determining maximum correlation coefficient. Although the correlation based method has the reliability, accuracy, and robustness, there are the limitation in small & complex flow because of low spatial resolution compared to the particle image. Especially in nuclear hydraulic research, the high resolution PIV analysis is required because of analysis of the narrow area between nuclear fuels and development of high resolution PIV analysis was needed. Therefore, we adopted another practical way to overcome the limitation of correlation based method, it is optical flow techniques which have been development greatly for object detection in the computer vision community. Optical flow analysis is a method of estimating motion information by analyzing the change in brightness and darkness of pixels over time of two adjacent images and can obtain one vector per one pixel by using Horn-Schunk method. In this paper, we are applying the deep neural network for optical flow estimation. The deep learning methods have been developed to solve complicated problems. Among the deep neural network, Convolutional Neural Network (CNN) have recently been very successful in a variety of computer vision tasks. The FlowNet is Deep Learning code for calculating optical flow using rigid body motion dataset like Flying Chairs, MPI-sintel and shows good performance for these tasks. FlowNet2 is evolution version of FlowNet using stacking of FlowNet network architecture and shows better performance compared to FlowNet. The basic concept of this research is to train particle image dataset rather than rigid body motion dataset in FlowNet2. In this work, we use a synthetic particle image dataset because it is difficult to get a large amount of real PIV experiment data and CNN requires very large amount of dataset. The purpose of this research is a robust, fast, high resolution PIV estimation by applying FlowNet2. The main contents of this research is the development of PIV analysis method using FlowNet2 to overcome the limitation of correlation based method and the process of improving this methodology for research goal. The first trial was to use the FlowNet2 network architecture as it is, and it was divided into two methodologies according to the dataset generation method. We selected 4 synthetic reference flows particle image pairs to validate proposed methodology and Reference flows is linear flow, rotation flow, large scale Rankine vortex flow, small scale Rankine vortex flow, and RMS_error & R_square is used for quantitative comparison of methodologies. Through these validation, we determined that dataset generation using second order polynomials was more suitable for this study. Next, we tried to modify the FlowNet2 network architecture in order to improve the dataset methodology using second order polynomials for purpose of this study. 3 methodologies were proposed according to the stage of improvement and these 3 methodology established considering the boundary characteristic of PIV, analysis of small & complex flows, time of calculation. Validation is also conducted using reference flows, and it can be seen that the results of the most improved method among 3 methodologies show a similar level in terms of accuracy compared correlation based method based on the high resolution. The parametric studies about the most improved method was conducted. 4 parameters was selected considering the accuracy & expressiveness of models and validation is also conducted using reference flows. The final model was determined by parametric studies and showed better results in quantitative and qualitative aspects for small & complex flows when compared to the correlation based method based on the high resolution. Finally, the final model was used to analyze the real PIV particle image pair. To this analysis, a velocity refinement method was introduced. Through this method, the information of the correlation based method was preserved and accurate high resolution velocity fields were obtained. The real PIV particle image pair contains the information of the jet flow, and the refinement velocity field using the final model were compared with the correlation based method, although some noises occurred, but based on the high resolution results, the structures became a clearer and there are no calculation outliers in fields. It was found that the proposed method in this research can be applied to real PIV analysis through validation for a various reference flows. And the proposed method overcame the limitation of low resolution pointed out as a limitation of the correlation based method. Also it can be said that there is improvement of an inaccuracy results for small & complex flows in proposed method. Through these improvement, the proposed method is expected to be able to analyze with high resolution and accurate analysis compared to the correlation based method in nuclear thermal hydraulic research. Keywords Particle Image Velocimetry (PIV), correlation based method, optical flow, Convolutional Neural Network (CNN), FlowNet, High Resolution Student Number: 2019-21272