On Low-latency Real-time Video Streaming Methods Using Frame-level Feedback

박신익 서울대학교 대학원 2025 국내박사

Network fluctuations stand as the primary disruptor of seamless real-time video streaming, introducing unpredictable latency spikes, video stalls, and degradation in visual quality that collectively diminish the user’s Quality of Experience (QoE). Traditional transport-layer congestion control mechanisms, while effective in ensuring network stability, however, often fail to accommodate the stringent latency requirements of real-time video applications. This disconnect arises from the separation between transport-layer bandwidth estimation and application-layer video adaptation, resulting in excessive queueing delays and inefficient bitrate control. Addressing these limitations requires a paradigm shift—one that integrates frame-level feedback with cross-layer optimization to enable ultra-low latency, high-quality real-time streaming. To birdge the gap, this dissertation proposes a stepwise framework to mitigate latency challenges in real-time video streaming by progressively refining bitrate adaptation strategies. i) We first introduce a delay-minimized streaming system that explicitly measures frame queueing delay, dynamically adjusting video bitrate to maintain real-time responsiveness while avoiding unnecessary buffering. ii) Building on this foundation, we develop a generalized streaming framework that incorporates GOP-level control and adaptive playback buffering, effectively balancing video quality and stall minimization under fluctuating network conditions. iii) Finally, we extend our approach to multi-party video streaming environments using Selective Forwarding Unit (SFU) servers, designing a bitrate selection algorithm that optimally distributes bandwidth among multiple video streams while preventing instability caused by rapid bitrate fluctuations. The proposed three-step low-latency real-time video streaming systems tackle the complex latency issues faced by real-time streaming applications through shifting from conventional packet-level congestion control to an application-aware, frame-level feedback approach. By addressing key challenges—ranging from precise frame-level and GOP-level control to efficient bitrate selection on SFU servers—each system is designed to ensure smooth, high-quality video transmission even in dynamic network conditions. Together, these solutions demonstrate a comprehensive framework for enhancing QoE of real-time video streaming systems with applications encompassing single-stream with short and long GOP length, and multi-party environments. We believe that this dissertation successfully bridges existing gaps in latency optimization through cross-layered designs and innovative frame-level feedback mechanisms. 네트워크 변동은 원활한 실시간 비디오 스트리밍을 방해하는 주요 요인으로, 예측할 수 없는 지연 시간 급증, 비디오 멈춤, 화질 저하를 유발하여 사용자의 체감 품질(QoE)을 전반적으로 떨어뜨린다. 기존의 전송 계층 혼잡 제어 메커니즘은 네트워크 안정성을 보장하는 데는 효과적이지만, 실시간 비디오 애플리케이션이 요구하는 엄격한 지연 시간 기준을 충족하지 못하는 경우가 많다. 이러한 문제는 전송 계층의 대역폭 추정과 애플리케이션 계층의 비디오 적응 과정이 분리되어 있어 과도한 대기열 지연과 비효율적인 비트레이트 조정이 발생하기 때문에 나타난다. 이러한 한계를 극복하기 위해서는 프레임 단위의 피드백과 계층 간 최적화를 통합하여 초저지연, 고품질 실시간 스트리밍을 가능하게 하는 새로운 접근 방식이 필요하다. 이에 본 논문에서는 실시간 비디오 스트리밍의 지연 문제를 완화하기 위한 세 단계의 점진적인 비트레이트 제어 프레임워크를 제안한다. 첫째, 프레임 대기 지연을 명확히 측정하는 지연 최소화 스트리밍 시스템을 도입하여 불필요한 버퍼링을 방지하면서 실시간 응답성을 유지할 수 있도록 비디오 비트레이트를 동적으로 조정하도록 한다. 둘째, 이러한 기반을 바탕으로 GOP (Group of Pictures) 수준 제어와 적응형 재생 버퍼링을 통합한 일반화된 스트리밍 프레임워크를 개발하여 변동하는 네트워크 환경에서 비디오 품질과 지연 최소화의 균형을 효과적으로 유지하도록 한다. 셋째, 다중 송신자와 다중 수신자를 포함하는 SFU(Selective Forwarding Unit) 서버 상에 다자간 실시간 비디오 스트리밍 시스템의 저지연 성능을 달성하기 위한 비디오 비트레이트 선택 알고리즘을 설계한다. 제안된 3단계 저지연 비디오 스트리밍 시스템은 기존의 패킷 기반 혼잡 제어에서 애플리케이션을 인식하는 (Application-aware) 프레임 기반 피드백 방식으로의 전환을 통해, 실시간 스트리밍 애플리케이션이 직면한 복잡한 지연 문제를 해결한다. 프레임 단위와 GOP 단위의 정밀한 제어부터 SFU 서버에서의 효율적인 비트레이트 선택에 이르는 주요 과제를 해결하여 각 시스템이 역동적인 네트워크 환경에서도 고대역폭과 저지연 성능을 동시에 요구하는 고품질 실시간 비디오 스트리밍을 안정적으로 서비스할 수 있도록 설계하였다. 본 논문은 크로스 레이어 설계와 혁신적인 프레임 단위 피드백 메커니즘을 통해 현존하는 지연 문제를 최적화할 수 있는 기법들을 제시하고 있으며, 엄밀한 실험을 통해 기존 기법 대비 실시간 비디오 스트리밍 시스템의 QoE를 향상시킬 수 있음을 확인하였다.

최적 증균배지 및 Primer 개발을 통한 Real-time PCR 기반 버섯의 Listeria monocytogenes 검출기술 개발

김우리 숙명여자대학교 대학원 2019 국내석사

Recently, the occurrence of Listeria monocytogenes in edible mushroom products has been reported in several countries. L. monocytogenes can survive and grow at low temperatures on packaged fresh cut vegetable, and they can be contaminated in mushrooms that are collected from farms and distributed at low temperatures. Detection of the pathogen using the selective growth medium is inappropriate for fresh agricultural products because it takes 5 to 8 days. When L. monocytogenes are contaminated with low concentrations in mushrooms, they can multiply during the transport overseas or domestic distribution stage, which can cause food borne illness. Therefore, this study developed precise and rapid detection methods for L. monocytogenes in mushrooms by real-time PCR. To reach the detectable level of L. monocytogenes in real-time PCR analysis, L. monocytogenes were enriched through the optimization of the enrichment broth. To determine the optimal supplement for the bacterial growth, the various components including carbon source, nitrogen source, sodium chloride, and selective agent were investigated. After development of enrichment broth, the primers for targeting L. monocytogenes were developed by analysis of sensitivity and specificity. Then, the process of enrichment and real-time PCR analysis using the developed primers were integrated for the detection system for L. monocytogenes in mushroom. Prior to enrichment of L. monocytogenes in mushrooms, the mushroom samples shown below detection limit of L. monocytogenes were selected for the further experiment, and 2.0 Log CFU/g of the pathogen was inoculated for the initial level in mushroom. As a result, LEB with 2× ferric citrate (LEB+2FC) was shown the most effective to promote the bacterial growth, and developed iap primers had a high sensitivity and specificity compared to the hlyA primers used in other study. Consequently, L. monocytogenes of Pleurotus eryngii was detected as 100%(8/8) using real-time PCR when enriched in LEB+2FC for 9 h. In Flammulina velutipes, the pathogen was detected (100%; 8/8) when enriched in LEB and LEB+2FC for 3 h, and the CT values of LEB+2FC was 30.77 which was lower the detection level was 100%(8/8) at both LEB and LEB+2FC, and the CT values of LEB+2FC was 30.77 which was lower than that of LEB. In conclusion, the developed of L. monocytogenes detection technology in mushroom based on real-time PCR through development of enrichment medium and primer in this study could be used as a rapid and precise detection method to obtain microbiological safety of mushroom, and reduce whole detection time. Listeria monocytogenes에 의한 버섯 리콜 사건은 지속적으로 발생하고 있으며, 자연계에 존재하며 포장된 식품이나 낮은 온도에 저장된 식품에서도 생장 할 수 있는 L. monocytogenes 특성 상 농장에서 채취 후 저온으로 유통되는 버섯에 오염될 가능성이 높다. 본 연구에서는 버섯에서의 L. monocytogenes에 대한 검출법을 real-time PCR을 사용하여 실시함으로써 버섯의 미생물학적 안전성을 확보하고 신속정밀검출법을 개발하는데 목적이 있다. 식품공전에 명시된 기존의 선택배지법을 이용한 검출은 적어도 5일 이상 소요되는 단점이 있어 신선농산물인 버섯에 적용하기에 부적합하고, 버섯의 재배단계에서 L. monocytogenes가 저농도로 오염되었을 경우 수출이나 국내 유통단계에서 증식하여 식중독을 일으킬 수 있다. 가장 널리 이용되고 있는 신속검출법인 PCR법은 민감도가 뛰어나 정확하게 식중독 세균을 검출할 수 있지만 agarose gel을 통해 전기영동하여 결과물을 확인해야 한다는 번거로움이 있다. 반면에 real-time PCR은 특정 세균의 DNA 증폭과정을 실시간으로 확인 할 수 있고 정량이 가능하며 반응 후 전기영동으로 반응산물을 확인하는 과정이 불필요하여 편리하고 신속하게 검출할 수있다는 장점이 있다. Real-time PCR에서 L. monocytogenes의 검출 가능한 농도에 도달하기 위해 L. monocytogenes는 증균배지 최적화를 통해 배양되었다. 증균배지조성은 탄소원, 질소원, 염농도, selective agent의 농도별 조성에 따라 각각의 첨가 물질을 이용한 변환배지를 제조하였다. 시료 선정의 경우 버섯의 오염도 조사를 통해 일반세균 오염도가 가장 낮으며 L. monocytogenes가 불검출된 시료를 선택하여 실험에 사용하였다. Primer 선정을 위해 민감도 시험과 특이성 시험을 수행하였다. 버섯에 대한 L. monocytogenes 검출 시스템 구축을 위해 L. monocytogenes를 접종한 시료에 증균배지를 분주하여 30℃에서 시간별로 배양하였다. 버섯에서 L. monocytogenes는 8.0%(9/112)의 오염도를 나타냈으며, 정량시험 결과 2.1 Log CFU/g 수준의 의심집락이 확인되었다. 증균배지 성능평가 결과 증균 효율이 가장 높았던 배지는 기존 Listeria enrichment broth에 2× ferric citrate를 첨가한 배지로 나타났다. Primer 민감도 시험과 특이성 시험 시행결과, iap primer가 hlyA primer에 비해 특이성이 높게 나타났다. L. monocytogenes를 접종한 버섯의 LEB + 2× ferric citrate 증균 배양액에서 iap primer를 이용하여 real-time PCR을 수행한 결과, 새송이버섯의 경우 9시간 증균했을 때, LEB에서 50%(4/8)수준으로 검출되었고 LEB + 2× ferric citrate에서 100%(8/8)수준으로 검출되어 변환배지에서 더 안정적인 결과를 보였다. 팽이버섯의 경우 3시간 증균했을 때, LEB와 LEB + 2× ferric citrate에서 모두 100%(8/8)수준으로 검출되었으며 LEB + 2× ferric citrate CT값이 30.77로 LEB배지보다 낮게 나타났다. 결과적으로 LEB + 2× ferric citrate 배지를 이용하여 새송이버섯에서 최소 9시간, 팽이버섯에서 최소 3시간 이상 배양할 때 L. monocytogenes가 안정적으로 검출되었다. 따라서 본 연구결과는 L. monocytogenes에 대한 버섯의 미생물학적 안전성을 확보하여 경제적·사회적 비용을 절약하는데 기여할 수 있을 것으로 사료된다.

Bio Signal-based Real-time User Recognition, New User Identification and Addition using Edge Deep Learning System : 엣지 딥러닝을 이용한 생체 신호 기반 실시간 사용자 인식, 새로운 사용자 판별 및 추가 시스템

허동혁 경북대학교 대학원 2024 국내박사

최근 개인 맞춤형 서비스를 제공하기위해 효과적인 사용자 인식 기술이 필요하다. 그러나 기존 사용자 인식 시스템은 사생활 침해 문제와 낮은 범용성이 단점으로 지적된다. 따라서 본 논문은 기존 시스템의 한계를 극복하기 위해 사용자가 걸어오는 순간 족압패드에서 측정되는 데이터의 각도와 위치를 전처리하고, 실시간 사용자 인식을 위한 딥러닝 모델을 엣지노드에서 수행하는 시스템을 제안한다. 또한, 제안하는 시스템은 새로운 사용자를 감지하는 과정에서 감독관의 개입을 없애기 위해 사용자 인식 시스템의 소형 딥러닝 모델을 활용하여 새로운 사용자를 실시간으로 탐지하는 방법을 포함한다. 마지막으로, 최소한의 새로운 사용자 데이터로 최적의 성능을 달성하는 transfer learning 방법으로 학습한 모델과 이를 엣지노드에서 실시간으로 적용하기 위한 시스템을 이용하여 새로운 사용자의 추가 속도를 향상시켰다. 제안된 시스템으로 실험한 결과, LeNet-5 모델을 pruning 및 PTQI를 적용하여 엣지노드에서 10명의 사용자를 93%의 정확도로 1.5초 이내에 인식했다. 또한, 유사도가 높은 족압 데이터셋에서 제안하는 모델을 활용하여 10명의 새로운 사용자를 감지했을 때 기존 모델 대비 53%의 정확도 향상된 89%의 정확도로 4.4초 이내에 감지할 수 있었다. 기존 데이터셋에 10명의 새로운 사용자 데이터로 구성된 데이터셋(한명당 140개의 데이터)을 추가하여 transfer learning 방법으로 학습했을 때 20명의 사용자를 86%의 정확도로 인식할 수 있었고, 한사람을 추가하는데 기존 방법 대기 약 80%감소된 7분 44초가 소요됬다. 제안하는 사용자 인식 시스템을 기반으로 기존의 문제를 극복하고, 사물의 도움을 받아 살아가는 세상을 위한 스마트 홈 시스템이나 스마트 입출입 시스템 같은 다양한 혁신적인 응용 시스템을 개발할 수 있을 것으로 기대된다. In recent times, effective user recognition technology is essential to pro- vide personalized services. However, conventional user recognition systems are criticized for their privacy concerns and limited universality. To overcome the limitations of existing systems, this paper proposes a system that prepro- cesses data related to angles and positions measured by the foot pressure pad the moment a user walks, and performs real-time user recognition using deep learning models on edge nodes. Furthermore, the proposed system incorpo- rates a method for real-time detection of new users by utilizing a small deep learning model from the user recognition system, eliminating the need for su- pervisor intervention in the new user detection process. Finally, we improved the speed of adding new users by using a model trained with a transfer learn- ing method that achieves optimal performance with minimal new user data and employing a system to apply this model in real-time on edge nodes. As a result of experiments with the proposed system, applying pruning and post training quantization (static integer) to the LeNet-5 model on edge nodes led to the recognition of 10 users with 93% accuracy within 1.5 seconds. Fur- thermore, utilizing the proposed model with a similar foot pressure dataset, when detecting 10 new users, it achieved an 89% accuracy, a 53% improve- ment over the previous model, all within 4.4 seconds. When adding a dataset consisting of 10 new users’ data (with 140 data per person) to the existing dataset and training it using the transfer learning method, it achieved a recog- nition accuracy of 86% for 20 users. This process took only 7 minutes and 44 seconds, significantly reducing the time required compared to the previous method when adding a single user. Based on the proposed user recognition system, it is expected that we can address existing issues and develop various innovative application systems, such as smart home systems and smart access control systems, aimed at enhancing the quality of life with the assistance of smart devices.

Propidium monoazide와 real-time PCR을 이용한 살아있는 Enterococcus faecalis의 선택적인 검출

김신영 연세대학교 대학원 2008 국내석사

세균의 검출에 있어서 polymerized chain reaction (PCR) 방법은 기존의 plate counting과 달리 빠르게 세균을 검출할 수 있다. 하지만 세균이 죽은 후에도 DNA는 장기간 존재할 수 있기 때문에, DNA에 기초한 분석은 살아있는 세균과 죽은 세균을 구분할 수 없다. 최근에 DNA extraction전에 propidium monoazide (PMA)를 처리하여 살아있는 세균만 선택적으로 검출하는 방법이 제시되었다. PMA는 손상된 세포막만 통과하여 죽은 세포의 DNA와 빛 노출 하에서 결합하여 PCR이 증폭되는 것을 막는다.Enterococcus faecalis는 근관치료의 실패에 있어서 중요한 원인이 되는 세균으로 제시되어 왔다. 그리고 chlorhexidine (CHX)은 E. faecalis의 제거에 있어서 효과적인 약제임이 밝혀졌다.이번 실험의 목적은 세균 수의 측정에 있어서, PMA 처리와 real-time PCR 방법의 적용 가능성을 기존의 plate counting과 비교하여 알아보는 것이다. 또한 E. faecalis에 대한 2% CHX의 살균 효과를 PMA 처리 후 real-time PCR 방법을 사용하여 알아보는 것이다.실험 방법으로 먼저 살아있는 세균과 죽은 세균을 다른 비율로 섞어서 PMA를 처리한 후 real-time PCR을 시행하여 PMA가 빛 노출 하에서 죽은 세균의 DNA와 결합하는 효과를 나타내는지 알아보았다. 다음으로 PMA 처리 후 real-time PCR 방법을 이용하여 살아있는 세균의 양을 측정한 것을 plate counting으로 얻은 CFU와 비교하였다. 마지막으로 2% CHX의 처리시간을 다르게 하였을 때 E. faecalis에 대한 살균 효과를 PMA 처리 후 real-time PCR 방법을 사용하여 알아보았다.실험 결과로 살아있는 E. faecalis의 비율이 감소할수록 Ct value는 증가하였다. 그리고 PMA 처리 후 real-time PCR 방법을 이용하여 세균의 양을 측정한 것과 plate counting으로 얻은 CFU 사이에는 Optical density (OD) 값이 1.0일 때까지는 상관관계가 있었다. 하지만 OD 값이 1.5일 때는, PMA를 처리한 후 real-time PCR을 시행했을 때 측정된 살아있는 세균의 양이 감소하였음에 반해서 plate counting에 의한 CFU는 계속 증가하였다. 마지막으로 2% CHX을 오래 적용할수록 살아있는 E. faecalis의 상대적인 양이 감소하는 것을 PMA 처리와 real-time PCR 방법을 이용해 확인하였다.이번 연구를 통해 첫째로 PMA 처리 방법은 죽은 세균을 제외하고 살아있는 세균만 선택적으로 검출한다는 것을 알 수 있었다. 둘째로 기존의 plate counting의 대체 방법으로써 PMA 처리와 real-time PCR 방법을 적용하는 것이 가능하지만, OD 값이 1.5 이상일 때는 한계가 있다. 셋째로 E. faecalis에 대한 CHX의 살균 능력에 있어서, starvation phase 때의 E. faecalis의 제거를 위해서 2% CHX의 장시간 적용이 필요하다. I. Introduction : Polymerized chain reaction (PCR) can detect bacteria more rapidly than conventional plate counting. However DNA-based assays cannot distinguish between viable and dead cells due to persistence of DNA after cells have lost their vitality. Resently, propidium monoazide (PMA) treatment has been introduced. It was used before DNA extraction, resulting in selective DNA detection of viable bacteria. PMA penetrates cells with compromised membranes and intercalates with dead cell DNA upon light exposure, then inhibits PCR amplification.Enterococcus faecalis has been suggested to be an important etiologic bacteria in endodontic failure. And chlorhexidine (CHX) is effective disinfectant for removal of E. faecalis.The purpose of this study is to evaluate the applicability of the PMA treatment and real-time PCR method for cell counting in comparison with plate counting and to evaluate the antibacterial efficacy of 2% CHX on E. faecalis using PMA treatment in combination with real-time PCRII. Materials & Methods : Firstly, to elucidate the relationship between the proportion of viable cells (DNA yield) and the real-time PCR signals after PMA treatment, mixtures with different ratios of viable and dead cells were used. Secondly, relative difference of viable cells using PMA treatment in combination with real-time PCR was compared with CFU by plate counting. Lastly, antibacterial efficacy of 2% CHX on E. faecalis was measured using PMA treatment in combination with real-time PCR.III. Results : Firstly, Ct value increased with decreasing proportion of viable E. faecalis. Secondly, there was correlation between viable cells measured by real-time PCR after PMA treatment and CFU by plate counting until Optical density (OD) value remains under 1.0. However, viable cells measured by real-time PCR after PMA treatment have decreased at 1.5 of OD value while CFU kept increasing. Lastly, relative difference of viable E. faecalis decreased more after longer application of 2% CHX.IV. Conclusion : Using PMA treatment, viable cells can be detected selectively from dead cells. Also PMA treatment in combination with real-time PCR can be applied for cell counting. However, it can only be applicable under 1.5 of OD value. Lastly, for removal of E. faecalis in starvation phase, long term application of 2% CHX is needed.

Real-time Transaction Scheduling in Blockchain for Mobility Service

Hyun Sik Jeon 고려대학교 대학원 2021 국내석사

Transactions in blockchain are used as data units consisting of one or more inputs and outputs as a concept of transaction books. Also, charge a fee for processing to maintain a public blockchain network through participants' contributions autonomously. However, the application of blockchain networks to automotive communication-based mobility services may result in transactions requiring temporal constraint characteristics, and transaction approval in public blockchain may not be implemented within time limits because existing blockchains do not have devices to process transactions in real-time. This is because non-deterministic principles in public blockchains can be freely included in new blocks regardless of transaction characteristics. Therefore, transactions in mobility service blockchain networks that require real-time processing need to be guaranteed in-time processing. We propose a real-time scheduling method for transactions with characteristics that want to be processed in real-time. The proposed method classifies and manages the transaction pool in the blockchain with or without real-time processing and prioritizes transactions based on real-time scheduling. It distinguishes the areas in which transactions in a block contain the same classification as the transaction pool. When mining proceeds, minor nodes attempt to add to blocks separated by high priority when creating new blocks. When a block is added, the transaction space required for the next block generation can be adjusted flexibly for the next block generation. Our method is designed to handle transactions with real-time properties while preserving the token economy. With this method, we perform real-time scheduling internally through the configuration changes of blocks in a blockchain network that handles mobility service transactions. As a result, we can increase the probability of processing transactions in real-time regarding mobility services for blockchain participating entities. 블록체인의 트랜잭션은 거래 장부의 개념으로 하나 이상의 입출력으로 구성된 데이터 단위로 사용된다. 또한 처리를 위해 수수료를 부과하여 자율적으로 참여자들의 기여를 통해 퍼블릭 블록체인 네트워크를 유지한다. 하지만, 차량 통신기반의 이동성 서비스에 블록체인 네트워크 적용할 경우 시간적 제약 특성을 요구하는 트랜잭션이 생성되며 기존 블록체인에 실시간으로 트랜잭션을 처리할 장치가 없기 때문에 퍼블릭 블록체인에서 트랜잭션 승인이 제한시간내에 이행되지 않을 수 있다. 퍼블릭 블록체인에서 마이너 노드에 트랜잭션 특성에 상관없이 자유롭게 새로운 블록에 포함시킬 수 있는 비결정적 원칙이 존재하기 때문이다. 따라서 실시간 처리를 요구하는 이동성 서비스 블록체인 네트워크의 트랜잭션은 제한시간 내 처리를 보장할 필요가 있다. 우리는 실시간으로 처리를 원하는 특성을 가진 트랜잭션에 대해서 실시간 스케줄링 방법을 제안한다. 제안하는 방법은 블록체인의 트랜잭션 풀을 실시간 처리 유무에 따라서 분류하여 관리하며 실시간 스케줄링에 기반한 트랜잭션의 우선순위를 설정한다. 트랜잭션 풀의 분류와 동일하게 블록의 트랜잭션이 담기는 영역을 구분한다. 마이너 노드들이 채굴이 진행되면 새로운 블록을 생성할 때 우선순위가 높은 순서로 구분된 블록에 추가를 시도한다. 블록이 추가되면 다음 블록 생성에 대해 가변적으로 다음 블록 생성에 요구되는 트랜잭션 공간을 조정할 수 있다. 우리의 방법은 토큰 이코노미를 유지하면서 동시에 실시간 특성을 가지는 트랜잭션을 처리하도록 디자인하였다. 이 방법을 통해 우리는 이동성 서비스 트랜잭션을 다루는 블록체인 네트워크에 내부적으로 블록의 구성 변화를 통해 실시간 스케줄링을 수행한다. 결과적으로, 블록체인 참여 주체들에 이동성 서비스 이용과 관련하여 실시간성을 가지는 트랜잭션의 처리 확률을 높일 수 있다.

Squall : 실시간 이벤트와 마이크로-배치의 동시 처리지원을 위한 실시간 빅데이터 처리 프레임워크

孫再基 韓國外國語大學校 大學院 2017 국내박사

Squall: 실시간 이벤트와 마이크로-배치의 동시 처리지원을 위한 실시간 빅데이터 처리 프레임워크 모바일 환경 및 클라우드 컴퓨팅(cloud computing), 사물 네트워크(M2M) 등의 확산은 데이터의 중앙 집중화(centralized)로 이어져 엄청난 양의 데이터를 양산하고 있다. 유무선 네트워크의 속도와 기술의 발전으로 말미암아 문자, 숫자, 이미지, 동영상 등 다양한 컨텍스트들(contexts)이 전 세계 도처에서 엄청난 속도로 생성되고 있다. 그 크기가 방대하여 기존 처리 시스템으로는 획득, 저장, 관리, 분석 등이 불가능한 데이터를 흔히 “빅데이터(Big Data)”라 부른다. 대규모 데이터를 분석, 활용하려는 시도는 예전에도 있었으나, 과거에 비해, 현재의 빅데이터 환경은 데이터의 양, 다양성, 생성 속도 등 비교할 수 없을 정도로 변화하고 있다. 현재 이러한 빅데이터의 처리, 분석을 통하여 새로운 유의미한 정보를 추출, 활용하는 것이 새로운 국가 경쟁력으로 대두되고 있다. 과거에는 이러한 빅데이터 처리, 분석을 위한 시간과 비용이 많이 소요되어 처리가 어려웠으나, 최근에는 고성능의 다중 코어 프로세서(multi-core processor), 고속의 병렬처리가 가능한 GP-GPU (General Purpose-Graphic Processing Unit) 등 하드웨어(hardware) 시스템의 발전과 더불어 저가격으로 빅데이터를 처리, 분석할 수 있는 오픈소스 프레임워크(framework)가 배포되어 누구나 쉽게 접근이 가능하다. 이러한 빅데이터는 처리, 분석 과정을 통해 의미 있는 정보를 도출하여, 이전에는 할 수 없었던 트렌드 분석, 의사결정, 마케팅, 주식 트레이딩 등 다양한 산업분야에 활용이 가능하다. 다양하고 방대한 양의 데이터를 처리하기 위해 빅데이터의 특성인 3V(Volume, Variety, Velocity) 중에서도 속도(Velocity)의 중요성이 강조되면서 대량의 데이터를 빠르고 정확하게 처리하는 기술인 실시간 스트림 처리(Real-time Stream processing)를 위해 많은 연구가 진행되고 있다. 현재 획득, 저장된 대량의 데이터를 처리, 분석하기 위해 아파치의 하둡(Hadoop) 등과 같은 일괄처리(batch) 프레임워크들이 널리 사용되고 있다. 그러나 최근에는 IoT(Internet of Things) 데이터, 트위터 데이터와 같은 실시간 스트림(stream)이 대량 생산됨에 따라 하둡 등과 같이 저장된 데이터를 일괄처리 하는 프레임워크로는 실시간으로 생성되는 스트림 데이터를 처리하기에 한계가 있다. 하둡과 같은 일괄처리 프레임워크의 경우, 대용량의 데이터를 저장, 처리하기 위해 상대적으로 저가격인 디스크와 컴퓨팅 노드를 클러스터링화하여 사용한다. 그러나 빅데이터 처리를 위한 핵심 알고리즘인 맵리듀스의 중간 결과를 저장하는 등의 잦은 디스크 액세스는 전체 에코시스템(ecosystem)의 성능 저하를 야기 시킨다. 이러한 디스크 기반의 입출력 문제를 해결하기 위해, 메모리 상에서 중간 처리 결과를 저장하는 인-메모리(In-Memory) 빅데이터 처리 기술과 일괄처리 방식이 아닌 대용량 실시간 스트림 데이터를 처리하기 위한 기술들이 제시되고 있다. 빠르게 생성되는 실시간 빅데이터의 처리를 위한 기술은 이벤트 스트림 방식과 마이크로-배치(micro-batch) 방식의 두 가지로 분류되며, 대표적인 프레임워크로 아파치의 스톰(Storm)과 스파크(Spark) 등이 있다. 스톰은 특정 조건에 대해 실시간으로 이벤트를 처리하는 CEP(Complex Event Processing) 기법을 사용하여, 산발적으로 발생하는 실시간 이벤트 스트림 데이터 처리에 적합하도록 설계되었다. 스파크의 경우, 수밀리 또는 수초동안의 일정시간 간격으로 데이터를 모아 메모리 상에서 일괄처리 하는 마이크로-배치 기법을 통해, 스톰 등과 같은 CEP 방식에 비해 빠른 응답과 대화형 분석에 적합하다. 따라서 위의 두 경우는 각 프레임워크의 실시간 빅데이터 처리 특성에 따라 산발적 또는 주기적 데이터를 처리하는 특정 응용에만 적용되는 한계를 갖고 있다. 이는 각 실시간 빅데이터 처리 프레임워크의 설계 및 해결하고자 하는 문제의 목적에 기인한다. 또한 가능한 빠른 스트림 데이터 처리를 목적으로 입력되는 스트림의 시간적인 지연을 고려하지 않아 실시간 처리의 정시성(timeliness guaranteed)을 보장하지 않는다. 스톰과 스파크는 스칼라(Scala), 자바(Java), C# 등의 다양한 언어를 제공하지만 가비지 컬렉션(garbage collection)을 사용하는 언어를 사용하여 응용 프로그램을 작성한다. 이러한 가비지 컬렉션 언어들은 가상머신을 기반으로 동작하여 가상머신의 근본적인 한계로 인하여 데이터 처리의 실시간성에 제약을 받는다. 실시간 빅데이터의 새로운 패러다임(paradigm)은 빠른 처리를 요구하는 수직적 확장성(scale-up)을 고려한 시스템 요구사항에서 다양한 빅데이터 자원을 연결해 줄 수 있는 수평적 확장성(scale-out)으로의 변화를 의미한다. 따라서 실시간으로 빠르게 생산되는 대량의 데이터를 처리하고 분석하기 위한 새로운 접근방법이 요구되고, 기존 프레임워크와는 다른 설계 철학을 도입하는 새로운 프레임워크의 필요성을 야기한다. 본 논문에서는 산발적으로 발생하는 실시간 이벤트 스트림 데이터 처리와 주기적 데이터 처리를 위한 마이크로-배치 처리를 동시에 지원하기 위해, 실시간 객체 모델인 TMO(Time-triggered Message-triggered Object)를 도입하여 정시성을 보장하는 새로운 실시간 빅데이터 처리 프레임워크인 Squall을 제안한다. TMO 모델은 시간 조건에 대한 보장성과 예측성이 주어지거나 시간 조건의 위반에 대응할 수 있는 분산 실시간 객체 모델로, 정시 보장, 객체 지향, 분산 환경 등의 통합 특성을 가지고 있다. 분산 실시간 객체 모델인 TMO의 특장점을 실시간 빅데이터 처리에 도입하여 기존 아파치의 스톰이나 스파크의 단점들을 극복할 수 있어 범용 빅데이터 처리 프레임워크로 활용될 수 있다. 본 논문에서는 또한 자바 가상머신(JVM: Java Virtual Machine)의 가비지 컬렉션으로 인한 실시간성 저해 요인을 해결하기 위해 컴파일 언어인 Go 언어를 사용하는 방안을 제시한다. Squall: A Real-time Big Data Processing Framework for Real-time Events and Micro-batch Processing The spread of mobile environment, cloud computing, and M2M is resulting in centralization of data, producing mass data. Due to the development of the velocity and technology of wire-wireless networks, various contexts including characters, figures, images, and videos are being produced at a great rate of speed worldwide. The data that cannot be acquired, stored, managed, or analyzed with the existing processing system owing to its massive volume is called “big data”. Although the attempt to analyze and utilize mass data was made before, the big data environment of today is changing much faster than that of the past in terms of volume, variety, and velocity of data. Currently the ability to extract and utilize new meaningful information by processing and analyzing big data is coming to the fore as new national competitiveness. Although it was too difficult to process and analyze big data in the past due to so much time and cost, today anyone can access big data owing not only to the development of hardware systems such as high-performance multi-core processor or GP-GPU (general purpose-graphic processing unit) capable of high-speed parallel processing but also to the distribution of open-source frameworks that can process and analyze big data at low price. Anyone can extract meaningful information by processing and analyzing big data and utilize it in various industrial fields including trend analysis, decision-making, marketing, stock trading, etc. As the importance of velocity among 3Vs (volume, variety, velocity), the characteristics of big data, is being emphasized in processing mass data, many studies are being conducted on real-time stream processing, a technology to process mass data quickly and precisely. Currently, batch frameworks such as Hadoop of Apache are being widely used to process and analyze acquired and stored mass data. However, as real-time streams such as IoT (Internet of Things) data or twitter data have been recently mass produced, it is limited, with batch frameworks including Hadoop, to process stream data produced in real-time. To store and process mass data, batch frameworks including Hadoop use disks and computing nodes through clustering, which are relatively cheap. However, frequent access to the disk to save the intermediate outcomes of MapReduce, a core algorithm for processing big data, could lead to deterioration of the performance of the overall ecosystem. In order to resolve the disk-based input-output problems, technologies are being proposed such as in-memory big data processing technology to save intermediate processing outcomes in the memory or the technology to process mass real-time stream data without the batch processing system. The technology to process rapidly produced real-time big data is divided into event stream type and micro-batch type, and typical frameworks include Storm and Spark of Apache. Storm uses CEP (complex event processing) technique to process events in real-time under specific conditions, and thus is appropriate for sporadic real-time event stream data processing. On the other hand, Spark uses micro-batch technique to collect data at periodic intervals (a few microseconds or seconds) and batch-process the data in the memory, and thus is proper for rapid response and interactive analytics compared to Storm. Therefore, the two have a limitation that they apply to only specific applications for processing data sporadically or periodically due to their characteristics of real-time big data processing. This is the cause of the purpose to design and resolve each real-time big data processing framework. In addition, as the two do not consider the time delay of streams that are input for quick stream data processing, they do not guarantee timeliness of real-time processing. Although Storm and Spark provide various languages such as Scala, Java, and C#, they make application programs by using languages utilizing garbage collection. As these garbage collection languages operate based on virtual machine, timeliness of real-time processing comes to be limited due to the fundamental limitation of virtual machine. The new paradigm of real-time big data means a change from scale-up requiring quick processing to scale-out capable of connecting various big data resources. Thus, a new approach to process and analyze mass data rapidly produced in real-time is necessary, and thereby a new framework introducing a different design philosophy is required. In order to simultaneously support sporadic real-time event stream data processing and periodic data processing, this study proposes Squall, a new real-time big data processing framework that guarantees timeliness by introducing TMO (time-triggered message-triggered object), a real-time object model. TMO is a distributed real-time object model that can provide guarantee and predictability of time condition or cope with violation of time condition. It has comprehensive characteristics including timeliness guaranteed, orientation of object, and distributed environment. As the strengths of TMO can be introduced to real-time big data processing to supplement the shortcomings of Storm and Spark of Apache, Squall can be a widely-used big data processing framework. This study also proposes a method of using Go language, a compiled language, to resolve the factors that deteriorate timeliness of real-time processing due to garbage collection of JVM (Java virtual machine).

Energy-Efficient Scheduling Algorithms for Real-Time Tasks on Single and Multiprocessors

선주형 고려대학교 대학원 2020 국내박사

With the advancement of technologies such as the Internet of Things, high-performance computing, and cloud computing technologies, embedded systems have become an integral part of our lives enabling a large number of users to run their diverse applications. Since the behavior of embedded systems is typically restricted by time, though they may not necessarily have any real-time constraints, the optimality of real-time tasks has to be considered for supporting time-sensitive systems. In addition, modern systems have various processor types, such as single-processor, multi-processors, and many-processors, which consume a relatively large fraction of the total energy compared with other components such as I/O, network, and memory. In addition, system power supplies such as batteries are limited and the static energy consumption (i.e., leakage power dissipation) has become a significant contributor to the total dissipation of chip power. Therefore, this dissertation presents methodologies for scheduling real-time tasks under time constraints (i.e., deadlines) and managing the energy consumptions of single-, multi-, and many-processors. The objective is to guarantee the optimality of scheduling real-time tasks and simultaneously reduce the energy consumption of various systems. To achieve this objective, real-time scheduling is formulated as an optimization problem to find an optimal solution to guarantee meeting all the real-time task deadlines. To reduce both dynamic and static energy consumption, dynamic voltage/frequency scaling and dynamic power management are introduced to the real-time scheduling algorithms. These methodologies are summarized as follows. (1) For multimedia services on a single-processor, an energy-efficient scheduling algorithm is proposed to reduce the dynamic power consumption using dynamic voltage/frequency scaling while deterministically guaranteeing a feasible schedule for weakly hard real-time tasks. This work was conducted on a laptop computer and the actual power consumption was measured using a digital power-meter to evaluate energy savings using the proposed algorithm. (2) For scheduling hard real-time tasks on symmetric homogeneous multi-processors, an energy-efficient scheduling algorithm is proposed to achieve static energy savings using dynamic power management. The scheduling problem in this work is formulated as an optimization problem to guarantee the optimality of real-time tasks. It is then transformed into a flow network model to utilize idle time for dynamic power management. (3) The methodology for expanding the previous algorithm in (2) onto a large-scale system consisting of many processing elements, such as high-performance computing, cloud computing, and data center, is proposed. This work achieves static energy savings by shutting down the inactive processing elements and guarantees the optimality of real-time tasks from the modified formulated optimization problem. In addition, it discusses several practical issues that arise when the previous algorithm (2) is applied in a cloud computing.

Real-Time Scheduling Framework for Multi-DNN Inference

Woosung Kang DGIST 2026 국내박사

Formal verification and schedulability analysis for hierarchical real-time systems

박준길 Graduate School, Korea University 2012 국내박사

Real-time embedded systems have increased in complexity. As microprocessors become more powerful, the software complexity of real-time embedded systems has been increasing steadily. The requirements for increased functionality and adaptability make the development of real-time embedded software complex and error-prone. Component-based design has been widely accepted as a compositional approach to facilitate the design of complex systems. It provides a means for decomposing a complex system into simpler subsystems and composing the subsystems in a hierarchical manner. A system composed by real-time subsystems with hierarchy is called hierarchical real-time system. Formal methods for real-time systems are mathematically rigorous ways to specify real-time systems and verify real-time properties of the systems. The \textit{Algebra of Communicating Shared Resources with Value Passing} (ACSR-VP) is a process algebraic approach to the formal specification and verification of real-time systems. When applying ACSR-VP to hierarchical real-time systems, there were several issues such as (1) model checking of real-time properties of ACSR-VP models, (2) symbolic deadlock checking of large ACSR-VP specifications and (3) schedulability analysis of hierarchical real-time systems. This thesis proposes solutions for these problems. Firstly, in analyzing ACSR-VP models, the existing techniques such as bisimulation checking and Hennessy-Milner Logic (HML) model checking are very important in theory of ACSR-VP, but they are difficult to use for large complex system models in practice. In this thesis, we suggest a framework to verify ACSR-VP models against their requirements described in an expressive timed temporal logic. We demonstrate the usefulness of our approach with a real world case study. Secondly, deadlock checking plays a central role for performing schedulability analysis on real-time systems specified in ACSR-VP. Traditional deadlock checking methods for ACSR-VP raise state space explosion due to flattening data values. This thesis presents a new method to check deadlock for an ACSR-VP specification with a large number of states. We prove that deadlock checking of ACSR-VP can be seen as deadlock checking of transition systems. We propose a new method called VERSA-SAL to link between VERSA and the tool for transition systems called SAL. Lastly, this thesis describes a process algebraic approach to schedulability analysis of hierarchical real-time systems. To facilitate modeling and analyzing hierarchical real-time systems, we conservatively extend an existing process algebraic theory based on ACSR-VP for the schedulability of real-time systems. We explain a method to model a resource model in ACSR which may be partitioned for a subsystem. We also introduce schedulability relation to define the schedulability of hierarchical real-time systems and show that satisfaction checking of the relation is reducible to deadlock checking in ACSR and can be done automatically by the tool support of VERSA. With the schedulability relation, we present algorithms for abstracting real-time system workloads.

TRoS: formal specification and verification for platform-constrained embedded software

김지현 Graduate School, Korea University 2011 국내박사

This thesis presents a formal analysis framework for the development of real-time embedded software. In our framework, the application software and the real-time platform, i.e. real-time operating system, are formally and individually defined in their appropriate specification language. For the analysis, behavioral models for the embedded software components are analyzed independently in respect of their own characteristics, and then they are composed into one execution system to analyze their composite behavior in their interaction. The real-time embedded software often consists of application software and platform software, i.e. real-time operating system. The two embedded software components continuously interact with one another to achieve the purpose of the system; the application software calls a real-time operating system for system services, and the real-time operating system manages each process of application software to fairly share a limit resource. Thus, they are heterogeneous in a sense that application software is oriented to data-flow for the user's functionalities, whereas the platform is oriented to control-flow for control of software's executions. Hence, it is not easy to represent those capabilities in one behavioral model to analyze their composite behaviors. For the modeling of application software and platform, we propose here the use of Statecharts and its extension, named TRoS (Timed and Resource-oriented Statecharts), to formally specify respectively a functional behavior and a timed and resource-constrained behavior of application software, in particular, the use of ACSR (Algebra of Communicating and Shared Resources) to formally specify a controlling behavior of real-time operating system. TRoS we formally define here is an extension of Statecharts in terms of time and resource constraints for real-time embedded system. It has the capability to be extended from Statecharts only by annotation rules we define here. For analyzing the composite behavior of the two embedded software components, we present formal definition of composite behavior of application software and platform simulating their interactive behaviors. In particular, only the interaction behavior of TRoS is extracted from TRoS and abstracted into application software behavior model of ACSR, and the ACSR model is composed with ACSR model of platform, to prove the correctness and consistency of their interactive behaviors. Using our analysis framework, 1) the standard platform, such as ARINC 653 and OSEK, can be formalized into a formal specification in terms of a controlling behavior for application software, 2) application software behavior in Statecharts can be transformed into TRoS to represent a timed and resource-constrained functional behavior of the software, and 3) the timed and resource-constrained behavior of application software and the controlling behavior of platform software, i.e, real-time operating system, can be incorporated into a behavior system to analyze the correctness and consistency of their parallel behavior in their interaction. In this thesis, we apply our framework to the development of avionics embedded application software to run on a standard real-time platform, ARINC 653, to illustrate our approach to the analysis of real-time embedded software. Moreover, our approach using TRoS and ACSR is shown to be feasible, being applied to MDA (Model-Driven Architecture) which emphasizes model transformation and analysis from high-level abstraction and low-level abstraction of embedded software.