A Study on Low-Complexity LFNST using Energy-Based Early Termination Seok-hyun Yang

다국어 초록 (Multilingual Abstract)

Low Frequency Non-Separable Transform （LFNST） is an essential tool in Versatile Video Coding （VVC） that improves coding efficiency by enhancing energy compaction in the transform domain. However, the integration of LFNST into the rate-distortion optimization process introduces additional computational complexity due to repeated kernel evaluations. This increased complexity becomes a critical issue for practical video encoding systems. In this thesis, an energy-based early termination method is proposed to reduce the computational complexity of LFNST process. The proposed method analyzes the distribution of transform-domain energy and determines whether LFNST should be applied at an early stage. Specifically, the proposed method computes the proportion of residual energy concentrated in the low-frequency region to which LFNST is applied. If this proportion falls below a predefined threshold for a given transform block, the LFNST kernel selection process is skipped. LFNST compacts energy only within that region. Blocks with a low proportion therefore retain substantial energy outside it and gain little from LFNST. This criterion replaces repeated rate-distortion evaluations with a single energy comparison and reduces unnecessary computations. The proposed method was implemented on VTM-23.0 and evaluated under the All Intra configuration following the JVET Common Test Conditions. Experimental results show that the proposed method achieves up to 6% encoding time reduction with only a 0.58% increase in BD-rate for the luma component. The statistical analysis of LFNST index distributions demonstrates that the proposed method increases the proportion of blocks that skip LFNST, which explains both the reduction in computational complexity and the corresponding coding efficiency loss. In conclusion, the proposed energy-based early termination method provides an effective solution for reducing the complexity of LFNST while maintaining competitive coding performance.

국문 초록 (Abstract)

저주파 비분리 변환（LFNST）은 변환 영역에서 에너지 압축을 향상시켜 코딩 효율을 높이는 VVC（Versatile Video Coding）의 변환 기술이다. 그러나 LFNST를 율-왜곡 최적화 과정에 통합하면 커널 평가가 반복적으로 발생하여 계산 복잡도가 증가한다. 이러한 복잡도 증가는 실제 비디오 인코딩 시스템에 문제를 야기할 수 있다.
본 논문에서는 LFNST의 계산 복잡성을 줄이기 위해 에너지 기반조기 종료 방법을 제안한다. 제안된 방법은 1차 변환 계수의 관심 영역과 잔차 에너지 비율을 분석하여 해당 블록에 LFNST를 적용 여부를 판단한다. 에너지 비율이 임계값 이하일 때 에너지 집중도가 낮다고 판단하고 불필요한 LFNST 커널 선택 과정을 조기에 종료한다.
제안된 방법은 VTM-23.0에 구현되었으며, JVET 공통 테스트 조건에 따른 All Intra 구성에서 성능을 평가하였다. 실험 결과에 따르면 제안된 방법은 휘도 성분에 대해 인코딩 시간을 최대 6%까지 단축하는 동시에 BD-rate는 0.58%만 증가시키는 것을 보였다. 디코딩 시간은 유지됨을 보였다.
LFNST 인덱스 분포에 대한 통계 분석 결과, 제안된 방법은LFNST를 건너뛰는 블록의 비율을 증가시키는 것으로 나타났으며,이는 계산 복잡성 감소와 그에 따른 코딩 효율 손실 감소를 나타낸다.
결론적으로, 제안된 에너지 기반 조기 종료 방법은 경쟁력 있는코딩 성능을 유지하면서 LFNST의 복잡성을 줄이는 효과적인 해결책을 제공한다. 더 나아가, 적응형 임계값 선택을 통해 추가적인 개선 가능성을 시사한다.

목차 (Table of Contents)

• 1. Introduction 10
• 1.1 Overview of VVC and LFNST 10
• 1.2 Detailed Description of LFNST 12
• 2. Related Works 19
• 2.1 Related Works of VVC 19
• 2.2 Motivation of This Work 23
• 3. Proposed Method 26
• 3.1 Conventional LFNST Kernel Selection Process 26
• 3.2 Proposed Early Termination Method 28
• 4. Experimental Results and Analysis 34
• 4.1 Experimental Conditions 34
• 4.2 Experimental Results 38
• 4.3 Analysis and Discussion 42
• 5. Conclusion 50