HEVC 부호화기 소프트웨어의 통계적 특성 및 복잡도 분석

안용조,황태진,유성은,한우진,심동규,Ahn, Yongjo,Hwang, Taejin,Yoo, Sungeun,Han, Woo-Jin,Sim, Donggyu 한국방송∙미디어공학회 2012 방송공학회논문지 Vol.17 No.6

본 논문에서는 현재 표준화가 진행 중인 HEVC (high efficiency video coding) 부호화기의 고속화, 최적화, 병렬화 연구에 앞서 통계적 특성 및 복잡도 분석을 수행하였다. HEVC는 H.264/AVC에 비해 약 2배의 압축 성능을 나타내지만 부호화기 복잡도는 크게 증가하여 이는 앞으로 해결해야할 문제로 남아있다. HEVC의 높은 부호화기 복잡도를 해결하기 위한 고속화, 최적화, 병렬화 연구에 앞서, 본 논문에서는 HEVC 참조소프트웨어인 HM 7.1을 이용하여 HEVC 부호화기의 복잡도를 측정하였다. 추가적으로, 실제 응용에서 사용될 고속 HEVC 부호화기 소프트웨어에 대한 예상 복잡도를 고속 알고리듬이 적용된 HM 7.1 소프트웨어로 측정하였다. 복잡도 측정은 공통 실험 영상 및 조건을 사용하였으며 PC 환경에서 부호화기 소프트웨어의 동작 사이클을 측정하고 이를 분석하였다. 또한, 부호화를 통해 생성된 비트스트림을 이용하여 HEVC 부호화기 소프트웨어의 부호화 구조에 따른 통계적 특성과 제한적 부호화에 따른 통계적 특성에 대하여 제시하고 이를 분석한다. In this paper, we analyzed statistical characteristics and complexity of HEVC encoder as a leading research of acceleration, optimization and parallelization. Computational complexity of the HEVC encoder is approximately twice the compression performance compared to H.264/AVC. But, the increase of encoder complexity remains a problem to be solved in the future. Before performing the research on acceleration, optimization and parallelization to reduce high complexity of HEVC encoder, we measure the complexity each module for HEVC encoder using it's reference software HM 7.1. We also measured the predicted complexity of fast HEVC encoder software, used in real applications, using HM 7.1 applying fast encoding method. The complexity is measured in terms of the operating cycle of the encoder software under the common test sequences and conditions in the Windows PC environment. In addition, we analyze statistical characteristics of HEVC encoder software according to encoding structures and limitation using coded bitstreams.

QTBT 블록 구조에서 대각선 움직임 분할

안용조(Ahn, Yongjo) 한국방송·미디어공학회 2018 한국방송공학회 학술발표대회 논문집 Vol.2018 No.6

매크로블록의 움직임 특성을 고려한 H.264/AVC 고속 부호화 모드 결정

안용조(Ahn Yong-Jo),남정학(Nam Jung-Hak),심동규(Sim Dong-Gyu) 한국방송·미디어공학회 2010 한국방송공학회 학술발표대회 논문집 Vol.2010 No.7

H.264/AVC는 율-왜곡 계산에 기반한 화면 내 예측과 화면 간 예측을 통하여 높은 압축효율을 나타낸다. 그러나 모든 예측 모드의 율-왜곡 값을 계산하여 하나의 최적의 모드를 구하는 기존의 방법은 높은 계산량을 가지며 부호화에 걸리는 시간을 현저히 증가시킨다. 이러한 높은 계산량을 갖는 모든 예측모드의 율-왜곡 계산을 보완하기 위하여, 본 논문에서는 매크로블록의 움직임 특성을 고려한 고속 부호화 모드 결정 방법을 제안한다. 각각의 매크로블록을 부호화하기 위해 미리 계산되는 SKIP모드에 대한 율-왜곡 값을 바탕으로 두 가지 문턱 값을 사용하여 움직임의 특성을 판단한다. 움직임의 특성에 따라 매크로블록은 3가지 분류로 나뉘게 되며, 각 분류에 따라 경쟁 모드를 적응적으로 선별하여 최적의 모드를 선택한다. 이러한 움직임 특성을 고려한 선택적 부호화 모드 결정을 통하여 부호화 효율의 큰 손실 없이 계산량을 감소시킴으로서 H.264/AVC의 고속 부호화가 가능한 x.264 대비 MMX를 사용하였을 때 16%, MMX를 사용하지 않았을 때 22%의 속도향상을 가져왔다.

ASIP를 이용한 다중 비디오 복호화기 설계 및 최적화

안용조(Yong-Jo Ahn),강대범(Dae-Beom Kang),조현호(Hyun-Ho Jo),지봉일(Bong-Il Ji),심동규(Dong-Gyu Sim),엄낙웅(Nak-Woong Eum) 大韓電子工學會 2011 電子工學會論文誌-CI (Computer and Information) Vol.48 No.1

본 논문은 다양한 비디오 표준의 복호화가 가능한 프로세서를 설계하고, MPEG-2, MPEG-4 및 AVS(Audio video standard)를 이용하여 프로세서의 성능을 검증하였다. 일반적으로 하드웨어 비디오 복호화기는 고속의 복호가 가능하나 설계 및 수정이 어렵다. 반면, 소프트웨어기반의 경우에는 구현이 상대적으로 수월하고 수정이 용이하나, 동작 성능이 낮아 기대하는 속도를 얻기 어렵다. 본 연구에서는 두 가지 연구 설계방법의 장점을 동시에 충족시키는 방법으로 ASIP(Application specific instruction-set processor) 프로세서를 설계하였다. 또한, 비디오 복호화기의 공통 모듈을 연구하여 8개의 모듈로 나누었고, 각 모듈에 공통적으로 적용할 수 있는 다수의 멀티미디어 전용 명령어를 프로세서에 추가하였다. 비디오 복호화기를 위해 개발된 프로세서는 Synopsys 플랫폼 시뮬레이터와 FPGA 보드에서 성능을 평가하였다. 결과적으로 MPEG-2, MPEG-4 및 AVS에 적용하여 평균 37%의 복호 속도를 향상시켰다. In this paper, we present a multi-media processor which can decode multiple-format video standards. The designed processor is evaluated with optimized MPEG-2, MPEG-4, and AVS (Audio video standard). There are two approaches for developing of real-time video decoders. First, hardware-based system is much superior to a processor-based one in execution time. However, it takes long time to implement and modify hardware systems. On the contrary, the software-based video codecs can be easily implemented and flexible, however, their performance is not so good for real-time applications. In this paper, in order to exploit benefits related to two approaches, we designed a processor called ASIP(Application specific instruction-set processor) for video decoding. In our work, we extracted eight common modules from various video decoders, and added several multimedia instructions to the processor. The developed processor for video decoders is evaluated with the Synopsys platform simulator and a FPGA board. In our experiment, we can achieve about 37% time saving in total decoding time.

실시간 HEVC 인코더 구현을 위한 병렬화 기법에 관한 연구

안용조(Yongjo Ahn),황태진(Taejin Hwang),이동규(Dongkyu Lee),김상민(Sangmin Kim),오승준(Seoung-Jun Oh),심동규(Dong-gyu Sim) 한국방송·미디어공학회 2013 한국방송공학회 학술발표대회 논문집 Vol.2013 No.6

ITU-T VCEG 과 ISO/IEC MPEG 이 공동으로 구성한 JCT-VC (Joint Collaborative Team on Video Coding)이 표준화를 진행 중인 HEVC (High Efficiency Video Coding)은 H.264/AVC 대비 약 2 배의 압축효율을 갖는다. 하지만, 계층적 구조를 갖는 가변크기 블록의 사용과 재귀적 부호화 구조에 따른 인코더의 복잡도 증가는 개선해야 할 문제점으로 지적되고 있다. 본 논문에서는 현재 표준화가 진행 중인 HEVC 인코더의 실시간 구현을 위한 SIMD 명령어를 이용한 data-level 병렬화 기법, CPU 및 GPU 를 이용한 multi-threading 기법과 같은 다양한 병렬화 기법을 소개한다. 또한, 이러한 병렬화 기법들을 HEVC 인코더에 적용하기 위해 적합한 연산 및 기능 모듈에 대하여 소개한다. 본 연구를 통하여 HM (HEVC reference model)에 적용한 결과 832×480 영상의 경우 20-30fps 의 부호화 속도를 나타냈으며, 1920×1080 영상의 경우 5-10fps 의 부호화 속도를 나타내었다.

CU 깊이 우선 결정 기반의 HEVC 고속 부호화 방법

유성은(SungEun Yoo),안용조(Yong-Jo Ahn),심동규(DongGyu Sim) 大韓電子工學會 2012 電子工學會論文誌-SP (Signal processing) Vol.49 No.3

본 논문은 HEVC 인코딩 속도 향상을 위한 고속 CU (Coding Unit) 결정 방법을 제안한다. 본 논문에서는 계산 복잡도 감소와 속도향상을 위하여 CU, PU (Prediction Unit), 그리고 TU (Transform Unit)의 결정을 두 단계로 나누어 실시한다. 첫 번째 단계에서는 LCU (Largest Coding Unit)내 각 CU의 깊이를 결정하며, 이때 2N×2N PU의 선택 비율이 높다는 통계적 특성을 고려하여 2N×2N PU만을 사용한다. 두 번째 단계에서는 첫 번째 단계에서 결정된 CU의 깊이 정보를 이용하여, 해당 깊이에서 정확한 PU와 TU를 결정한다. 또한, 두 번째 과정에서는 보다 효율적인 복잡도 감소 효과를 얻기 위하여 제안하는 스킵을 이용한 CU 조기 종료 알고리듬 이용한다. 제안하는 방법은 모든 깊이에서, 모든 종류의 PU와 TU의 결정을 통한 부호화 과정을 거치지 않기 때문에 계산 복잡도 감소 효과를 얻을 수 있으며, 기존의 HEVC 레퍼런스 소프트웨어인 HM3.3 대비 약 2% 정도의 비트율이 증가하면서, 약 50%의 복잡도 감소 효과를 얻을 수 있었다. In this paper we propose the fast CU (Coding Unit) mode decision method. To reduce computational complexity and save encoding time of HEVC, we divided CU, PU (Prediction Unit) and TU (Transform Unit) decision process into two stages. In the first stage, because 2Nx2N PU mode is mostly selected among 2Nx2N, Nx2N, 2NxN, NxN PU modes, proposed algorithm uses only 2Nx2N PU mode deciding depth of each CU in the LCU (Largest CU). And then, proposed method decides exact PU and TU modes at the depth level which is decided in the first stage. In addition, early skip decision rule is applied to the proposed method to obtain more efficient computational complexity reduction. The proposed method reduces computational complexity of the HEVC encoder by simplifying a CU depth decision method. We could obtain about 50% computational complexity reduction in comparison with HM 3.3 HEVC reference software while bitrate compressed by the proposed algorithm increases only 2%.

SIMD 명령어 기반 HEVC RExt 복호화기 고속화

목정수(Jung-Soo Mok),안용조(Yong-Jo Ahn),류호찬(Hochan Ryu),심동규(Donggyu Sim) 한국방송·미디어공학회 2015 방송공학회논문지 Vol.20 No.2

In this paper, we introduce the fast decoding method with the SIMD (Single Instruction Multiple Data) instructions for HEVC RExt (High Efficiency Video Coding Range Extensions). Several tools of HEVC RExt such as intra prediction, interpolation, inverse-quantization, inverse-transform, and clipping modules can be classified as the proper modules for applying the SIMD instructions. In consideration of bit-depth increasement of RExt, intra prediction, interpolation, inverse-quantization, inversetransform, and clipping modules are accelerated by SSE (Streaming SIMD Extension) instructions. In addition, we propose effective implementations for interpolation filter, inverse-quantization, and clipping modules by utilizing a set of AVX2 (Advanced Vector eXtension 2) instructions that can use 256 bits register. The evaluation of the proposed methods were performed on the private HEVC RExt decoder developed based on HM 16.0. The experimental results show that the developed RExt decoder reduces 12% average decoding time, compared with the conventional sequential method.

움직임 벡터의 계층적 군집화를 통한 HEVC 고속 부호화 연구

임정윤(Jeongyun Lim),안용조(Yong-Jo Ahn),심동규(Donggyu Sim) 한국방송·미디어공학회 2016 방송공학회논문지 Vol.21 No.4

In this paper, the fast encoding algorithm in High Efficiency Video Coding (HEVC) encoder was studied. For the encoding efficiency, the current HEVC reference software is divided the input image into Coding Tree Unit (CTU). then, it should be re-divided into CU up to maximum depth in form of quad-tree for RDO (Rate-Distortion Optimization) in encoding precess. But, it is one of the reason why complexity is high in the encoding precess. In this paper, to reduce the high complexity in the encoding process, it proposed the method by determining the maximum depth of the CU using a hierarchical clustering at the pre-processing. The hierarchical clustering results represented an average combination of motion vectors (MV) on neighboring blocks. Experimental results showed that the proposed method could achieve an average of 16% time saving with minimal BD-rate loss at 1080p video resolution. When combined the previous fast algorithm, the proposed method could achieve an average 45.13% time saving with 1.84% BD-rate loss.

S-JND 모델을 사용한 주관적인 율 제어 알고리즘 기반의 HEVC 부호화 방법

김재련(JaeRyun Kim),안용조(Yong-Jo Ahn),임웅(Woong Lim),심동규(Donggyu Sim) 한국방송·미디어공학회 2016 방송공학회논문지 Vol.21 No.6

This paper proposes the rate control algorithm based on the S-JND (Saliency-Just Noticeable Difference) model for considering perceptual visual quality. The proposed rate control algorithm employs the S-JND model to simultaneously reflect human visual sensitivity and human visual attention for considering characteristics of human visual system. During allocating bits for CTU (Coding Tree Unit) level in a rate control, the bit allocation model calculates the S-JND threshold of each CTU in a picture. The threshold of each CTU is used for adaptively allocating a proper number of bits; thus, the proposed bit allocation model can improve perceptual visual quality. For performance evaluation of the proposed algorithm, the proposed algorithm was implemented on HM 16.9 and tested for sequences in Class B and Class C under the CTC (Common Test Condition) RA (Random Access), Low-delay B and Low-delay P case. Experimental results show that the proposed method reduces the bit-rate of 2.3%, and improves BD-PSNR of 0.07dB and bit-rate accuracy of 0.06% on average. We achieved MOS improvement of 0.03 with the proposed method, compared with the conventional method based on DSCQS (Double Stimulus Continuous Quality Scale).

HEVC 스크린 콘텐츠 코딩 성능 향상을 위한 화면 내 블록 카피 기술 분석

마종현(Jonghyun Ma),안용조(Yong-Jo Ahn),심동규(Donggyu Sim) 한국방송·미디어공학회 2015 방송공학회논문지 Vol.20 No.1

This paper describes and analyzes IBC (intra block copy) in HEVC (high efficiency video coding) SCC (screen content coding) to improve the coding efficiency of IBC. HEVC SCC reference software SCM 2 is employed to analyze the selection ratio of IBC which is newly adopted in HEVC SCC, and the tools for IBC such as the block vector prediction and block vector coding method are evaluated. Experimental results show the average IBC selection ratio is 31.08% and 0.33% in I-Slice and B-Slice, respectively. Based on this results, the coding efficiency of IBC could be improved by utilizing IBC selectively. In addition, analysis tests of block vector prediction and the block vector coding method show the current methods are not efficient to screen content videos, and the analysis results are presented to improve these methods.