스케일러블 HEVC를 위한 잔차 신호 예측 부호화 방법에 관한 연구

김경혜 광운대학교 2014 국내석사

본 논문은 현재 표준화가 진행 중인 HEVC(High Efficiency Video Coding) 기반의 스케일러블 비디오 압축 표준인 SHVC(Scalable HEVC)를 위한 잔차 신호 예측 방법을 제안한다. 기존에 연구된 스케일러블 비디오 코덱을 위한 잔차 신호 예측은 IntraBL 방식을 기반으로 하고 있으며, 부호화 성능 향상과 함께 높은 복잡도를 발생시킨다. 본 논문에서는 현재 SHVC의 reference index (RefIdx) 구조에 맞는 잔차 신호 예측 방법을 제안하고, 잔차 신호 예측 시 추가적으로 발생하는 복잡도를 줄일 수 있는 방법에 대해 논의한다. 제안하는 방법을 적용함으로써 SHVC 참조 소프트웨어 대비 BD-rate가 약 1.0% 향상 되었고, 인코딩 및 디코딩 시간은 각각 0.9%, 5.0% 증가하였다. 또한 기존의 잔차 신호 예측 방법 대비 0.6%의 BD-rate 성능 감소를 보였으나, 잔차 신호 예측 모듈 내의 예측 블록 생성 과정에서 약 70% 정도의 산술 연산 횟수를 줄임으로써 부호화기 및 복호화기의 연산량을 감소시켰다. This paper proposes a generalized residual prediction method for scalable high efficiency video coding (SHVC). The generalized residual prediction is one of inter-layer prediction tools for enhancement layer coding in SHVC. Conventional generalized residual prediction methods have acceptable BD-rate gain but have high computational complexity due to the IntraBL framework. Moreover, the current SHVC standardization has adopted the reference index (RefIdx) framework instead of IntraBL and aims for a simple and compatible design with low complexity. The proposed method applies the RefIdx framework and significantly lowers computational complexity of the conventional generalized residual prediction. The proposed method has BD-rate gain of 1.0%, and 0.9% and 5.0% increase in encoding and decoding time (respectively), compared to the SHVC reference software (SHM-3.0.1). In addition, the proposed method reduces about 70% of arithmetic operations in the generalized residual prediction module compared to the conventional method.

(A) Study on fast mode decision for HEVC

김재환 성균관대학교 일반대학원 2012 국내석사

본 논문에서는 HEVC의 부호화 복잡도를 위한 빠른 모드 결정 방법을 제안한다. 제안 방법은 화면간 빠른 모드 결정과 화면내 빠른 모드 결정 방법으로 구성되어 있다. 제안하는 빠른 화면간 모드 결정 방법은 움직임 벡터의 차와 CBF(Coded Block Flag)를 이용하여 SKIP 모드를 조기에 결정하는 방법이다. 제안 방법을 수행하기 위해, SKIP 모드를 처음에 수행하지 않고 2Nx2N 모드를 먼저 수행한다. 제안 방법은 기존의 빠른 모드 결정 방법들 대비 비트율의 손실이 거의 없는 반면, 부호화기의 복잡도는 RA(Random Access)에서 약 29.38%, LD(Low Delay)에서 약 31.23% 줄일 수 있다. 또한, 제안하는 빠른 화면간 모드 결정 방법은 전처리 과정이기 때문에 이전에 제안되었던 방법들과 쉽게 결합하여 사용할 수 있다. 제안하는 빠른 화면내 모드 결정 방법은 현재 변환 유닛의 크기와 이전 예측 유닛의 화면내 모드를 사용하여 코딩유닛의 크기를 결정하는 방법이다. 부호화기의 복잡도를 추가적으로 줄이기 위해, 기존 RMD(Rough Mode Decision) 방법의 후보군의 수를 더 줄이고 현재 변환 유닛과 관련 있는 이전 깊이 변환 유닛의 화면내 모드를 RMD의 후보군으로 항상 포함시킨다. 실험 결과를 통해, 제안하는 화면내 빠른 모드 결정 방법은 HM 3.0 대비 약간의 비트율 증가가 발생하지만 IO 에서 약 22.32% 의 부호화가기 복잡도의 감소를 보인다. 본 논문에서는 제안하는 화면내와 화면간의 빠른 모드 결정 방법들을 적용함으로써, HEVC의 부호화기의 성능 하락을 최소화하면서 복잡도의 감소를 증대시킴을 실험적으로 증명하였다. In this thesis, a fast mode decision is proposed to reduce encoding complexity of HEVC. The proposed method is composed of fast inter mode decision and fast intra mode decision. For the fast inter mode decision, it proposes an early detection of SKIP mode which utilizes differential motion vector (DMV) and coded block flag (CBF). The proposed method executes inter 2Nx2N mode instead of the SKIP mode in the beginning. Experimental results of the proposed method show that the complexity can be reduced by up to 29.38% in random access configuration and 31.23% in low delay configuration with less bit rate increment than previous fast inter mode decision methods. Furthermore, since the proposed method of inter mode decision can be applied with other fast inter mode decision schemes, thus it is highly extensible. For the fast intra mode decision, it proposes an early termination method in hierarchical structure that uses the intra prediction mode of corresponding previous-depth prediction unit and block size of current-depth transform unit. Moreover, to reduce more complexity, the number of candidates of the rough mode decision is further reduced for rate-distortion optimization, and the intra prediction mode of corresponding previous depth prediction unit always is included in the list of candidates for intra mode decision. Experimental results show that the encoding complexity can be reduced by up to 22.32% in intra only configuration with only negligible bit rate increment compared to HM 3.0. The proposed methods for fast intra mode decision and fast inter mode decision reduce more encoding complexity while slightly increasing bit rate and our experiments can be also verified.

병렬 메모리 구조를 이용한 HEVC Deblocking Filter의 고성능 VLSI 설계

김현준 명지대학교 대학원 2015 국내석사

본 논문에서는 비디오코덱 병렬 메모리 구조를 이용한 HEVC Deblocking Filter의 고성능 VLSI 설계 VLSI 구조와 이를 위한 메모리 배치법을 제안한다. HEVC Deblocking Filter를 하드웨어 VLSI 구조로 설계해, 고해상도 영상을 처리할 수 있는지 크기는 현실성이 있는지, 실시간 처리에 적합한지에 대해 설계 결과를 통해 분석하여 최적의 VLSI 구조는 무엇인지를 제안하는 것이 논문의 목적이다. 병렬화를 통해 성능증가를 이끌어내어 8K 이상의 영상을 처리할 수 있다. 본 연구를 통해 2,4,8,16개의 병렬화 단계를 비교 분석한 결과, 필터를 8개로 병렬화한 구조가 크기 대비 성능 효율이 가장 좋았다. 따라서, HEVC Deblocking Filter의 Filter core를 8개로 병렬화 시키고 32ⅹ32 block기준으로 4단계 파이프라인 동작을 하는 하드웨어 구조를 사용한다. 그리고 병렬화를 했을 때 메모리에 효율적으로 사용할 수 있는 방법을 제안한다. 32x32 block을 16개의 SRAM을 이용해 나누어 저장하면 8개의 필터를 동시구동 할 수 있으며 이를 통해 8K 이상의 영상도 실시간 처리가 가능하게 된다. 설계 결과, 35MHz의 동작 주파수로 8K (7680ⅹ4320) 60fps 해상도의 동영상을 실시간 처리 할 수 있으며 Gate Count는 244K이다. 본 연구를 통해 HEVC의 Deblocking Filter 모듈은 8K 이상의 영상을 실시간 처리 할 수 있지만 다른 모듈들은 아직 8K급 영상을 실시간 처리하기 힘들다. 따라서 다른 모듈들 또한 8K급 영상을 처리할 수 있도록 성능증가 연구가 필요하다. In this paper, I proposed a memory organization method for this purpose high performance VLSI Architecture for HEVC Deblocking Filter with parallel memory structure. The HEVC Deblocking Filter was designed with the hardware VLSI architecture. and An optimal VLSI structure was analyzed by the design results for the purpose of paper to suggest what best VLSI structure about That can handle high-resolution images,  The reality is that the size, suitable for real-time processing. Bring out the performance increase through parallelization can handle 8K or more images. A comparative analysis of parallelism 2,4,8,16 step through the results of this study, the structure paralleling the filter size eight-performance efficiency the most good. Thus, the parallelization of a Filter core of HEVC Deblocking Filter 8 pieces and use a hardware architecture to a four-stage pipeline operation in 32ⅹ32 block basis. And a method is proposed that can be used effectively in the memory when the parallel. If a 32x32 block using the stored divided sixteen SRAM can simultaneously drive the eight filter is possible and is a real-time image processing through which more than 8K. Design results in an operating frequency of 35MHz 8K (7680ⅹ4320) 60fps video resolution can be real-time processing and is the Gate Count is 244K. Deblocking Filter module for HEVC from this study can be real-time processing of 8K or more images, but other modules are still difficult to handle 8K-quality video in real time. Therefore, the other modules also increases performance studies are needed to handle the 8K-quality video.

HEVC를 위한 고속 변환 크기 결정 방법

강장병 한밭대학교 정보통신전문대학원 2014 국내석사

본 논문에서는 HEVC (high efficiency video coding)의 복잡도 감소를 위한 고속 변환 크기 결정방법을 제안한다. HEVC는 변환과정을 결정하는 TU(transform unit)를 정의하며, TU는 재귀적인 트리구조를 사용하여 여러 개의 하위블록으로 분할할 수 있다. 이와 같은 트리구조의 사용으로 TU는 4x4 ~ 32x32의 다양한 블록크기를 지원할 수 있고, 이것은 높은 부호화 효율을 얻을 수 있는 핵심 기술이다. 하지만 필연적으로 부호화 복잡도가 증가하게 되고 이러한 부호화 복잡도의 증가는 HEVC의 단점 중 하나이다. 제안 방법은 마지막 0이 아닌 변환 계수의 위치를 기준으로 변환블록의 에너지 집중도를 판단하고, 에너지 집중도가 충분한 블록이면 하위 블록으로 분할하지 않을 확률이 높다는 실험결과에 근거하여 TU의 분할 여부를 빠르게 결정한다. 실험결과에서 제안방법은 Random_access_Main 모드에 대해 0.38%의 BD-rate 증가로 14%의 부호화 시간을 감소시킬 수 있음을 보인다.

HEVC 고속 부호화를 위한 고속 CU 크기 결정 방법

유향미 충북대학교 2015 국내박사

Nowadays, the content growth of HD and the HD broadcasting service are offering users to enjoy high quality and high resolution. In the near future, the content growth of UHD and the UHD broadcasting service also will be offered to users following the demands to needs for higher quality and higher resolution. For these high quality and high resolution video, the HEVC standard, the next generation of video coding standard, was developed recently on the JCTVC team. This HEVC was aimed to have two times higher coding efficiency than H.264/AVC, and now HEVC has about 35% data compression ratio when compared to the H.264/AVC using HEVC Test Model (HM) 9.0. The coding structure of the HEVC is based on the block based hybrid video coding structure by using the motion estimation/motion compensation (ME/MC) and discrete cosine transform (DCT) but it is much more sophisticated than the previous video coding standards. The fixed-size ME for the macroblock (MB) is changed into the variable-size prediction unit (PU) ME for the variable-size coding unit (CU). The H.264/AVC first introduced the variable-size ME varying from 16×16 down to 4×4 within the 16×16 MB and then achieved high video coding gain. However, the 16×16 block size is too small when applied to high resolution video such as 4k×2k and 8k×4k. For these high quality and resolution video sequences, the HEVC adapted a recursive quad-tree structured CU, which significantly improved coding efficiency but leaded to dramatic increase of the computational complexity. To reduce the computational complexity of the HEVC encoder, the fast CU size decision algorithms for the fast encoding of HEVC are proposed in this paper. First, we propose a fast CU decision algorithm based on initial CU estimation and early PU termination by using the CBF and RD cost. The HEVC encoder tests almost every CU for finding the best CU combination, which begins with LCU and ends with the smallest CU. This unconditional encoding start with LCU tends to waste the encoding time. Thus, we predict the initial CU depth effectively by using spatial and temporal characteristics of the video sequence before LCU encoding. Therefore, unnecessary large size CU encoding could be skipped and we can reduce the encoding time. In addition, we skipped the remaining PU process by early PU termination algorithm. We check and save the CBF and RD cost for each Inter PU mode. If these CBF and RD cost are satisfied with our condition, any remaining PU process are terminated within the current CU. In addition, encoding of sub-CUs of the CU is omitted. If early Inter PU termination is not occurred during the process of Inter PU modes, we apply Intra PU skip algorithm based on sub-CBF values obtained in Inter PU modes. This proposed algorithm achieves significant encoding time saving. In random access coding, The average encoding time savings are 37.97%, 49.91 when the weighted factor α value is 1.0 and 1.5 respectively. In low-delay P coding, The average encoding time savings are 33.61%, 43.52% depending on the weighted factor α value. we also propose the fast CU size decision based on hierarchical layer in temporal prediction structure of HEVC. This algorithm use the frame’s visual quality change depending on the hierarchical layers in random access structure which is one of the temporal prediction structures in HEVC to reduce the computational complexity in CU decision procedure. The structure of random access has four hierarchical layers according to the frame’s QP. Thus, the frames in this structure have the hierarchical visual quality change depending on layer. The proposed algorithm uses this characteristic of the hierarchical layer to select the reference in the previously encoded frame for estimating the current CU size early. And this algorithm performs the CU encoding from 64×64 CU to the predicted CU size. And also, In order to increase the rate of CU size decision more, the method using the distortion of SKIP mode is grafted onto the proposed algorithm. The proposed algorithm significantly reduce computational complexity of the HEVC encoder by up to 37.39% with only a small PSNR loss and bit rate increment.

HEVC 부호화 및 복잡도 성능 향상 기법

이상용 한국항공대학교 일반대학원 2012 국내석사

최근 HD(High Definition) 및 UHD(Ultra HD)와 같은 고해상도/고화질 영상 컨텐츠에 대한 수요가 급증하면서 기존의 최신 비디오 부호화 표준인 H.264/AVC보다 더 높은 부호화 효율을 제공하는 고성능 압축 부호화 기술의 필요성이 대두되었다. 이를 바탕으로 현재 ISO/IEC의 MPEG과 ITU-T VCEG의 공동협력팀인 JCT-VC에서 기존 H.264/AVC보다 두 배 이상의 높은 부호화 효율을 목표로 HEVC라는 새로운 비디오 부호화 표준화가 활발히 진행 중이다. 현재 HEVC는 표준화가 진행되면서 새로운 기술들의 채택으로 부호화 성능이 상당히 증가하였다. 새로운 기술에는 계층적 부호화 구조 및 변환 블록 구조, ALF(Adaptive Loop Filter), AMVP(Advanced Motion Vector Prediction), Merge, CRL(Combined Reference List), SAO(Sample Adaptive Offset) 등이 있으며, 그 외에도 기존 H.264/AVC의 기술들을 수정/확장하여 부호화 성능을 높였다. 하지만 더불어 HEVC 부호화기/복호화기의 복잡도도 상당히 증가하였다. HEVC 표준화에서는 압축 효율뿐만 아니라 부호화기/복호화기의 연산 복잡도도 중요하게 고려되고 있기 때문에, HEVC의 복잡도를 줄이는 방안도 주요 이슈가 되고 있다. 그리고 HEVC 표준화에서는 소프트웨어뿐만 아니라 하드웨어 구현 및 성능에 대해서도 많은 고려를 하고 있으며, 이와 관련하여 알고리즘의 간소화 및 병렬화에 대한 연구도 주요 이슈가 되고 있다. 따라서, 본 논문에서는 현재 HEVC 표준화 흐름에 맞춰 다양한 효율적인 부호화/복호화 방법과 알고리즘의 간소화 및 병렬화 방법, 그리고 고속 부호화 방법에 대해서 중점적으로 연구하였으며, HEVC의 다양한 기술들 중에 움직임 벡터 예측기를 이용한 효율적인 움직임 벡터 부호화/복호화 방법 및 움직임 벡터 부호화/복호화의 간소화 및 병렬화 방법, 효율적인 화면내 예측모드 부호화/복호화 방법 및 화면내 예측모드 부호화/복호화의 간소화 방법, 부호화 모드의 결합 부호화/복호화 방법, 그리고 HEVC 부호화기/복호화기의 복잡도를 감소시키는 방법에 대해서 제안한다. 본 논문에서 제안된 기술들은 고화질/고해상도 영상 컨텐츠를 지원하는 UHD/3D 등의 대용량 비디오 압축기술이나 UHDTV를 위한 UHD 비디오 코덱의 요소 기술 그리고 JCT-VC에서 MPEG과 VCEG이 공동 진행 중인 HEVC 표준화 기술로 활용 할 수 있을 것으로 기대된다.

HEVC 비디오 인코더와의 결합을 통한 저복잡도 디노이징 알고리즘

이승용 인하대학교 대학원 2018 국내석사

High Efficiency Video Coding (HEVC)와 같은 비디오 압축 표준들은 비디오의 시간 및 공간적 중복성을 찾고 이를 줄임으로써 적은 데이터로 고화질의 비디오를 저장 및 전송할 수 있다. 저조도 환경 혹은 낮은 카메라 성능으로 종종 발생하는 노이즈는 획득된 비디오의 시공간적 중복성을 저해하여 압축 효율을 저하시키는 주요 원인이다. 노이즈를 제거하기 위해 많은 알고리즘이 제안되었다. 그 중 Block Matching 3D collaborative filtering (BM3D)는 노이즈 제거에 우수한 성능을 보이는 디노이즈 알고리즘으로 알려져 있다. 넓은 탐색 범위에서 블록 매칭을 통해 그룹을 만들고 필터링과 그 결과를 집계하여 노이즈를 제거한다. 디노이즈 알고리즘과 비디오 인코더를 결합한 기존의 연구들은 인코더의 전처리 혹은 후처리 동작에 디노이징을 적용하였다. 그러나 디노이즈가 압축 효율을 크게 좌우한다는 점을 볼 때 인코딩과 긴밀하게 결합되어 수행될 필요가 있다. 또한 인코더의 특성을 고려하여 디노이즈 알고리즘에 반영한다면 계산 복잡도를 획기적으로 줄일 수 있는 기회가 있을 것이다. 본 논문은 HEVC 비디오 인코더와 BM3D 디노이징 알고리즘의 결합을 통한 저복잡도 디노이징 알고리즘 기법을 제시한다. 첫째, HEVC의 Motion Estimation (ME)정보를 이용하여 BM3D에서 수행되는 블록 매칭을 대체한다. 둘째, HEVC의 계층적 인코딩 구조를 바탕으로 필터링 결과를 집계하여 디노이즈 효과를 높인다. 제안하는 기법을 통해 우수한 디노이즈 성능을 보이지만 계산 복잡도가 높아 활용이 제한되는 BM3D알고리즘을 HEVC 인코더에 결합한다. 제안하는 기법은 디노이즈 성능을 유지하면서 계산 복잡도를 획기적으로 낮출 수 있다. Recent video compression standards such as High Efficiency Video Coding (HEVC) tries to reduce temporal and spatial redundancy in video, thereby storing and transmitting high-quality video less data. Noise, which is often caused by low-light environments or low camera performance, is a major cause of degradation of compression efficiency because it hinders the spatio-temporal redundancy of acquired video. Many algorithms have been proposed to remove noise. Among them, Block Matching 3D collaborative filtering (BM3D) is known as the most effective denoise algorithm. In a wide search range, block matching is used to create a group, and the noise is removed by filtering and the aggregation of results. In previous studies combining a denoise algorithm and a video encoder, denoising is used as pre-processing or post-processing of the encoder. However, it needs to be performed in tight coupling with the encoding because the noise affects the compression efficiently greatly. In addition, considering the characteristics of the encoder, there is an opportunity to significantly reduce computational complexity if it is reflected in the denoise algorithm. This paper proposes the low-complexity video denoising through the combination with an HEVC video encoder. First, the block matching process in BM3D is replaced by motion estimation (ME) in the HEVC encoder. Second, the hierarchical encoding structure of the HEVC is utilized to aggregate the filtering results to increase the denoise effect. In this paper, the BM3D algorithm, which shows excellent denoise performance but has a high computational complexity and a limited use, is combined to the HEVC encoder. As a result, the computational complexity can be drastically reduced while maintaining the denoise performance.

HEVC 기반 실시간 모바일 미디어 스트리밍 서버 설계 및 구현

권기수 배재대학교 대학원 2018 국내석사

최근 HDTV(High Definition TV) 출시 후 UHDTV(Ultra HDTV) 상용화가 현실로 다가오면서 고해상도 고품질 영상서비스에 대한 수요가 급증하고 있다. 2013년 새로운 표준안으로 승인된 HEVC(High Efficiency Video Coding) 기술은 기존 H.264 기술보다 FULL HD 해상도 기준 약 50%의 효율적인 압축률을 자랑한다. 또한, 디지털TV, DMB, 캠코더, CCTV, 스마트폰 등에 고해상도와 고화질 비디오를 적은 저장 공간 요구와 빠른 영상 정보처리를 지원하기에 적합하다. 스마트폰 운영체제로 널리 쓰이는 안드로이드는 2016년 8월에 HEVC 코덱을 지원하는 7.0 버전을 출시하였으며, 하드웨어 기술 발전과 고해상도 고품질 영상서비스에 대한 수요 급증을 원인으로 스마트폰에서도 고해상도와 고화질 비디오 서비스를 이용할 수 있게 되었다. 본 논문에서는 HEVC를 기반으로 한 서비스를 안드로이드 운영체제에서 실현하기 위하여 실시간 미디어 스트리밍(RTSP: Real-Time Streaming Protocol) 서버를 구축한다. 그리고 이렇게 구현된 애플리케이션의 성능을 평가하기 위해, 기존 H.264 코덱을 이용한 실시간 미디어 스트리밍 애플리케이션의 데이터 전송량, 배터리 사용량 및 CPU 점유율 측면에서 측정한 결과를 비교 분석하였다. 본 논문에서 구현한 HEVC 기반 애플리케이션은 H.264 코덱을 이용한 타 애플리케이션보다 데이터 전송량 측면에서 약 2배 가까운 효율을 얻을 수 있다. CPU 점유율과 배터리 소모량은 큰 차이를 보이지 않았으나, H.264 코덱을 이용한 애플리케이션보다 조금 높은 결과를 얻을 수 있었다. 제안된 HEVC 기반 서버를 통해, 안드로이드 스마트폰에서 실시간 미디어 스트리밍 서비스를 원할히 제공할 수 있음을 보였다. Recently, the demand of high resolution and high quality is surging because UHDTV(Ultra HDTV) be commercialization after HDTV(High Definition TV). HEVC technology approved as new standard in 2013 and Compression ratio is effective more than about 50% FULL HD as known as H.264. In addition, it is suitable to support storage space requirement and fast image processing of high-resolution and high-definition video such as digital TV, DMB, camcorder, CCTV, and smart phone. Android normally used as a smartphone operating system released version 7.0, which supports HEVC codec, in August 2016 and due to the development of hardware technology and the surge in demand for high-resolution and high-quality video services, Android can also use high-resolution and high-quality. In this paper, i did construct real-time streaming protocol (RTSP) server to realize HEVC-based service on Android OS. In order to evaluate the performance of the implemented application, i did compared the measured results in terms of data throughput, battery usage, and CPU usage of the real - time media streaming application using the existing H.264 codec. The HEVC-based application implemented in this paper can get efficiency about double as much as the data transmission amount than other applications using H.264 codec. CPU usage and battery consumption were not significantly different, but results were slightly higher than those of applications using the H.264 codec. With the proposed HEVC-based server, i showed that we can provide real-time media streaming service on android OS smartphone.

System-level Design Space Exploration for High Efficiency Video Coding

이형건 성균관대학교 일반대학원 2014 국내석사

Because the hardware component become increasingly complex, system-level design rises up to proper design methodology. And each hardware component has their characteristic purpose such as DSP(Digital signal processor), GPU(Graphic processor unit) and NoC(Network on chip). So we propose the system-level design methodology for specific algorithm. In this paper we choose HEVC as a target algorithm. As demand of high quality video processing is increasing, new version of image codec standard is developed. HEVC is that one. HEVC can support Ultra High Definition (UHD) digital TV and resolution up to 8192x4320. And it aims to achieve compression rate in the range of 50% bit-rate relative to existing standards. In the domain of video decoding technique, most kinds of resolution video play in 30 frames per seconds. So, decoding speed should be over the 30 frames per second. But to accomplish this goal of HEVC, particular architecture which can take advantage of HEVC’s feature is necessary. If we apply the HEVC in the multi-core architecture, there are so many methods to achieve goal of real-time video decoding speed. Although multi-core architecture with sufficient performance and memory size, HEVC test software cannot make use it very well. So not only the proper architecture for HEVC is needed but also modified HEVC test software should be considered. Gem5 simulator can provide various composition of multi-core architecture with maintaining the same OS and library environment for HEVC test model 11.0. HEVC test model can measurement overall decoding speed. Additional measurement function is attached in HEVC test model so that each task’s performance also can checked in simulation. Gem5 provide the information about hardware usage which includes the quantity of used CPU. In this paper, simulation result shows the trend of decoding speed according to the hardware option or software conditions. So, the design space to satisfying the goal of HEVC decoder can be explored and we can choose proper hardware architecture and type of modified HEVC decoder software. This shows that proposed methodology which is system-level design space exploration for specific algorithm can be a proper design method.

HEVC/VP9 Transform 통합 블록 설계

정슬기 숭실대학교 대학원 2016 국내석사

본 논문은 HEVC와 VP9의 계수 역변환 (inverse transform)을 수행하는 통합형 아키텍처를 제안하여 하드웨어 크기를 줄이고자 한다. 제안하는 아키텍처는 HEVC의 4×4 IDCT, 4×4 IDST, 8×8 IDCT, 16×16 IDCT, 32×32 IDCT와 VP9의 4×4 IDCT, 4×4 IADST, 4×4 IWHT, 8×8 IDCT, 8×8 IADST, 16×16 IDCT, 16×16 IADST, 32×32 IDCT의 모든 모드의 계수 역변환을 통합된 하드웨어에서 처리하도록 하였다. 우선 4×4 크기의 경우 HEVC의 4×4 IDCT와 VP9의 4×4 IDCT는 계수의 스케일만 차이가 있을 뿐 동일한 IDCT 연산을 사용하며, 마찬가지로 HEVC의 4×4 IDST와 VP9의 4×4 IADST도 계수의 스케일만 차이가 있을 뿐 동일한 IDST 연산을 수행한다. 더욱이 IDCT 연산과 IDST(혹은 IADST) 연산에는 상당히 많은 유사한 점이 있어 하드웨어의 일부를 공동으로 사용할 수 있다. 또한 다른 크기의 IDCT도 마찬가지로 연산 방식은 동일하며 계수의 스케일만 차이가 있다. 또한 상위 크기인 블록에서의 짝수 위치 부분의 계수와 하위 크기의 블록 전체 계수가 같다는 특징이 있다. VP9의 IADST 8×8과 IADST 16×16의 계수는 각각 상위 크기의 IDCT 블록의 홀수 위치 부분의 계수와 부호를 제외하고 동일하다. 따라서 제안하는 하드웨어는 총 13가지의 계수 변환에 대해 곱셈기의 계수가 같은 경우 이를 최대한 활용하고 계수가 동일하지 않은 경우에는 덧셈기 등을 공통으로 사용함으로써 통합적으로 수행한다. 0.18 μm 공정에서 합성하였을 때 게이트 수가 약 456,442 게이트로 기존 아키텍처 대비 22.6% 감소함을 확인하였다. This paper proposes a unified transform architecture for HEVC and VP9 to reduce hardware size. It performs HEVC 4×4 IDCT, 4×4 IDST, 8×8 IDCT, 16×16 IDCT, 32×32 IDCT and VP9 4×4 IDCT, 4×4 IADST, 4×4 IWHT, 8×8 IDCT, 8×8 IADST, 16×16 IDCT, 16×16 IADST, 32×32 IDCT in a unified hardware. First, except for the scales of coefficients, 4×4 IDCT of HEVC and 4×4 IDCT of VP9 have same IDCT computation. Similarly, except for the scales of coefficients, 4×4 IDST of HEVC and 4×4 IADST of VP9 have same IDST computation. Moreover, IDCT and IDST can share some parts of hardwares in common because they have a lot of similarity. Also, in case of other sizes of IDCT, except for the scales of coefficients, they have same IDCT computation. Coefficients of even part in upper blocks is same with whole coefficients of lower block. And in case of VP9 8×8 and 16×16 IADST, coefficients is same with coefficients of odd part in upper blocks of IDCT, respectively. So, about all 12 operations, the proposed hardware utilizes features that multiplication coefficients are same, otherwise adders are used in common. In 0.18 μm technology, the synthesized block is 456,442 gates, and in comparison with conventional designs, the gate count is reduced by 22.6%.