움직임벡터 군집화를 이용한 H.264/AVC에서 MPEG-2로의 비디오 트랜스코딩

신윤정,손남례,이귀상,Shin, Yoon-Jeong,Son, Nam-Rye,Nguyen, Dinh Toan,Lee, Guee-Sang 한국전자통신학회 2010 한국전자통신학회 논문지 Vol.5 No.1

H.264/AVC는 기존 비디오 코덱보다 성능이 우수하여 최근 IPTV, DMB등의 압축표준으로 사용되고 있다. 따라서 H.264/AVC로 압축된 데이터를 이전 코덱을 사용하는 장비에서 이용하기 위하여 트랜스코딩 연구가 이루어지고 있다. 본 연구에서는 움직임벡터의 군집화(Clustering)를 이용한 H.264/AVC에서 MPEG-2로의 트랜스코딩 방법을 제시한다. H.264/AVC 비트스트림을 MPEG-2의 인코더로 보낼 때 H.264/AVC 가변블록의 움직임벡터들의 거리와 방향성을 고려한 클러스터링을 수행하여 후보벡터를 선택한 후 최소의 왜곡치를 갖는 1개의 움직임벡터로 최종 결정한다. 이렇게 선정된 최종 움직임벡터는 MPEG-2 인코더에서 ${\pm}2$ pixel 만큼 전역탐색으로 보정 한 후 재사용하는 방법으로 트랜스코딩 시간을 최소화하고자 한다. 실험을 통하여 계산시간과 비디오 화질을 비교한 결과 기존연구보다 PSNR값이 최대 6.7% 향상되었으며 부호화 시간은 최대 64% 개선되었다. The H.264/AVC is increasingly used in broadcast video applications such as Internet Protocol television (IPTV), digital multimedia broadcasting (DMB) because of high compression performance. But the H.264/AVC coded video can be delivered to the widespread end-user equipment for MPEG-2 after transcoding between this video standards. This paper suggests a new transcoding algorithm for H.264/AVC to MPEG-2 transcoder that uses motion vector clustering in order to reduce the complexity without loss of video quality. The proposed method is exploiting the motion information gathered during h.264 decoding stage. To reduce the search space for the MPEG-2 motion estimation, the predictive motion vector is selected with a least distortion of the candidated motion vectors. These candidate motion vectors are considering the correlation of direction and distance of motion vectors of variable blocks in H.264/AVC. And then the best predictive motion vector is refined with full-search in ${\pm}2$ pixel search area. Compared with a cascaded decoder-encoder, the proposed transcoder achieves computational complexity savings up to 64% with a similar PSNR at the constant bitrate(CBR).

주파수 특성의 제약 조건들을 이용한 H.264/AVC를 위한 고속 화면 내 모드 선택 방법

진순종(Soonjong Jin),박상준(Sang-Jun Park),정제창(Jechang Jeong) 한국통신학회 2008 韓國通信學會論文誌 Vol.33 No.4C

H.264/AVC 비디오 부호화 표준은 MPEG-2, H.263 또는 MPEG-4와 같은 기존의 비디오 부호화 표준과 비교하여 상당한 부호화 효율의 향상을 제공한다. 부호화 효율의 향상을 수행하기 위해서 H.264/AVC는 매크로블록 단위로 최적의 움직임 벡터, 참조 화면, 매크로블록 모드를 선택하는데 있어서 율-왜곡 최적화 (Rate-distortion optimization) 기법을 이용한다. 결과적으로 높은 부호화 효율을 제공함과 동시에 복잡도 역시 상당히 증가하였다. 본 논문에서는 화면 내 부호화 모드들에서 나타나는 주파수 특성의 제약 조건들을 이용하여 고속 화면 내 모드 선택 방법을 제안한다. 먼저 영상의 주파수 해석을 통해 H.264/AVC의 화면 내 모드 별 특성을 살펴본다. 다음 제안하는 주파수 에러 비용 (Frequency Error Cost, FEC)을 계산하여 최소 비용을 가지는 모드와 그 주변 모드 2개만을 후보 모드로 선택하고 후보 모드의 율-왜곡 비용만을 계산하여 최적의 화면 내 모드를 결정하여 복잡도를 감소시킨다. 실험 결과는 제안하는 방법이 H.264/AVC와 비교하여 비슷한 율-왜곡 성능을 보이면서 복잡도를 상당히 감소시킴을 보여준다. H.264/AVC video coding standard enables a considerably higher improvement in coding efficiency compared with previous standards such as MPEG-2, H.263 and MPEG-4. To achieve this, for each macro-block in H.264/AVC, Rate-Distortion Optimization (RDO) technique is employed to select the best motion vector, reference frame, and macro-block mode. As a result, computational complexity is increased significantly whereas RDO achieve higher improvement. This paper presents fast intra mode selection algorithm based on constraints of frequency characteristics which are derived from intra coding modes of H.264/AVC. First of all, we observe the features of each intra mode through the frequency analysis of image. And then proposed Frequency Error Costs (FECs) are calculated to select the best mode which has minimum cost. Computational complexity is considerably reduced because rate-distortion costs only calculate the candidate modes which are set of best mode and its neighbouring two modes. Experimental results show that proposed algorithm reduces the complexity dramatically maintaining the rate-distortion performance compared with H.264/AVC reference software.

효율적인 H.264/AVC 엔트로피 복호기 설계

문전학(Jeonhak Moon),이성수(Seongsoo Lee) 대한전자공학회 2007 電子工學會論文誌-SD (Semiconductor and devices) Vol.44 No.12

본 논문에서는 메모리 공정이 필요 없고 내장 프로세서를 사용하지 않는 H.264/AVC 엔트로피 복호기를 제안한다. 기존에 발표된 H.264/AVC 엔트로피 복호기의 경우 상당수의 연구가 내부의 ROM 또는 RAM이 필요하기 때문에 일반적인 디지털 로직 공정에서 구현이 어렵다. 또한 상당수의 연구가 비트열 처리를 위하여 내장 프로세서를 사용하기 때문에 면적이 크고 전력소모가 많은 단점을 가지고 있다. 본 논문에서는 내장 프로세서를 사용하지 않는 H.264/AVC Hardwired 엔트로피 복호기를 제안함으로써 데이터 처리 속도를 증가 시키고 전력 소모를 줄인다. 또한 CAVLC 복호기에서 복호 시에 이용되는 룩업 테이블 및 저장 공간을 최적화하고 내장 메모리를 사용하지 않는 구조를 제안함으로써, 기존 연구에 비해 하드웨어 크기를 줄이고 ROM 또는 RAM이 지원되지 않는 디지털 로직 제조 공정에서도 쉽게 구현이 가능하다. 설계된 엔트로피 복호기는 H.264/AVC 비디오 복호기의 일부로 내장되어 전체 시스템에서 동작하는 것을 검증하였다. TSMC 90㎚ 공정으로 합성한 결과 최대동작주파수는 125㎒이며, QCIF, CIF, QVGA 영상을 지원할 뿐만 아니라 nC 레지스터 등 약간의 수정을 통해서 VGA 영상도 지원이 가능하다. This paper proposes a H.264/AVC entropy decoder without embedded processor nor memory fabrication process. Many researches on H.264/AVC entropy decoders require ROM or RAM fabrication process, which is difficult to be implemented in general digital logic fabrication process. Furthermore, many researches require embedded processors for bitstream manipulation, which increases area and power consumption. This papers proposes hardwired H.264/AVC entropy decoder without embedded processor, which improves data processing speed and reduces power consumption. Furthermore, its CAVLC decoder optimizes lookup table and internal buffer without embedded memory, which reduces hardware size and can be implemented in general digital logic fabrication process without ROM or RAM fabrication process. Designed entropy decoder was embedded in H.264/AVC video decoder, and it was verified to operate correctly in the system. Synthesized in TSMC 90㎚ fabrication process, its maximum operation frequency is 125㎒. It supports QCIF, CIF, and QVGA image format. Under slight modification of nC register and other blocks, it also support VGA image format.

멀티코어 시스템을 위한 멀티스레드 H.264/AVC 병렬 디코더

김원진(Won-Jin Kim),조걸(Keol Cho),정기석(Ki-Seok Chung) 大韓電子工學會 2010 電子工學會論文誌-SD (Semiconductor and devices) Vol.47 No.11

고해상도의 동영상 서비스가 보편화 되면서 동영상을 빠르게 처리를 위한 연구가 활발히 이루어지고 있다. 멀티코어 프로세서의 사용이 증가하고 멀티코어 시스템에서 H.264/AVC 디코더를 구현하기 위하여 다양한 병렬화 방법이 제안되고 있다. 하지만 H.264/AVC 디코더를 병렬화 하는 경우, 각 스레드에서 처리하는 데이터의 처리 시간 차이로 인하여 지속적으로 스레드의 동기를 확인해야 하는데, 이는 병렬화를 통한 디코더의 성능 향상의 걸림돌이 된다. 이러한 병렬화 과정에서 발생하는 문제점을 해결하기 위해 우리가 제안하는 Multi -Threaded Parallelization(MTP) 방법은 프레임을 매크로 블록 묶음으로 나누어 병렬화 한다. 그리고 병렬화 과정에서 스레드를 처리하는 방법을 개선하고, 메모리를 재사용함으로써 디코더의 성능을 향상 시켰다. 본 논문에서는 FFmpeg H.264/AVC 디코더를 인텔 쿼드 코어 기반의 멀티코어 시스템에서 멀티 스레드로 구현하여 실험이 진행되었다. 그 결과, MTP 방법을 적용하여 병렬화 방법 적용하지 않은 H.264/AVC 디코더와 비교하여 최대 53%의 성능 향상을 보였으며, 2Dwave 병렬화 방법의 메모리 사용량에 비해 HD 영상에서 65%, FHD 영상에서 81%의 메모리 사용량을 줄 일 수 있었다. Wide deployment of high resolution video services leads to active studies on high speed video processing. Especially, prevalent employment of multi-core systems accelerates researches on high resolution video processing based on parallelization of multimedia software. In this paper, we propose a novel parallel H.264/AVC decoding scheme on a multi-core platform. Parallel H.264/AVC decoding is challenging not only because parallelization may incur significant synchronization overhead but also because software may have complicated dependencies. To overcome such issues, we propose a novel approach called Multi-Threaded Parallelization(MTP). In MTP, to reduce synchronization overhead, a separate thread is allocated to each stage in the pipeline. In addition, an efficient memory reuse technique is used to reduce the memory requirement. To verify the effectiveness of the proposed approach, we parallelized FFmpeg H.264/AVC decoder with the proposed technique using OpenMP, and carried out experiments on an Intel Quad-Core platform. The proposed design performs better than FFmpeg H.264/AVC decoder before the parallelization by 53%. We also reduced the amount of memory usage by 65% and 81% for a high-definition(HD) and a full high-definition(FHD) video, respectively compared with that of popular existing method called 2Dwave.

H.264/AVC의 $4{\times}4$ DCT기반 워터마크에 따른 영상왜곡과 비트율 변화에 대한 연구

김성민,원치선,Kim, Sung-Min,Won, Chee-Sun 대한전자공학회 2005 電子工學會論文誌-SP (Signal processing) Vol.42 No.5

지금까지 적용되었던 MPEG(Motion Picture Expert Group)기반의 워터마크(watermark) 기법들은 새로운 압축 표준 H.264/AVC의 달라진 부호화 방식으로 인하여 H.264/AVC에 그대로 적용되기에는 많은 문제점을 가지고 있다. 본 논문에서는 이전의 압축표준에 사용되었던 DCT(Discrete Cosine Transform)기반의 워터마크 기법이 H.264/AVC에 적용 되었을 때 발생 할 수 있는 문제를 분석하였으며, 그 결과를 영상왜곡 및 비트율(bit-rate) 변화의 측면에서 연구 하였다. 기존의 MPEG-2 사용 되었던 DCT기반 워터마크 기법들이 H.264/AVC에 적용되었을 때 H.264/AVC 부호화의 큰 특징인 인트라(intra) 부호화 및 CAVLC(Context Adaptive Variable Length Coding)의 영향으로 인하여 PSNR은 모든 QP(Quantization Parameter)에 대하여 평균 28.17 dB 감소 되었으며, 비트율은 모든 QP에 대하여 평균 56.71 % 증가 하였다. There are some problems in directly applying the conventional MPEG bit-stream based watermarking schemes to the bit-stream of a new compression standard, H.264/AVC. In this paper we analyze the effects of the conventional DCT-based watermarking scheme to H.264/AVC, especially in terms of image distortions and bit-rate changes. It turns out that the intra-frame prediction md CAVLC of H.264/AVC with the watermarking worsen the image distortions and bit-rate changes. The experiment results show on average 28.17dB decrease in PSNR and 56.71% increase in bit-rate over all QPs.

H.264/AVC Encoder용 저전력 IP 설계 및 FPGA 구현

장영범(Young Beom Jang),최동규(Dong Kyu Choi),한재웅(Jae Woong Han),김도한(Do Han Kim),김비철(Bee Chul Kim),박진수(Jin Su Park),한규훈(Kyu Hoon Han),허은성(Eun Sung Hur) 대한전자공학회 2008 電子工學會論文誌-SP (Signal processing) Vol.45 No.5

이 논문에서는 제안한 H.264/AVC 인코더의 서브 블록인 Inter prediction 블록, Intra prediction 블록, 디블로킹 필터블록, Transform & Quantization 블록에 대한 저전력 구조를 FPGA로 구현하였다. Inter/Intra prediction 블록에서는 분산연산방식을 통해 가산기의 수를 줄여 60.2%의 면적감소효과를 나타내었으며, 디블로킹 필터블록에서는 하드웨어 공유를 위한 MUX를 사용하여 덧셈연산의 수를 44.3%감소시켰다. 또한, Transform & Quantization 블록에 사용되는 곱셈연산을 CSD와 CSS방식으로 수행하여 면적을 크게 차지하는 곱셈기를 사용하지 않았다. 제안된 저전력 IP들을 사용하여 FPGA(Field Programmable Gate Array)와 ARM 프로세서 기반의 H.264/AVC 인코더를 구현하였다. Baseline Profile을 사용하였고 FPGA와 ARM프로세서가 연동하는 Platform으로 구현하였다. Platform을 사용한 H.264/AVC 인코더 구현을 통하여 제안된 각각의 저전력 IP들이 효율적으로 H.264/AVC 인코더 SoC에서 사용될 수 있음을 확인하였다. In this paper, we are implemented low-power structure for Inter prediction, Intra prediction, Deblocking filter, Transform and Quantization blocks in H.264/AVC Encoder. The proposed Inter/Intra prediction blocks are shown 60.2% cell area reduction by adder reduction through Distributed Arithmetic, 44.3% add operation reduction using MUX for hardware share in Deblocking filter block. Furthermore we applied CSD and CSS process to reduce the cell area instead of multipliers that take a lot of area. The FPGA(Field Programmable Gate Array) and ARM process based H.264/AVC encoder is implemented using proposed low-power IPs. The proposed structure Platforms are implemented to interlock with FPGA and ARM processors. H.264/AVC Encoder implementation using Platforms shows that proposed low-power IPs can use H.264/AVC Encoder SoC effectively.

MPEG-2에서 H.264로의 Transcoding 과정에서 DCT 계수를 H.264 변환 계수로 변환하는 효율적인 알고리듬

김용재,이창우,Kim, Yong-Jae,Lee, Chang-Woo 한국통신학회 2007 韓國通信學會論文誌 Vol.32 No.8c

가장 최근에 표준화된 H.264/AVC 동영상 압축 부호화 방식은 기존의 방법인 MPEG-2에 비해 우수한 압축 효율을 보이지만, 아직 많은 응용분야에서 MPEG-2가 적용되고 있기 때문에 MPEG-2에서 H.264/AVC로의 변환 기법 개발이 필요하다. 본 논문에서는 이러한 변환을 위해 가장 첫 번째 단계로 볼 수 있는 DCT 계수에서 H.264 변환 계수로의 변환을 위한 효율적인 방법을 제안한다. 이러한 변환은 영상의 압축을 위한 변환기술로 MPEG-2에서는 $8{\times}8$ discrete cosine transform(DCT)를 사용하고 있고, H.264/AVC 표준안에서는 $4{\times}4$ integer transform을 사용하고 있기 때문에 필수적이다. 제안하는 알고리듬에서는 부호화 성능을 유지하면서 효율적으로 계산량을 감소시킬 수 있는 방법을 제시하고 계산량 분석과 모의실험을 통해서 이를 입증한다. The H.264/AVC video coding standard provides higher coding efficiency compared to the conventional MPEG-2 standard. Since a lot of videos have been encoded using MPEG-2, the format conversion from MPEG-2 to H.264 is essential. In this paper, we propose an efficient method for the conversion of DCT coefficients to H.264/AVC transform coefficients. This conversion is essential, since $8{\times}8$ DCT and $4{\times}4$ integer transform are used in MPEG-2 and H.264/AVC, respectively. The mathematical analysis and computer simulation show that the computational complexity of the proposed algorithm is reduced compared to the conventional algorithm, while the loss caused by the conversion is negligible.

선박-육지간 통신을 위한 실시간 H.264 to MPEG-2 트랜스코딩

손남례(Nam Rye Son),정민아(Min A Jeong),이성로(Seong Ro Lee) 大韓電子工學會 2011 電子工學會論文誌-SP (Signal processing) Vol.48 No.1

현재 위성방송을 통해 신호를 전송 또는 재전송하는 무선통신서비스를 이용하는 시청자 층은 다양하다. 하지만 방송국은 H.264표준으로 압축된 동영상들을 위성통신을 통하여 전송하기 때문에 H.264표준 디바이스를 갖추지 않는 선박은 실시간으로 데이터를 전송받지 못하는 단점을 가지고 있다. 따라서 본 논문에서는 기존 MPEG-2 표준 디바이스를 사용하고 있는 선박을 위하여 H.264 to MPEG-2 트랜스코딩 방법을 제안한다. 제안한 방법은 H.264 표준의 매크로블록모드의 특성을 분석하여 H.264 to MPEG-2 transcoding의 계산시간 및 화질을 개선한다. 첫째, H.264와 MPEG-2표준의 INTRA 모드 방법이 상이하므로 새로운 방법을 제안한다. 둘째, 매크로블록모드가 INTER 모드인 경우에는 H.264표준의 가변블록 안에 존재하는 움직임벡터의 방향성을 고려하여 새로운 예측움직임벡터(PMV: predictor motion vector)를 제안한다. 이때 최종움직임벡터는 예측움직임벡터를 그대로 사용하거나, H.264표준의 매크로블록내에 존재하는 가변블록들의 움직임벡터들과 MPEG-2부호기(baseline)의 움직임벡터의 일치율을 비교하여 최종적으로 움직임벡터를 예측할 범위(window size)를 결정한다. 실험결과, 제안한 트랜스코딩방법의 PSNR은 MPEG-2 FSBMA와 거의 일치하고, 트랜스코딩에 필요한 계산시간은 평균적으로 각각 70% 또는 67% 감소하였다. Recently, the grade of users using wireless communication services which transmits and re-transmits to the signal via the broadcasting satellite have a variety. However the ships not preparing of H.264 standard devices should not received the realtime data because the broadcasting stations have transmitted the compressed video data through the satellite communication. Therefore this paper proposes H.264 to MPEG-2 transcoding for the ships using MPEG-2 devices. Proposed method improves a speed and object quality in H.264 to MPEG-2 transcoding by analysis features of macroblock modes in H.264. In the Intra mode of P-frame, it proposes new method by computing coincidence proportion after comparing of Intra mode methods of H.264 and MPEG-2. In the Inter mode, it proposes a PMV(predictive motion vector) considering movement of motion vectors in H.264 decoder. we reuses a PMV directly as like the final MV in MPEG-2 encoder and refinements the MV after coincidence ratio comparing of variable motion vectors of H.264 and these of MPEG-2. The experimental results from proposed method show a considerable reduction in processing time, as much as 70% and 67% respectively, with a small objective quality reduction in PSNR.

고성능 H.264/AVC 디블로킹 필터를 위한 4-병렬 스케줄링 아키텍처

고병수,공진흥 대한전자공학회 2012 電子工學會論文誌-SD (Semiconductor and devices) Vol.49 No.8

In this paer, we proposed a parallel architecture of line & block edge filter for high-performance H.264/AVC deblocking filter for Quad Full High Definition(Quad FHD) video real time processing. To improve throughput, we designed 4-parallel block edge filter with 16 line edge filter. To reduce internal buffer size and processing cycle, we scheduled 4-parallel zig-zag scan order as deblocking filtering order. To avoid data conflicts we placed 1 delay cycle between block edge filtering. We implemented interleaving buffer, as internal buffer of block edge filter, to sharing buffer for reducing buffer size. The proposed architecture was simulated in 0.18㎛ standard cell library. The maximum operation frequency is 108㎒. The gate count is 140.16Kgates. The proposed H.264/AVC deblocking filter can support Quad FHD at 113.17 frames per second by running at 90㎒. 본 연구에서는 Quad FHD의 고해상도 동영상을 실시간 처리하는 고성능 H.264/AVC 디블로킹필터를 설계하였다. 연산처리 성능을 향상시키기 위해 라인에지필터 16개를 4개의 블록에지필터로 병렬 설계하였으며, 내부버퍼 크기와 연산 사이클을 줄이기 위해 H.264/AVC 디블로킹 필터 순서를 4단 병렬 지그재그 스캔 순서로 스케줄링하였다. 그리고 블록에지필터 연산 간 1사이클의 지연시간을 두어 데이터 충돌을 방지하고, 블록에지필터 간 내부버퍼를 인터리빙 버퍼로 구현하여 내부버퍼 크기를 줄였다. 0.18㎛ 공정에서 시뮬레이션한 결과, 최대 동작주파수가 90㎒이며, 게이트 수는 140.16 Kgates이다. 제안하는 H.264/AVC 디블로킹필터는 동작주파수 90㎒에서 Quad FHD급 동영상(3840×2160)을 초당 113.17프레임으로 실시간 처리가 가능한 결과이다.

H.264/AVC용 CAVLC 디코더의 설계

정덕영,손승일,Jung, Duck-Young,Sonh, Seung-Il 한국정보통신학회 2007 한국정보통신학회논문지 Vol.11 No.6

디지털 비디오 압축 기술은 대역폭과 저장 공간이 제한되는 멀티미디어 데이터의 효율적인 전송과 저장을 가능하게 하는 중요한 역할을 해왔다. JVT가 제안한 새로운 비디오 코딩 표준인 H.264/AVC는 압축 성능에 있어서 이전의 표준들을 훨씬 능가하고 있다. 특히 비디오 및 이미지 압축 응용에서 가변길이 부호는 중요한 역할을 한다. H.264/AVC 표준은 엔트로피 코딩 방식으로서 CAVLC를 채택하였다. H.264/AVC의 CAVLC는 많은 메모리 액세스를 필요로 한다. 이는 메모리 액세스시에 상당한 전력을 소비하기 때문에 DMB와 비디오 폰 서비스와 같은 응용을 위해서는 심각한 문제가 될 수 있다. 본 논문에서는 이러한 문제점을 극복하기 위해, 산술연산에 근거한 메모리 사용없는 coeff_token, level 및 run_before 디코딩을 구현하고, total_zero 가변길이 디코딩시에만 필요한 메모리의 70%만 사용하여 구현하는 가변길이 디코딩 기법을 제안한다. Digital video compression technique has played an important role that enables efficient transmission and storage of multimedia data where bandwidth and storage space are limited. The new video coding standard, H.264/AVC, developed by Joint Video Team(JVT) significantly outperforms previous standards in compression performance. Especially, variable length code(VLC) plays a crucial pun in video and image compression applications. H.264/AVC standard adopted Context-based Adaptive Variable Length Coding(CAVLC) as the entropy coding method. CAVLC of H.264/AVC requires a large number of the memory accesses. This is a serious problem for applications such as DMB and video phone service because of the considerable amount of power that is consumed in accessing the memory. In order to overcome this problem in this paper, we propose a variable length technique that implements memory-free coeff_token, level, and run_before decoding based on arithmetic operations and using only 70% of the required memory at total_zero variable length decoding.