$8\times8$ 블록기반의 후처리필터링을 고려한 H.264 블록화 현상 제거부 설계 기법

김성득,조홍규,Kim Sung Deuk,Cho Hong Kyu 대한전자공학회 2005 電子工學會論文誌-SP (Signal processing) Vol.42 No.2

최근에는 H.263, MPEG-4, H.264 등과 같은 동영상 압축에 관한 다양한 국제표준의 등장으로 인해 제한된 자원을 활용해서 여러 가지 표준을 효과적으로 지원할 필요성이 증대되고 있다. 동영상의 화질 개선에 중요한 역할을 담당하는 블록화 현상 제거부의 입장에서 볼 때 전통적인 $8\times8$ 블록기반의 비디오 후처리필터링과는 달리 H.264 압축방식에서의 블록화 현상 제거부는 구조상의 중요한 차이점을 가지고 있다. 이 논문에서는 이러한 차이점을 분석하여 전통적인 $8\times8$ 블록기반의 비디오 후처리필터링을 함께 지원할 수 있는 H.264 블록화 현상 제거부의 설계방안을 제시한다. 제안된 설계방안에서는 필터링의 대상이 되는 블록경계를 적응적으로 선택하게 함으로써 $8\times8$ 블록크기와 $4\times4$ 블록크기에 모두 대처한다. 필터링된 결과를 움직임 보상에 사용할지 여부를 선택할 수 있도록 함으로써 후처리필터링과 루프필터링에 모두 대처한다. 사람의 시각적 특성을 바탕으로 $8\times8$ 블록경계에서 발생되는 블록화 현상을 조사함으로써 전통적인 H.263 양자화 값과 H.264 양자화 값의 상관관계를 분석하여 H.263 양자화 변수값을 H.264 양자화 변수값으로 변환하는 방식을 이용한다. K264 블록화 현상 제거기능을 그대로 유지하면서 약간의 변형을 통해 효과적으로 H263, MPEG-4, H264 등과 같은 다양한 국제표준에 사용될 수 있는 블록화 현상 제거부를 구현할 수 있다. After various video coding standards such as H.263, MPEG-4, and H.264 have been introduced, there has bun strong need to support the multiple standards with limited resources efficiently. In terms of deblocking Inter which plays an important role in improving visual quality, K264 deblocking filter implementation has different aspects as compared with traditional $8\times8$ block-based post-filter implementation. Analyzing the differences, this paper proposes a H.264 deblocking filter implementation method that supports $8\times8$ block-based post-filtering for the traditional video coding systems. In the proposed implementation method the block boundaries to he filtered are adaptively chosen for $8\times8$ and $4\times4$ block boundary filtering. Since the filtered result is selectively used for motion compensation or not, both loop-filtering and post-filtering can be achieved. A quantization parameter conversion unit that converts H.263 quantization parameters to H.264 quantization parameters is utilized by examining the $8\times8$ block boundary errors based on human visual system. Since the original nature of the H.264 deblocking filter is well expanded to the $8\times8$ block-based post-filter with minor modifications, the proposed implementation method is suitable to implement the deblocking function of the multiple video standards such as H.263, MPEG-4, and K264, efficiently.

최소의 화질 열화와 함께 실시간 동작이 보장되는 H.264 동영상 복호기

김종찬(Jong-chan Kim),김두리(Du-ri Kim),이동호(Dong-ho Lee) 한국통신학회 2008 韓國通信學會論文誌 Vol.33 No.10C

H.264 기술은 차세대 동영상 코덱 표준의 핵심으로 간주되고 있다. 유럽을 포함하여 많은 나라에서는 HD 방송을 위한 동영상 코덱 표준으로 H.264 기술을 사실상 지정해 놓고 있는 실정이다. 하지만 복잡한 알고리즘 사용으로 인해 HD급 영상의 경우에는 아직도 데스크탑 컴퓨터에서조차 실시간 복호화가 어려운 상황이다. 본 논문에서는 실시간으로 동작이 보장되는 H.264 소프트웨어 동영상 복호기를 구현하기 위해서 복호화 과정의 일부를 제한하고, 이에 따른 화질열화가 최소가 되는 알고리즘들을 적응적으로 선택하는 H.264 복호기를 제안한다. 제안하는 H.264 복호기는 PC 환경에서 모의실험을 통해 성능을 비교 및 검증하였다. 그 결과 실시간 복호화가 어려운 환경에서 제안하는 복호기를 사용하였을 경우 대부분 최소한의 화질 열화와 함께 실시간 복호화를 만족하는 결과를 보였다. H.264 technology is considered as the heart of the next-generation video codec standard. Europe and other countries have actually specified H.264 technology as the video codec standard for HD broadcasting. However, due to the complexity of algorithm, it is still a difficult job to implement HD-level H.264 decoders in real-time software. In this paper, I have restricted a part of the decoding process, in order to implement an H.264 software video decoder which guarantees a real-time operation, and suggest an H.264 decoder that adaptively selects the algorithm to minimize image degradation. Performance of the suggested H.264 decoder was compared and verified through a PC simulation. As a consequence, when the suggested decoder was used in an environment where real-time decoding was difficult, it has achieved the minimal image degradation as well as real-time decoding in most cases.

선박-육지간 통신을 위한 실시간 H.264 to MPEG-2 트랜스코딩

손남례(Nam Rye Son),정민아(Min A Jeong),이성로(Seong Ro Lee) 大韓電子工學會 2011 電子工學會論文誌-SP (Signal processing) Vol.48 No.1

현재 위성방송을 통해 신호를 전송 또는 재전송하는 무선통신서비스를 이용하는 시청자 층은 다양하다. 하지만 방송국은 H.264표준으로 압축된 동영상들을 위성통신을 통하여 전송하기 때문에 H.264표준 디바이스를 갖추지 않는 선박은 실시간으로 데이터를 전송받지 못하는 단점을 가지고 있다. 따라서 본 논문에서는 기존 MPEG-2 표준 디바이스를 사용하고 있는 선박을 위하여 H.264 to MPEG-2 트랜스코딩 방법을 제안한다. 제안한 방법은 H.264 표준의 매크로블록모드의 특성을 분석하여 H.264 to MPEG-2 transcoding의 계산시간 및 화질을 개선한다. 첫째, H.264와 MPEG-2표준의 INTRA 모드 방법이 상이하므로 새로운 방법을 제안한다. 둘째, 매크로블록모드가 INTER 모드인 경우에는 H.264표준의 가변블록 안에 존재하는 움직임벡터의 방향성을 고려하여 새로운 예측움직임벡터(PMV: predictor motion vector)를 제안한다. 이때 최종움직임벡터는 예측움직임벡터를 그대로 사용하거나, H.264표준의 매크로블록내에 존재하는 가변블록들의 움직임벡터들과 MPEG-2부호기(baseline)의 움직임벡터의 일치율을 비교하여 최종적으로 움직임벡터를 예측할 범위(window size)를 결정한다. 실험결과, 제안한 트랜스코딩방법의 PSNR은 MPEG-2 FSBMA와 거의 일치하고, 트랜스코딩에 필요한 계산시간은 평균적으로 각각 70% 또는 67% 감소하였다. Recently, the grade of users using wireless communication services which transmits and re-transmits to the signal via the broadcasting satellite have a variety. However the ships not preparing of H.264 standard devices should not received the realtime data because the broadcasting stations have transmitted the compressed video data through the satellite communication. Therefore this paper proposes H.264 to MPEG-2 transcoding for the ships using MPEG-2 devices. Proposed method improves a speed and object quality in H.264 to MPEG-2 transcoding by analysis features of macroblock modes in H.264. In the Intra mode of P-frame, it proposes new method by computing coincidence proportion after comparing of Intra mode methods of H.264 and MPEG-2. In the Inter mode, it proposes a PMV(predictive motion vector) considering movement of motion vectors in H.264 decoder. we reuses a PMV directly as like the final MV in MPEG-2 encoder and refinements the MV after coincidence ratio comparing of variable motion vectors of H.264 and these of MPEG-2. The experimental results from proposed method show a considerable reduction in processing time, as much as 70% and 67% respectively, with a small objective quality reduction in PSNR.

움직임벡터 군집화를 이용한 H.264/AVC에서 MPEG-2로의 비디오 트랜스코딩

신윤정,손남례,이귀상,Shin, Yoon-Jeong,Son, Nam-Rye,Nguyen, Dinh Toan,Lee, Guee-Sang 한국전자통신학회 2010 한국전자통신학회 논문지 Vol.5 No.1

H.264/AVC는 기존 비디오 코덱보다 성능이 우수하여 최근 IPTV, DMB등의 압축표준으로 사용되고 있다. 따라서 H.264/AVC로 압축된 데이터를 이전 코덱을 사용하는 장비에서 이용하기 위하여 트랜스코딩 연구가 이루어지고 있다. 본 연구에서는 움직임벡터의 군집화(Clustering)를 이용한 H.264/AVC에서 MPEG-2로의 트랜스코딩 방법을 제시한다. H.264/AVC 비트스트림을 MPEG-2의 인코더로 보낼 때 H.264/AVC 가변블록의 움직임벡터들의 거리와 방향성을 고려한 클러스터링을 수행하여 후보벡터를 선택한 후 최소의 왜곡치를 갖는 1개의 움직임벡터로 최종 결정한다. 이렇게 선정된 최종 움직임벡터는 MPEG-2 인코더에서 ${\pm}2$ pixel 만큼 전역탐색으로 보정 한 후 재사용하는 방법으로 트랜스코딩 시간을 최소화하고자 한다. 실험을 통하여 계산시간과 비디오 화질을 비교한 결과 기존연구보다 PSNR값이 최대 6.7% 향상되었으며 부호화 시간은 최대 64% 개선되었다. The H.264/AVC is increasingly used in broadcast video applications such as Internet Protocol television (IPTV), digital multimedia broadcasting (DMB) because of high compression performance. But the H.264/AVC coded video can be delivered to the widespread end-user equipment for MPEG-2 after transcoding between this video standards. This paper suggests a new transcoding algorithm for H.264/AVC to MPEG-2 transcoder that uses motion vector clustering in order to reduce the complexity without loss of video quality. The proposed method is exploiting the motion information gathered during h.264 decoding stage. To reduce the search space for the MPEG-2 motion estimation, the predictive motion vector is selected with a least distortion of the candidated motion vectors. These candidate motion vectors are considering the correlation of direction and distance of motion vectors of variable blocks in H.264/AVC. And then the best predictive motion vector is refined with full-search in ${\pm}2$ pixel search area. Compared with a cascaded decoder-encoder, the proposed transcoder achieves computational complexity savings up to 64% with a similar PSNR at the constant bitrate(CBR).

MPEG2에서 H.264로의 트랜스코딩 기법

김동형,정제창,Kim, Dong-Hyung,Jeong, Je-Chang 한국통신학회 2005 韓國通信學會論文誌 Vol.30 No.7C

In this paper, we present a transcoding algorithm for converting an MPEG-2 video bitstream to an H.264 bitstream. The proposed transcoder consists of two parts. One is MPEG2 decoding part and the other is H.264 encoding part Because our algorithm is for transcoding in the spatial domain, MPEG2 decoding part carries out full decoding of MPEG2 bitstream. While, because macroblock type and coded block pattern in MPEG2 are significantly related to macroblock mode in H.264, macroblock mode is selected adaptively according to macroblock type and coded block pattern in H.264 decoding part. Furthermore, motion vector is also used as side-information for 16$\ctimes$16 macroblock mode. Simulation results show that the proposed transcoder yields high reduction of total transcoding time at comparable PSNR. 본 논문에서는 MPEG-2로 부호화된 비디오 스트림에서 H.264 부호화 표준으로의 트랜스코딩 기법을 제안한다. 제안하는 MPEG2에서 H.264t로의 트랜스코더는 MPEG2 복호화부와 H.264 부호화부로 구성되어 있으며, MPEG2 복호화부가 입력되는 MEPG2 비디오 스트림의 전복호화(全復號化)를 수행하는 공간영역에서의 트랜스코딩 기법이다. 반면 MPEG2 복호화 과정에서 사용되는 매크로블록 타입과 부호화블록패턴은 H.264의 매크로블록 모드와 상당한 연관성을 가지는데, 이를 이용하여 H.264 부호화부에서는 MEPG2의 매크로블록 타입, 부호화블록패턴 정보를 이용하여 H.264 부호화부에서의 매크로블록 모드를 적응적으로 선택하고 추가적으론 움직임 벡터를 활용함으로 전체 트랜스코더의 복잡도를 감소시킨다. 제안하는 트랜스코더를 시퀀스에 적용한 결과 전복호화 후 전부호화의 결과와 비교하여 평균 0.03dB의 PSNR 차이만을 보이는 반면 전체 트랜스코딩 시간은 최대 61$\%$ 감소된 것으로 나타난다.

MPEG-2에서 H.264로의 Transcoding 과정에서 DCT 계수를 H.264 변환 계수로 변환하는 효율적인 알고리듬

김용재,이창우,Kim, Yong-Jae,Lee, Chang-Woo 한국통신학회 2007 韓國通信學會論文誌 Vol.32 No.8c

가장 최근에 표준화된 H.264/AVC 동영상 압축 부호화 방식은 기존의 방법인 MPEG-2에 비해 우수한 압축 효율을 보이지만, 아직 많은 응용분야에서 MPEG-2가 적용되고 있기 때문에 MPEG-2에서 H.264/AVC로의 변환 기법 개발이 필요하다. 본 논문에서는 이러한 변환을 위해 가장 첫 번째 단계로 볼 수 있는 DCT 계수에서 H.264 변환 계수로의 변환을 위한 효율적인 방법을 제안한다. 이러한 변환은 영상의 압축을 위한 변환기술로 MPEG-2에서는 $8{\times}8$ discrete cosine transform(DCT)를 사용하고 있고, H.264/AVC 표준안에서는 $4{\times}4$ integer transform을 사용하고 있기 때문에 필수적이다. 제안하는 알고리듬에서는 부호화 성능을 유지하면서 효율적으로 계산량을 감소시킬 수 있는 방법을 제시하고 계산량 분석과 모의실험을 통해서 이를 입증한다. The H.264/AVC video coding standard provides higher coding efficiency compared to the conventional MPEG-2 standard. Since a lot of videos have been encoded using MPEG-2, the format conversion from MPEG-2 to H.264 is essential. In this paper, we propose an efficient method for the conversion of DCT coefficients to H.264/AVC transform coefficients. This conversion is essential, since $8{\times}8$ DCT and $4{\times}4$ integer transform are used in MPEG-2 and H.264/AVC, respectively. The mathematical analysis and computer simulation show that the computational complexity of the proposed algorithm is reduced compared to the conventional algorithm, while the loss caused by the conversion is negligible.

H.264의 인트라 프레임을 위한 하이브리드 에러 은닉 알고리즘

임창훈,김원정,임혜숙,Yim Chang-Hoon,Kim Won-Jung,Lim Hye-Sook 한국통신학회 2006 韓國通信學會論文誌 Vol.31 No.8C

H.264는 향상된 압축 성능과 에러 복구 기술, 네트워크로의 적응력을 포함하고 있는 비디오 압축 표준으로, 실시간 비디오 스트리밍, 디지털 멀티미디어 방송 등의 여러 분야에서 적용되고 있다. 인터넷 상으로 비디오를 전송할 경우 압축된 비디오 스트림은 패킷 손실에 약하므로 에러 복구 기술과 에러 은닉 기술은 필수적인 요소이다. 본 논문은 먼저 움직임이 상대적으로 적을 경우 H.264의 인트라 프레임을 위한 에러 은닉 성능을 향상시킬 수 있는 간단한 시간방향 에러 은닉 방법을 제안한다. 그리고 제안된 시간방향 에러 은닉 방식과 H.264의 인트라 프레임을 위해서 사용하고 있는 공간방향 에러 은닉 방식을 적응적으로 결합한, H.264의 인트라 프레임을 위한 하이브리드 에러 은닉 방법을 제안한다. 패킷이 손실되는 환경에서 시뮬레이션을 했을 때, 제안된 하이브리드 에러은닉 방법은 H.264의 인트라 프레임에 사용되는 기존의 공간방향 에러 은닉 방법에 비하여, 약 0.5-4dB 정도의 PSNR 성능 향상을 보인다. H.264 is the prominent video coding standard in various applications such as real-time video streaming and digital multimedia broadcasting, since it provides enhanced compression performance, error resilience tools, and network adaptation. Since compressed video stream is vulnerable to packet loss, error resilience and error concealment(EC) tools are essential for the transmission of video over the Internet. In this paper, we first propose a simple temporal EC method that improves the EC performance for intra-frame in H.264 when the amount of motion is relatively small. Then we propose a new hybrid EC method for intra-frame in H.264, which combines the spatial EC and temporal EC adaptively. The simulations are performed in packet-lossy environments, and the proposed hybrid EC method shows about 0.5-4dB PSNR improvement compared to the conventional spatial EC method that is used for intra-frame in H.264.

주파수 특성의 제약 조건들을 이용한 H.264/AVC를 위한 고속 화면 내 모드 선택 방법

진순종(Soonjong Jin),박상준(Sang-Jun Park),정제창(Jechang Jeong) 한국통신학회 2008 韓國通信學會論文誌 Vol.33 No.4C

H.264/AVC 비디오 부호화 표준은 MPEG-2, H.263 또는 MPEG-4와 같은 기존의 비디오 부호화 표준과 비교하여 상당한 부호화 효율의 향상을 제공한다. 부호화 효율의 향상을 수행하기 위해서 H.264/AVC는 매크로블록 단위로 최적의 움직임 벡터, 참조 화면, 매크로블록 모드를 선택하는데 있어서 율-왜곡 최적화 (Rate-distortion optimization) 기법을 이용한다. 결과적으로 높은 부호화 효율을 제공함과 동시에 복잡도 역시 상당히 증가하였다. 본 논문에서는 화면 내 부호화 모드들에서 나타나는 주파수 특성의 제약 조건들을 이용하여 고속 화면 내 모드 선택 방법을 제안한다. 먼저 영상의 주파수 해석을 통해 H.264/AVC의 화면 내 모드 별 특성을 살펴본다. 다음 제안하는 주파수 에러 비용 (Frequency Error Cost, FEC)을 계산하여 최소 비용을 가지는 모드와 그 주변 모드 2개만을 후보 모드로 선택하고 후보 모드의 율-왜곡 비용만을 계산하여 최적의 화면 내 모드를 결정하여 복잡도를 감소시킨다. 실험 결과는 제안하는 방법이 H.264/AVC와 비교하여 비슷한 율-왜곡 성능을 보이면서 복잡도를 상당히 감소시킴을 보여준다. H.264/AVC video coding standard enables a considerably higher improvement in coding efficiency compared with previous standards such as MPEG-2, H.263 and MPEG-4. To achieve this, for each macro-block in H.264/AVC, Rate-Distortion Optimization (RDO) technique is employed to select the best motion vector, reference frame, and macro-block mode. As a result, computational complexity is increased significantly whereas RDO achieve higher improvement. This paper presents fast intra mode selection algorithm based on constraints of frequency characteristics which are derived from intra coding modes of H.264/AVC. First of all, we observe the features of each intra mode through the frequency analysis of image. And then proposed Frequency Error Costs (FECs) are calculated to select the best mode which has minimum cost. Computational complexity is considerably reduced because rate-distortion costs only calculate the candidate modes which are set of best mode and its neighbouring two modes. Experimental results show that proposed algorithm reduces the complexity dramatically maintaining the rate-distortion performance compared with H.264/AVC reference software.

적응적 파이프라인을 적용한 저전력 H.264 복호기 설계

이찬호(Chanho Lee) 大韓電子工學會 2010 電子工學會論文誌-SD (Semiconductor and devices) Vol.47 No.9

H.264 영상 압축 표준은 높은 압축률과 화질로 널리 이용되고 있다. H.264 복호기는 일반적으로 마크로블록 또는 4×4 하위 블록 단위로 파이프라인을 적용하여 동작한다. 이러한 파이프라인 한 단의 주기는 보통 최악의 상황에서도 동작을 보장하도록 결정되어 높은 전송 대역폭과 고성능 연산기를 요구하고 연산기가 일을 하지 않고 쉬는 사이클이 많아지는 결과를 초래한다. 본 논문에서는 이러한 연산기의 쉬는 사이클을 줄이고 데이터 전송 대역폭과 연산기 성능 요구 조건을 완화시킬 수 있는 적응적 파이프라인 구조를 채택한 효율적인 영상 복호기 구조를 제안한다. 제안한 구조에서는 파라미터와 계수는 핸드셰이킹 방식으로 전용 신호선을 통해 전달되고 복호된 영상 데이터는 AMBA AHB 네트워크를 통해 메모리에 저장하거나 읽어 온다. 각 블록의 복호 처리 시간은 영상의 특성에 따라 가변적으로 변하고 각 연산기는 데이터가 준비되면 언제든지 동작을 할 수 있다. 제안한 구조에 따라 H.264 복호기를 설계하였고 FPGA를 이용하여 동작을 검증하였다. H.264 video coding standard is widely used due to the high compression rate and quality. H.264 decoders usually have pipeline architecture by a macroblock or a 4 × 4 sub-block. The period of the pipeline is usually fixed to guarantee the operation in the worst case which results in many idle cycles and the requirement of high data bandwidth and high performance processing units. We propose adaptive pipeline architecture for H.264 decoders for efficient decoding and lower the requirement of the bandwidth for the memory bus. Parameters and coefficients are delivered using hand-shaking communication through dedicated interconnections and frame pixel data are transferred using AMBA AHB network. The processing time of each block is variable depending on the characteristics of images, and the processing units start to work whenever they are ready. An H.264 decoder is designed and implemented using the proposed architecture to verify the operation using an FPGA.

H.264/AVC Encoder용 저전력 IP 설계 및 FPGA 구현

장영범(Young Beom Jang),최동규(Dong Kyu Choi),한재웅(Jae Woong Han),김도한(Do Han Kim),김비철(Bee Chul Kim),박진수(Jin Su Park),한규훈(Kyu Hoon Han),허은성(Eun Sung Hur) 대한전자공학회 2008 電子工學會論文誌-SP (Signal processing) Vol.45 No.5

이 논문에서는 제안한 H.264/AVC 인코더의 서브 블록인 Inter prediction 블록, Intra prediction 블록, 디블로킹 필터블록, Transform & Quantization 블록에 대한 저전력 구조를 FPGA로 구현하였다. Inter/Intra prediction 블록에서는 분산연산방식을 통해 가산기의 수를 줄여 60.2%의 면적감소효과를 나타내었으며, 디블로킹 필터블록에서는 하드웨어 공유를 위한 MUX를 사용하여 덧셈연산의 수를 44.3%감소시켰다. 또한, Transform & Quantization 블록에 사용되는 곱셈연산을 CSD와 CSS방식으로 수행하여 면적을 크게 차지하는 곱셈기를 사용하지 않았다. 제안된 저전력 IP들을 사용하여 FPGA(Field Programmable Gate Array)와 ARM 프로세서 기반의 H.264/AVC 인코더를 구현하였다. Baseline Profile을 사용하였고 FPGA와 ARM프로세서가 연동하는 Platform으로 구현하였다. Platform을 사용한 H.264/AVC 인코더 구현을 통하여 제안된 각각의 저전력 IP들이 효율적으로 H.264/AVC 인코더 SoC에서 사용될 수 있음을 확인하였다. In this paper, we are implemented low-power structure for Inter prediction, Intra prediction, Deblocking filter, Transform and Quantization blocks in H.264/AVC Encoder. The proposed Inter/Intra prediction blocks are shown 60.2% cell area reduction by adder reduction through Distributed Arithmetic, 44.3% add operation reduction using MUX for hardware share in Deblocking filter block. Furthermore we applied CSD and CSS process to reduce the cell area instead of multipliers that take a lot of area. The FPGA(Field Programmable Gate Array) and ARM process based H.264/AVC encoder is implemented using proposed low-power IPs. The proposed structure Platforms are implemented to interlock with FPGA and ARM processors. H.264/AVC Encoder implementation using Platforms shows that proposed low-power IPs can use H.264/AVC Encoder SoC effectively.