모바일 서비스에 적합한 H.264/AVC 인터 예측 부호화기의 하드웨어 구현 = Hardware Implementation of Optimal H.264/AVC Inter Prediction Encoder for Mobile Service

국문 초록 (Abstract)

인터 예측의 핵심 요소는 ME(Motion Estimation)와 MC(Montion Compensation)이다. ME는 SAD(Sum of Absolute Difference)와 같은 정합기준을 사용하는 것뿐만 아니라 비트스트림의 최종 비트수에 따라서 최적의 움직임 벡터를 찾는다. 움직임 보상은 현재 프레임의 블록들의 움직임으로 보상되어진다. 인터 예측 부호화는 고화질의 실시간 비디오 응용에 있어서 언제나 주된 병목을 초래한다. 따라서 실시간 비디오 응용에서는 인터 예측을 수행하는 고속의 전용 하드웨어를 필요로 한다. 일반적으로 인터 예측은 이전 프레임으로부터 새로운 프레임을 예측하고 단지 예측 오차만을 부호화한다. 여러 동영상 부호화 방식에서 영상프레임은 픽셀의 블록으로 분할된다. 움직임 추정과 보상에 사용되는 탐색 범위 및 화소정밀도가 높을수록 보다 좋은 성능을 갖지만 연산량은 증가하게 된다. 본 논문에서는 모바일 서비스에 적합한 움직임 추정기 및 보상기의 아키텍처를 연구하였다. 설계된 움직임 추정기는 2-D 시스토릭 배열 기반으로 기본 처리기 요소를 병렬로 연결하여 SAD 값을 빠르게 계산한다. 참조데이터를 상위영역과 하위영역으로 나누어 각각의 연결선을 두고 입력 시퀀스를 조절하여 파이프라인 중지 없이 연속적인 연산을 수행한다. 데이터 재사용 기법을 통하여 메모리 엑세스를 줄였고 특별한 지연 없이 최소의 SAD를 갖는 파티션을 찾아내어 움직임 벡터를 생성하게 하였다. 움직임 보상기는 전치 배열과 휘도 6-tap 필터 3개를 사용하여 높은 하드웨어 이용률을 갖게 하였으며 내부 메모리의 크기를 감소시켰다. VHDL을 사용하여 기술하였으며, Xilinx ISE툴을 사용하여 합성하고, Modelsim_6.1i를 사용하여 검증하였다. 설계된 움직임 추정기는 가변 블록 크기를 지원하며 하나의 매크로블록의 연산을 하는데 328 사이클이 소요되며 보상기는 단지 3개의 6-tap 필터만을 사용하면서 매크로블록당 640 클럭 사이클에 수행하였다. 본 논문에서 제안하는 인터 예측 부호화기는 실시간 비디오 처리를 요구하는 분야에 응용 가능할 것이며, 복호화기의 연산량, 면적, 비용 감소에 긍정적인 영향을 줄 것이다.

다국어 초록 (Multilingual Abstract)

The key elements of inter prediction are motion estimation(ME) and motion compensation(MC). Motion estimation is to find the optimum motion vectors, not only by using a distance criteria like the SAD, but also by taking into account the resulting number of bits in the bit stream. Motion compensation is compensate for movement of blocks of current frame. Inter-prediction Encoding is always the main bottleneck in high-quality streaming applications. Therefore, in real-time streaming applications, dedicated hardware for executing Inter-prediction is required. Generally, Inter-prediction predicts a new frame from a previous frame and only codes the prediction error. In many video coding techniques, video frame is divided into blocks of pixels. The wider the search range and the better pixel accuracy used for motion estimation and compensation results in better performance, but the calculation complexities become increased. The architecture for motion estimator and compensator suitable for mobile service is proposed in this thesis. The designed motion estimator is based on 2-D systolic array and it connects processing elements for fast SAD(Sum of Absolute Difference) calculation in parallel. By providing different path for the upper and lower region of each reference data and adjusting the input sequence, consecutive calculation for motion estimation is executed without pipeline stall. With data reuse technique, it reduces memory access, and there is no extra delay for finding optimal partitions and motion vectors. The designed motion compensator uses transpose array and 3 6-tap filters for luminance, so it achieves high hardware utilization. Also, it reduces the size of internal memory. The proposed architecture is described with VHDL, synthesized using Xilinx ISE tool, and verified with Modelsim_6.1i. The motion estimator supports variable-block size. It takes 328 cycles for macro-block calculation. The compensator only used 3 6-tap filters, and it only take 640 cycles per macro-block. This Inter-prediction encoder can be applicable to real-time video processing, and it will have good influence on decoders with regard to calculation complexity, size and cost.

목차 (Table of Contents)

• Ⅰ. 서론 = 1
• Ⅱ. 인터 예측(Inter Prediction) = 3
• 1. 부호기의 구조 = 3
• 2. 가변 블록 움직임 보상 = 5
• 3. 1/4 화소 단위 움직임 벡터 추정 기법 = 7
• 4. 다중 참조 영상 부호화 기법 = 12
• 5. 움직임 벡터 예측 = 13
• 6. 프로파일 = 17
• 7. 고속 전역 탐색법 = 19
• Ⅲ. 인터 예측 부호화기의 설계 = 23
• 1. 움직임 추정의 구현 = 25
• 1) 관련연구 = 25
• 가) 주소발생기 (Address generator) = 33
• 나) 전치 배열 (Transpose array) = 37
• 다) 처리기 요소 (Processing element) = 40
• 라) SAD 병합기(SAD merger) = 48
• 마) 비교기(Comparator) = 50
• 2. 움직임 보상의 구현 = 56
• 1) 관련연구 = 57
• 2) 제안하는 움직임 보상기의 아키텍처 = 60
• Ⅳ. 성능평가 = 67
• 1. 움직임 추정의 성능평가 = 67
• 2. 움직임 보상의 성능평가 = 68
• Ⅴ. 결론 = 71
• 참고문헌 = 73