FPGA 플렛폼을 이용한 H.264/AVC 베이스라인 프로파일 부호기의 구현 = Implementation of H.264/AVC baseline profile encoder based on FPGA platform

국문 초록 (Abstract)

현재 동영상의 저전력, 실시간 처리가 가능하도록 하기 위한 H.264/AVC 코덱(CODEC)의 SoC(System on a Chip) 형태의 구현 기술이 관련 학계 및 업계에서 매우 중요한 이슈가 되고 있다. 하지만, CIF(352x288)급 이상의 영상을 실시간(30 frames/sec)으로 처리하기 위한 하드웨어 구조에 관한 연구는 아직 초기 단계라고 할 수 있으며, 저전력 구조에 대한 연구 또한 초기단계이다. 따라서, 본 논문에서는 모바일 기기에 적용 하기 위해 H.264/AVC부호기에 포함된 여러 블록을 저전력 소비, 작은 사이즈, 최적의 구조로 하드웨어/소프트웨어로 구현 및 검증을 하였다. 실시간 처리를 위해서 참조 소프트웨어 JM8.4 부호기를 프로파일링 한 결과를 분석하여 최적의 하드웨어, 소프트웨어로 분할하여 구현을 하였다. 가변블록 움직임 추정기, 인트라 예측기, 정수 변환 및 양자화기, 디블록킹 필터는 하드웨어로 구현하였고, 컨텍스트 기반 적응형 가변 길이 코딩기(CAVLC)는 소프트웨어로 처리 하였으며, 개발된 FPGA 플랫폼 보드를 이용하여 구현 및 검증을 하였다.본 논문에서 연구된 구체적인 내용은 다음과 같다.실시간 영상 처리를 위해 H.264/AVC 참조 소프트웨어 JM8.4부호기의 성능을 분석하여 최적의 하드웨어 /소프트웨어 분할(Hardware/Software Partitioning)을 하였다.H.264/AVC 부호기를 저전력, 작은 사이즈, 최적의 구조를 갖는 하드웨어로 구현을 하였다. 가변 블록 움직임 추정기를 위한 하드웨어 구조를 연구하였고, 동영상의 실시간 처리 능력을 개선하기 위해서 파이프라인 구조를 적용하였다.움직임 추정을 위해 SAD(Sum of Absolute Difference)를 연산하는 기존의 8-bit 연산 단일 처리기 구조를 상위 4-bit 연산으로 줄이는 알고리즘을 제안하였고, 검증 결과 영상의 화질 성능 저하 없이 게이트 수와 파워를 줄였다.모바일 기기에서 장시간 동영상 처리가 가능하도록 하기 위한 저전력 구조를 연구하였고, 움직임 추정 시의 최소한의 메모리를 사용하는 구조와 움직임 벡터 출력 방법을 제안하였다.디블록킹 필터 블록에서는 외부 메모리와의 많은 억세스 및 메모리 사이즈를 줄이기 위해 효율적인 메모리 스케줄링 방법을 제안하였다. 정수 변환 및 양자화 블록에서는 실시간 처리를 위해 기존의 복잡한 행렬 연산을 간단한 덧셈과 쉬프트 연산만 사용하는 버터플라이 구조로 구현하였다. 구현된 H.264/AVC 부호기를 검증하기 위한 FPGA 플랫폼을 설계하였고, FPGA 플랫폼을 이용하여 동작 및 성능을 검증하였다.

다국어 초록 (Multilingual Abstract)

The H.264/AVC standard, formally known as ITU-T Recommendation H.264 or as ISO/IEC 14496-10(MPEG-4 part 10) Advanced Video Coding, was developed by a Joint Video Team(JVT) consisting of the worlds experts from the two premier video coding standard organization-the ITU-T Video coding Experts Group(VCEG) and the ISO/IEC Moving Picture Experts Group(MPEG). H.264/AVC has the potential to be of benefit in all application environments that have used prior video coding standards-because of the wide breadth of applications targeted in the development of the standard. Rather than individually focusing on broadcast entertainment use, video conferencing, IP network, wireless video, DVD or camcorders, H.264/AVC is designed to cover the entire range of bit rates and network environments ranging from low-resolution video at low bit rates on hand-held devices all the way to HDTV and even beyond. The coding tools of H.264/AVC when used in an optimized mode allow for bit savings of about 50% compared to previous video coding standards like MPEG-4 and MPEG-2 for a wide range of bit rates and resolutions. However, these savings come at the price of an increased complexity. The decoder is about 2 times as complex as an MPEG-4 Visual decoder for the simple profile, and the encoder is about 10 times as complex as a corresponding MPEG-4 visual encoder for the simple profile.
This thesis presents implementation of H.264/AVC baseline profile encoder based on FPGA. Our H.264/AVC baseline profile encoder is partitioned into the hardware and software modules for real-time operation and low-power with the profiling results of the JM8.4 C code. The overall encoding throughput is increased by optimized software (CAVLC) and a dedicated hardware accelerator (a variable block size motion estimation unit, an intra prediction unit, an integer transform/quantization unit, and a de-blocking filter unit). The proposed motion estimator performs motion estimation by using only 4-bit plane image chosen from input sequences. Our architecture is faster for the same search range, requires less internal memory, low-power consumption and has wider search range compared to the state of the art design. The proposed integer transform/quantization unit performs in parallel add, shift operation with the butterfly pipeline architecture. The proposed de-blocking filter unit operates with the smaller number of logic gates and memory bits compared to other approaches, still maintaining a real-time processing capability. We implemented and verified a prototype on SoC platform with a 32-bit RISC CPU core and FPGA module. Our H.264/AVC baseline profile encoder reduces power consumption and hardware size of the whole system. We also minimize the number of bus accesses and use macroblock level pipeline processing techniques to achieve a real time processing. Our implemented H.264/AVC encoder, including decoder, fully supports H.264/AVC baseline profile standard and can be easily applied to many mobile video application areas.

목차 (Table of Contents)

• 목 차
• 제 1 장 서 론
• 1.1 연구 배경
• 1.2 연구 내용
• 1.3 논문 구성
• 제 2 장 H.264/AVC의 표준안
• 2.1 비디오 영상 압축
• 2.2 H.264/AVC 코덱의 비디오 포맷
• 2.3 H.264/AVC 코덱의 영상 화질 평가
• 2.3.1 주관적인 화질 측정
• 2.3.2 객관적인 화질 측정
• 2.4 MPEG-4 Visual과 H.264/AVC의 비교
• 2.5 H.264/AVC 프로파일과 레벨
• 2.6 H.264/AVC 부호기의 구조
• 2.6.1 가변 움직임 추정 및 움직임 보상 블록
• 2.6.2 인트라 예측 블록
• 2.6.3 정수 변환 및 양자화 블록
• 2.6.4 디블록킹 필터 블록
• 제 3 장 H.264/AVC 부호기의 설계
• 3.1 H.264/AVC 부호기의 소프트웨어 성능 분석
• 3.1.1 성능 분석 방법
• 3.1.2 성능 분석 결과
• 3.2 가변 블록 움직임 추정기의 설계
• 3.2.1 블록 매칭 알고리즘
• 3.2.2 전역 탐색 알고리즘
• 3.2.3 BPM알고리즘
• 3.2.4 GC-BPM 알고리즘
• 3.2.5 PCIPM알고리즘
• 3.2.6 제안한 가변 블록 움직임 추정기 구조
• 3.2.6.1 SAD를 구하기 위한 PE 구조
• 3.2.6.2 저전력을 고려한 SAD 로직 구조
• 3.2.6.3 RD 비용 함수 로직 구조
• 3.2.6.4 구현된 가변 블록 움직임 추정기 성능 평가
• 3.3 인트라 예측기의 설계
• 3.3.1 4x4 휘도 예측 모드
• 3.3.2 16x16휘도 예측 모드
• 3.3.3 8x8 색차 예측 모드
• 3.3.4 구현된 인트라 예측기 구조
• 3.3.5 구현된 인트라 예측기 성능 평가
• 3.4 정수 변환 및 양자화기의 설계
• 3.4.1 4x4 오차 블록의 변환 및 양자화
• 3.4.1.1 4x4 오차 블록의 변환
• 3.4.1.2 양자화
• 3.4.1.3 역양자화
• 3.4.2 4x4휘도 DC 계수의 변환 및 양자화
• 3.4.3 2x2색차 DC 계수의 변환 및 양자화
• 3.4.4 구현된 정수 변환 및 양자화기 구조
• 3.4.5 구현된 정수 변환 및 양자화기 성능평가
• 3.5 디블록킹 필터의 설계
• 3.5.1 디블록킹 필터링
• 3.5.2 Bs 값 결정
• 3.5.3 필터링에 사용되는 파라미터
• 3.5.4 Bs 값에 따른 디블록킹 필터링
• 3.5.4.1 Bs값이 1~3인 경우
• 3.5.4.2 Bs값이 4인 경우
• 3.5.5 제안한 효율적인 메모리 스케줄링 방법
• 3.5.5.1 매크로 블록내의 연산 순서
• 3.5.5.2 매크로 블록내의 필터링 수행 영역
• 3.5.6 구현된 디블록킹 필터 구조
• 3.5.7 구현된 디블록킹 필터 성능 평가
• 3.6 컨텍스트 기반 적응형 가변길이 코딩의 구현
• 제 4 장 검증을 위한 FPGA 플랫폼 보드 제작
• 4.1 FPGA 플랫폼 및 ARM 개발 보드 구조
• 4.2 구현된 H.264/AVC 부호기의 전체 구조
• 4.3 구현된H.264/AVC 부호기의 검증 환경
• 제 5 장 결 론
• 참고 문헌
• 그림 목차
• 그림 1.1 H.264/AVC의 활용도
• 그림 2.1 단조로운 영역을 갖는 비디오 프레임
• 그림 2.2 저역 통과 필터가 적용된 비디오 프레임
• 그림 2.3 비디오 영상의 다음 프레임
• 그림 2.4 4:2:0, 4:2:2, 4:4:4 샘플링 패턴
• 그림 2.5 4:2:0 샘플을 상위와 하위 필드로 분배하는 방법
• 그림 2.6 DSCQS 테스트 시스템
• 그림 2.7 PSNR의 예
• 그림 2.8 배경이 흐려진 이미지
• 그림 2.9 H.264/AVC의 응용분야
• 그림 2.10 PSNR-비트율 비교
• 그림 2.11 H.264/AVC 부호기의 구조
• 그림 2.12 기존 압축 표준과 H.264/AVC의 비트율 비교
• 그림 2.13 가변 움직임 추정 및 움직임 보상 블록
• 그림 2.14 인트라 예측 블록
• 그림 2.15 정수 변환 및 양자화 블록
• 그림 2.16 디블록킹 필터 블록
• 그림 3.1 JM8.4 부호기의 프로파일링 방법
• 그림 3.2 JM8.4부호기의 호출 그래프 결과
• 그림 3.3 JM8.4 부호기의 플랫 프로파일링 결과
• 그림 3.4 가변 블록 움직임 추정 블록의 프로파일링 결과
• 그림 3.5 인트라 예측 블록의 프로파일링 결과
• 그림 3.6 JM8.4 부호기의 프로파일링 결과
• 그림 3.7 블록 매칭 알고리즘
• 그림 3.8 전역 탐색 알고리즘
• 그림 3.9 BPM을 기반으로 하는 움직임 추정
• 그림 3.10 그레이 코드로 변환된 8 비트 원 영상
• 그림 3.11 PCIPM 알고리즘 구조
• 그림 3.12 8비트 영상의 27비트 부호화
• 그림 3.13 매크로블록 분할 모드
• 그림 3.14 트리 구조 매크로블록 분할 모드
• 그림 3.15 제안된 가변 블록 움직임 추정기의 전체 구조
• 그림 3.16 8개의 비트 플레인 영상
• 그림 3.17 BUS 영상에서 각 비트레벨에 대한 움직임 추정 성능
• 그림 3.18 FORMAN 영상에서 각 비트레벨에 대한 움직임 추정 성능
• 그림 3.19 STEFAN 영상에서 각 비트레벨에 대한 움직임 추정 성능
• 그림 3.20 단일 처리기 구조
• 그림 3.21 SAD를 계산하기 위한 로직의 구조
• 그림 3.22 기존의 SAD 저장 구조
• 그림 3.23 제안된 SAD 저장 구조
• 그림 3.24 매크로블록 분할 모드 설정
• 그림 3.25 제안된 RD 비용 함수 로직 구조
• 그림 3.26 CIF 포맷의 실험 영상 시퀀스
• 그림 3.27 CIF 포맷의 BUS영상에 대한 움직임 추정 성능
• 그림 3.28 CIF 포맷의 FOREMAN 영상에 대한 움직임 추정 성능
• 그림 3.29 CIF 포맷의 STEFAN 영상에 대한 움직임 추정 성능
• 그림 3.30 CIF 포맷의 휘도 프레임
• 그림 3.31 인트라 예측을 사용하여 예측된 휘도 프레임
• 그림 3.32 예측된 4X4 휘도 블록
• 그림 3.33 4X4 휘도 예측 모드
• 그림 3.34 9가지 모드로 예측된 4X4휘도 블록
• 그림 3.35 인트라 16X16 휘도 예측 모드
• 그림 3.36 예측될 16X16 휘도 블록
• 그림 3.37 4가지 모드로 예측 된 16X16 휘도 블록
• 그림 3.38 인트라 8X8 색차 예측 모드
• 그림 3.39 구현된 인트라 예측기 구조
• 그림 3.40 매크로 블록 내 오차 블록의 스캔 순서
• 그림 3.41 구현된 전체 정수 변환 및 양자화기 구조
• 그림 3.42 버터플라이 연산을 이용한 1-D 순방향 변환기 구조
• 그림 3.43 롬 테이블을 이용한 양자화 및 역양자화기 구조
• 그림 3.44 버터플라이 연산을 이용한 1-D 역방향 변환기 구조
• 그림 3.45 버터플라이 연산을 이용한 HADAMARD 변환기 구조
• 그림 3.46 2-D 순방향 변환 및 양자화기 구조
• 그림 3.47 2-D 역양자화 및 역방향 변환기 구조
• 그림 3.48 MPEG-4에서의 디블록킹 필터
• 그림 3.49 매크로블록의 가장자리 필터링 순서
• 그림 3.50 수직 및 수평 경계 주위의 입력 영상화소
• 그림 3.51 디블록킹 필터를 적용하지 않았을 때 영상
• 그림 3.52 디블록킹 필터를 적용했을 때 영상
• 그림 3.53 기존의 필터링 구조
• 그림 3.54 제안한 필터링 구조
• 그림 3.55 제안한 메모리 구조
• 그림 3.56 매크로 블록내의 필터링 수행 영역
• 그림 3.57 색차 성분 데이터의 필터링 수행 영역
• 그림 3.58 구현된 디블록킹 필터의 구조
• 그림 3.59 BS값 결정을 위한 순서도
• 그림 4.1 구현된 H.264/AVC 부호기의 전체 블록도
• 그림 4.2 구현된 H.264/AVC 부호기의 인터페이스
• 그림 4.3 제작된 전체 FPGA 플랫폼 보드 사진
• 그림 4.4 제작된 FPGA 플랫폼 보드 사진
• 그림 4.5 ARM 개발 보드 및 LCD 출력 보드 사진
• 그림 4.6 구현된 H.264/AVC 부호기의 하드웨어/소프트웨어 연동 흐름도
• 그림 4.7 구현된 H.264/AVC 부호기의 전체 구조
• 그림 4.8 H.264/AVC 부호기의 전체 시뮬레이션 결과
• 그림 4.9 H.264/AVC 부호기의 개발 및 검증 환경
• 표 목차
• 표 2.1 MPEG-4 파트의 특징
• 표 2.2 H.264/AVC 표준의 각 프로파일 구조 및 특징
• 표 2.3 MPEG-2, MPEG-4, H.264/AVC 표준 비교
• 표 3.1 JM8.4 부호기의 수행 시간 및 메모리 참조시간
• 표 3.2 ARM920T에서 JM8.4 부호기의 프로파일링 결과
• 표 3.3 8비트 영상의 27비트 부호화 수식
• 표 3.4 가변블록 움직임 추정기의 성능 비교표
• 표 3.5 4X4 휘도 예측 모드 설명
• 표 3.6 16X16 휘도 예측 모드 설명
• 표 3.7 8X8 색차 예측 모드 설명
• 표 3.8 인트라 예측기의 성능 비교표
• 표 3.9 양자화 스텝 사이즈
• 표 3.10 (i, j)에 위치에 따른 PF값
• 표 3.11 곱셈 계수 MF값
• 표 3.12 스케일링 계수 V값
• 표 3.13 정수 변환 및 양자화기 성능 비교표
• 표 3.14 BS값에 따른 만족해야 할 조건
• 표 3.15 IndexA, IndexB값에 따른 α, β의 값
• 표 3.16 IndexA와 각 Bs값에 따른 tc값
• 표 3.17 디블록킹 필터 성능 비교표
• 표 4.1 H.264/AVC 부호기의 개발 및 테스트 환경
• 표 5.1 구현된 H.264/AVC 부호기의 게이트 수 비교
• 표 5.2 구현된 H.264/AVC 부호기의 성능 비교표
• 표 5.3 H.264/AVC 부호기의 S/W, H/W성능 비교표