고성능 HEVC 복호기를 위한 효율적인 32×32 역변환기 설계

한금희,류광기,Han, Geumhee,Ryoo, Kwangki 한국정보통신학회 2013 한국정보통신학회논문지 Vol.17 No.4

본 논문에서는 고성능 HEVC 복호기를 위한 효율적인 $32{\times}32$ 역변환기 하드웨어 구조를 제안한다. HEVC는 4k, 8k 이미지와 같이 기존의 이미지코덱에 비해 훨씬 더 큰 크기의 이미지를 처리할 수 있는 새로운 영상 압축 표준이다. 큰 이미지의 데이터를 효과적으로 처리하기 위해 다양한 새 블록 구조를 채택하였으며, 이 블록들은 $4{\times}4$, $8{\times}8$, $16{\times}16$, $32{\times}32$으로 구성되었다. 이 논문에서는 $32{\times}32$ 역변환기의 효과적인 구조를 제안하며, 역변환기의 구조는 $32{\times}32$ 행렬을 $16{\times}16$ 행렬로 재구성하고 쉬프트와 덧셈기로 구성된 곱셈기를 사용하여 연산을 단순화 하였으며 멀티 사이클 패스를 구현하여 낮은 주파수에서도 동작이 가능하도록 설계하였다. 또한 HEVC 코덱의 다양한 크기의 변환이나 순방향 변환 블록에 쉽게 적용할 수 있다. In this paper, an efficient hardware architecture is proposed for $32{\times}32$ inverse transform HEVC decoder. HEVC is a new image compression standard to deal with much larger image sizes compared with conventional image codecs, such as 4k, 8k images. To process huge image data effectively, it adopts various new block structures. Theses blocks consists of $4{\times}4$, $8{\times}8$, $16{\times}16$, and $32{\times}32$ block. This paper suggests an effective structures to process $32{\times}32$ inverse transform. This structure of inverse transform adopts the decomposed $16{\times}16$ matrixes of $32{\times}32$ matrix, and simplified the operations by implementing multiplying with shifters and adders. Additionally the operations frequency is downed by using multicycle paths. Also this structure can be easily adopted to a multi-size transform or a forward transform block in HEVC codec.

H.264/AVC 복호기를 위한 고성능 연산처리 인트라 예측기 설계

김선철,류광기,Jin, Xianzhe,Ryoo, Kwangki 한국정보통신학회 2012 한국정보통신학회논문지 Vol.16 No.11

This paper proposes a parallel operation intra predictor for H.264/AVC decoder. In previous intra predictor design, common operation units were designed for 17 prediction modes in order to compute more effectively. However, it was designed by analyzing the equation applied to one pixel. So, there are four operation units for computing 16 pixels in a $4{\times}4$ block and they need four cycles. In this paper, the proposed intra predictor contains T3(Three Type Transform) operation unit for parallel operation. It divides 17 modes into 3 types to calculate 16 pixels of a $4{\times}4$ block in only one cycle and needs 16 cycles minimum in 16x16 block. As the result of the experiment, in terms of processing cycle, the performance of proposed intra predictor is 58.95% higher than the previous one. 본 논문에서는 H.264/AVC 복호기를 위한 고성능 연산처리 인트라 예측기를 제안한다. 기존의 인트라 예측기는 $4{\times}4$블록에 적용되는 17개의 예측모드를 효율적으로 연산하기 위해 공통 연산기를 사용하였다. 하지만 기존의 공통 연산기는 한 픽셀에 적용되는 연산 수식을 분석하여 설계되었기 때문에, 16개 픽셀의 $4{\times}4$ 블록을 연산하기 위해 4개의 공통 연산기를 사용하며 4 사이클을 소요한다. 본 논문에서는 병렬 연산을 위한 T3(Three Type Transform) 연산기를 제안한다. 제안하는 T3 연산기는 17개의 인트라 예측 모드를 3가지 형태로 나누어, $4{\times}4$ 블록의 16개 픽셀에 적용되는 연산 수식을 한 사이클에 처리한다. 제안하는 인트라 예측기와 기존의 인트라 예측기의 예측 수행 사이클을 각 모드 별로 비교한 결과, 제안하는 인트라 예측기가 평균 58.95%의 향상된 결과를 얻었다.

스케일링과 변환계수 복호를 위한 효율적인 하드웨어 설계

정홍균,류광기,Jung, Hongkyun,Ryoo, Kwangki 한국정보통신학회 2012 한국정보통신학회논문지 Vol.16 No.10

본 논문에서는 H.264/AVC 복호기의 역변환과 역양자화를 위한 효율적인 하드웨어 구조를 제안한다. 기존 역변환 및 역양자화기에서는 AC계수와 DC계수를 복호하는 순서가 다르다. 색차 DC계수와 인트라 $16{\times}16$ 모드에서 휘도 DC계수는 역변환을 수행하고 역양자화를 수행하는 반면에, 휘도 및 색차 AC계수는 역양자화를 수행하고 역변환을 수행하기 때문에 하드웨어로 구현시 제어 복잡도가 증가한다. 제안하는 구조는 DC계수와 AC계수에 관계없이 역양자화를 수행한 후 역변환을 수행하여 제어 복잡도를 감소시키고, 역양자화 연산을 공통 연산기를 사용하여 처리함으로써 계산 복잡도가 감소한다. 기존 역양자화기에는 나눗셈 연산을 포함하고 있어 복호하는 순서를 변경할 경우 오차가 발생하기 때문에 나눗셈 연산을 역변환 후에 수행하여 오차를 방지한다. 또한, 역변환기와 역양자화기를 3단 파이프라인으로 구성하고 수평 IDCT와 수직 IDCT를 병렬로 구현하여 수행 사이클을 감소시켰다. 제안하는 역변환기와 역양자화기의 매크로블록 당 처리되는 사이클 수를 비교 분석한 결과, 기존 구조 대비 45%이상 향상된 결과를 얻었다. In this paper, an efficient hardware architecture is proposed for inverse transform and inverse quantization of H.264/AVC decoder. The previous inverse transform and quantization architecture has a different AC and DC coefficients decoding order. In the proposed architecture, IQ is achieved after IT regardless of the DC or AC coefficients. A common operation unit is also proposed to reduce the computational complexity of inverse quantization. Since division operation is included in the previous architecture, it will generate errors if the processing order is changed. In order to solve the problem, the division operation is achieved after IT to prevent errors in the proposed architecture. The architecture is implemented with 3-stage pipeline and a parallel vertical and horizontal IDCT is also implemented to reduce the operation cycle. As a result of analyzing the proposed ITIQ architecture operation cycle for one macroblock, the proposed one has improved by 45% than the previous one.

SAO의 성능개선을 위한 저면적 하드웨어 설계

최지수,류광기,Choi, Jisoo,Ryoo, Kwangki 한국정보통신학회 2013 한국정보통신학회논문지 Vol.17 No.2

In this paper, for HEVC decoding, an SAO hardware design with less processing time and reduced area is proposed. The proposed SAO hardware architecture introduces the design processing $8{\times}8$ CU to reduce the hardware area and uses internal registers to support $64{\times}64$ CU processing. Instead of previous top-down block partitioning, it uses bottom-up block partitioning to minimize the amount of calculation and processing time. As a result of synthesizing the proposed architecture with TSMC $0.18{\mu}m$ library, the gate area is 30.7k and the maximum frequency is 250MHz. The proposed SAO hardware architecture can process the decode of a macroblock in 64 cycles. 본 논문에서는 고성능 HEVC 복호기 설계를 위해 SAO(Sample Adaptive Offset)의 수행시간 단축과 연산량, 하드웨어 면적 감소를 위한 하드웨어 구조를 제안한다. 제안하는 SAO 하드웨어 구조는 $8{\times}8$ CU(Coding Unit)를 처리하는 연산기를 구성하여 하드웨어 면적을 최소화하고, 내부레지스터를 이용하여 $64{\times}64$ CU의 처리를 지원한다. 또한 기존 SAO의 top-down 블록분할 구조 대신 bottom-up 블록분할 구조로 설계하여 연산시간 및 연산량을 최소화한다. 제안한 SAO 하드웨어를 TSMC $0.18{\mu}m$ CMOS 표준 셀 라이브러리 이용해 합성한 결과 게이트 수는 30.7k개의 로직게이트로 구현되며 최대동작주파수는 250MHz이다. 제안한 SAO 하드웨어 구조는 하나의 매크로 블록을 복호화하는데 64사이클이 소요된다.

묵시적 가중 예측기법을 이용한 저 메모리 대역폭 인터 예측기 설계

김진영,류광기,Kim, Jinyoung,Ryoo, Kwangki 한국정보통신학회 2012 한국정보통신학회논문지 Vol.16 No.12

본 논문에서는 H.264/AVC 인코더의 성능 향상을 위해 다중 참조 프레임 기법과 묵시적 가중 예측 기법을 이용하고 낮은 외부 메모리 접근율을 위해 이전 참조 프레임 데이터를 재사용하는 인터 예측기 하드웨어 구조를 제안한다. 참조 소프트웨어JM16.0과 비교하여 참조 프레임 접근율이 약 24%만큼 감소하고 참조 영역 메모리가 약 46%만큼 감소하였다. 통합 구조는 Verilog HDL로 설계되고 Magnachip 0.18um공정으로 합성한 결과 게이트 수는 약 2,061k 이고 91Mhz로 동작한다. In this paper, for improving the H.264/AVC hardware performance, we propose an inter predictor hardware design using a multi reference frame selector and an implicit weighted predictor. previous reference frame are reused for Low Memory Bandwidth. The size of the reference memory in the predictor was reduced by about 46% and the external memory access rate was reduced by about 24% compared with the one in the reference software JM16.0. We designed the proposed system with Verilog-HDL and synthesized inter predictor circuit using the Magnachip 0.18um CMOS standard cell library. The synthesis result shows that the gate count is about 2,061k and the design can run at 91MHz.

효율적인 필터 계수 추출을 위한 HEVC 부호화기의 고성능 ALF 하드웨어 설계

신승용,류광기,Shin, Seungyong,Ryoo, Kwangki 한국정보통신학회 2015 한국정보통신학회논문지 Vol.19 No.2

본 논문에서는 필터 계수를 효율적으로 추출하기 위한 고성능 ALF(Adaptive Loop Filter)의 하드웨어 구조를 제안한다. HEVC의 ALF 기술은 고해상도 및 고화질의 영상을 높은 효율로 압축하고 주관적 화질을 향상시키기 위해 영상의 통계적인 특성을 이용한 필터 계수를 추출하여 필터링을 수행한다. 제안하는 ALF 하드웨어 구조는 필터 계수를 추출하기 위한 촐레스키 분해의 연산 관계를 분석하여 2단 파이프 구조로 설계함으로써 수행 사이클을 감소시켰다. 또한, 촐레스키 분해의 연산 과정에서 필요한 루트 연산은 멀티플렉서와 뺄셈기, 비교기 등을 이용하여 설계함으로써 적은 면적과 연산량, 복잡도를 갖는 하드웨어 구조로 설계하였다. 제안한 하드웨어는 Xilinx ISE 14.3 Vertex-7 XC7VCX485T FPGA 디바이스를 사용하여 합성한 결과 4K(3840x2160)@40fps의 영상을 실시간 처리할 수 있고, 최대 동작주파수는 186MHz이다. This paper proposes the hardware architecture of high performance ALF(Adaptive Loop Filter) for efficient filter coefficient estimation. In order to make the original image which has high resolution and high quality into highly compressed image effectively and also, subjective image quality into improved image, the ALF technique of HEVC performs a filtering by estimating filter coefficients using statistical characteristics of image. The proposed ALF hardware architecture is designed with a 2-step pipelined architecture for a reduction in performance cycle by analysing an operation relationship of Cholesky decomposition for the filter coefficient estimation. Also, in the operation process of the Cholesky decomposition, a square root operation is designed to reduce logic area, computation time and computation complexity by using the multiplexer, subtracter and comparator. The proposed hardware architecture is designed using Xilinx ISE 14.3 Vertex-7 XC7VCX485T FPGA device and can support 4K UHD@40fps in real time at a maximum operation frequency of 186MHz.

UHD 영상을 위한 고성능 HEVC 디블록킹 필터 설계

박재하,류광기,Park, Jaeha,Ryoo, Kwangki 한국정보통신학회 2015 한국정보통신학회논문지 Vol.19 No.1

본 논문에서는 UHD(Ultra High Definition) 영상을 위한 고성능 HEVC(High Efficiency Video Coding) 디블록킹 필터 하드웨어 구조를 제안한다. 제안하는 하드웨어 구조는 필터링 수행시간 단축을 위해 두 개의 필터로 구성된 4단 파이프라인 구조를 가지며 경계강도 모듈을 병렬 구조로 설계하였다. 또한 저전력 하드웨어 구조를 위해 파이프라인의 단계를 클록 게이팅으로 설계하였고, 파이프라인 과정에서 단일 포트 SRAM에 접근할 때 발생하는 해저드 문제를 해결하기 위해 분할된 메모리 구조로 설계하였다. 전처리 단계에서 단일 포트 SRAM에 데이터를 저장할 때 발생하는 지연시간을 감소하기 위해 새로운 필터링 순서를 제안하였다. 본 논문에서 제안하는 디블록킹 필터 하드웨어 구조는 Verilog HDL로 설계 하였으며, TSMC 0.18um CMOS 표준 셀 라이브러리를 이용하여 합성한 결과 22k 개의 로직 게이트로 구현되었다. 또한, 동작 주파수는 150MHz에서 UHD급 8K 해상도인 $7680{\times}4320@60fps$ 처리가 가능하고 최대 동작 주파수는 285MHz이다. 제안하는 하드웨어 구조의 기본 처리단위 당 사이클 수를 비교 분석한 결과, 처리율이 기존 구조 대비 32% 향상된 결과를 얻었다. This paper proposes a hardware architecture for high performance Deblocking filter(DBF) in High Efficiency Video Coding for UHD(Ultra High Definition) videos. This proposed hardware architecture which has less processing time has a 4-stage pipelined architecture with two filters and parallel boundary strength module. Also, the proposed filter can be used in low-voltage design by using clock gating architecture in 4-stage pipeline. The segmented memory architecture solves the hazard issue that arises when single port SRAM is accessed. The proposed order of filtering shortens the delay time that arises when storing data into the single port SRAM at the pre-processing stage. The DBF hardware proposed in this paper was designed with Verilog HDL, and was implemented with 22k logic gates as a result of synthesis using TSMC 0.18um CMOS standard cell library. Furthermore, the dynamic frequency can process UHD 8k($7680{\times}4320$) samples@60fps using a frequency of 150MHz with an 8K resolution and maximum dynamic frequency is 285MHz. Result from analysis shows that the proposed DBF hardware architecture operation cycle for one process coding unit has improved by 32% over the previous one.

높은 처리량을 갖는 HEVC CABAC 복호기 하드웨어 설계

김한식,류광기,Kim, Hansik,Ryoo, Kwangki 한국정보통신학회 2013 한국정보통신학회논문지 Vol.17 No.2

본 논문에서는 높은 데이터 처리량을 갖는 CABAC 하드웨어 구조를 제안한다. 제안하는 CABAC 복호기는 데이터의 의존성을 유지하면서 한 사이클의 두 개의 bin을 처리한다. 또한 문맥의 전환이나 확률 상태가 변환될 수 있기 때문에 결과 값을 선택적으로 처리할 수 있는 구조로 구현하였다. 확률 구간을 읽어오는 동안 Offset과 Range를 선 연산하고, Offset에 비트를 추가하여 연산함으로써 병목현상을 완화시켰다. 제안하는 CABAC 복호기의 동작 주파수를 비교 분석한 결과, 기존 구조 대비 40%이상 향상된 결과를 얻었다. This paper proposes an efficient hardware architecture of CABAC for HEVC decoder. The proposed method is structured to handle two bins in one cycle, while preserving data dependencies of the CABAC. In addition, the processing time of the proposed architecture is reduced because the operation using Offset and Range is processed while the architecture reads rLPS from rLPSROM. As a result of analyzing operating frequency of the proposed CABAC architecture, the proposed architecture has improved by 40% than the previous one.

Run-Time Hardware Trojans Detection Using On-Chip Bus for System-on-Chip Design

박승용,류광기,Kanda, Guard,Park, Seungyong,Ryoo, Kwangki 한국정보통신학회 2016 한국정보통신학회논문지 Vol.20 No.2

본 논문에서는 감염된 IP로부터 악성 공격을 감지하고 예방하기 위한 안전하고 효율적인 온칩버스를 기술한다. 대부분의 상호-연결 시스템(온칩버스)은 모든 데이터와 제어 신호가 밀접하게 연결되어있기 때문에 하드웨어 말웨어 공격에 취약하다. 본 논문에서 제안하는 보안 버스는 개선된 아비터, 어드레스 디코딩, 마스터와 슬레이브 인터페이스로 구성되며, AHB (Advanced High-performance Bus)와 APB(Advance Peripheral Bus)를 이용하여 설계되었다. 또한, 보안 버스는 매 전송마다 아비터가 마스터의 점유율을 확인하고 감염된 마스터와 슬레이브를 관리하는 알고리즘으로 구현하였다. 제안하는 하드웨어는 Xilinx ISE 14.7을 사용하여 설계하였으며, Virtex4 XC4VLX80 FPGA 디바이스가 장착된 HBE-SoC-IPD 테스트 보드를 사용하여 검증하였다. TSMC $0.13{\mu}m$ CMOS 표준 셀 라이브러리로 합성한 결과 약 39K개의 게이트로 구현되었으며 최대 동작주파수는 313MHz이다. A secure and effective on-chip bus for detecting and preventing malicious attacks by infected IPs is presented in this paper. Most system inter-connects (on-chip bus) are vulnerable to hardware Trojan (Malware) attack because all data and control signals are routed. A proposed secure bus with modifications in arbitration, address decoding, and wrapping for bus master and slaves is designed using the Advanced High-Performance and Advance Peripheral Bus (AHB and APB Bus). It is implemented with the concept that arbiter checks share of masters and manage infected masters and slaves in every transaction. The proposed hardware is designed with the Xilinx 14.7 ISE and verified using the HBE-SoC-IPD test board equipped with Virtex4 XC4VLX80 FPGA device. The design has a total gate count of 39K at an operating frequency of 313MHz using the $0.13{\mu}m$ TSMC process.

HEVC 부호기를 위한 효율적인 SAO의 저면적 하드웨어 설계

조현표,류광기,Cho, Hyunpyo,Ryoo, Kwangki 한국정보통신학회 2015 한국정보통신학회논문지 Vol.19 No.1

본 논문에서는 HEVC(High Efficiency Video Coding) 부호기를 위한 효율적인 SAO(Sample Adaptive Offset)의 저면적 하드웨어 구조를 제안한다. SAO는 HEVC 영상 압축 표준에서 채택된 새로운 루프 내 필터 기술로서 최적의 오프셋 값들을 화소 단위로 적용하여 영역 내 평균 화소 왜곡을 감소시킨다. 하지만 표준 SAO는 화소 단위 연산을 수행하기 때문에 초고해상도 영상을 처리하기 위해서 많은 연산시간과 연산량을 요구한다. 제안하는 SAO 하드웨어 구조는 SAO의 연산시간을 감소시키기 위해서 한번에 4개의 입력 화소들을 병렬적으로 처리하며, 2단계 파이프라인 구조를 갖는다. 또한 하드웨어 면적을 최소화하기 위해서 휘도 성분과 색차 성분에 대해 단일 구조를 가지며, 하드웨어에 적합한 연산기 및 공통 연산기를 사용한다. 제안하는 SAO 하드웨어 구조는 Verilog HDL로 설계하였으며, TSMC $0.13{\mu}m$ CMOS 표준 셀 라이브러리로 합성한 결과 약 190k개의 게이트로 구현되었다. 제안하는 SAO 하드웨어 구조는 200MHz의 동작주파수에서 4K UHD@60fps 영상의 실시간 처리가 가능하며, 최대 250MHz까지 동작 가능하다. This paper proposes a hardware architecture for an efficient SAO(Sample Adaptive Offset) with low area for HEVC(High Efficiency Video Coding) encoder. SAO is a newly adopted technique in HEVC as part of the in-loop filter. SAO reduces mean sample distortion by adding offsets to reconstructed samples. The existing SAO requires a great deal of computational and processing time for UHD(Ultra High Definition) video due to sample by sample processing. To reduce SAO processing time, the proposed SAO hardware architecture processes four samples simultaneously, and is implemented with a 2-step pipelined architecture. In addition, to reduce hardware area, it has a single architecture for both luma and chroma components and also uses optimized and common operators. The proposed SAO hardware architecture is designed using Verilog HDL(Hardware Description Language), and has a total of 190k gates in TSMC $0.13{\mu}m$ CMOS standard cell library. At 200MHz, it can support 4K UHD video encoding at 60fps in real time, but operates at a maximum of 250MHz.