정 화소 움직임 벡터와 반 화소 움직임 벡터의 상관성을 이용한 빠른 반 화소 움직임 추정 기법

윤효순,이귀상,Yoon HyoSun,Lee GueeSang 한국정보처리학회 2005 정보처리학회논문지B Vol.12 No.2

동영상 데이터를 실시간으로 전송하기 위해서는 데이터의 압축이 필수적인데, 이때 움직임 추정 기법을 사용하여 동영상내에 존재하는 중복된 데이터를 제거함으로써 데이터를 압축한다. 일반적으로, 움직임 추정 기법은 정 화소 움직임 벡터 추정과 반 화소 움직임 벡터 추정으로 이루어져 있는데, 블록 정합 기법을 사용하는 정 화소 움직임 벡터 추정을 위하여 많은 기법들이 제안되어 정 화소 움직임 추정에 소요되는 계산량을 줄였지만, 반 화소 보간과 블록 정합 기법을 사용하는 반 화소 움직임 벡터 추정을 위해서 그렇지 않다. 본 논문에서는 많은 계산량을 필요로 하는 반 화소 움직임 추정을 위한 기법을 제안하였는데, 제안된 기법은 정 화소와 반 화소 사이에 존재하는 움직임 벡터들의 상관성을 이용하였다. 실험을 통하여, 제안된 기법과 일반적으로 반 화소 움직임 추정에 사용되는 기법을 비교하였을 경우, 제안된 기법은 움직임 보상 예측된 화질면에 있어서 약 $0.07\~0.69(dB)$정도 저하되었지만, 탄 화소 움직임 벡터 추정의 속도면에 있어서 약 $2.5\~80$배 이상 높은 성능 향상을 보였다. Motion Estimation (ME) has been developed to remove redundant data contained in a sequence of image. And ME is an important part of video encoding systems, since it can significantly affect the qualify of an encoded sequences. Generally, ME consists of two stages, the integer pixel motion estimation and the half pixel motion estimation. Many methods have been developed to reduce the computational complexity at the integer pixel motion estimation. However, the studies are needed at the half pixel motion estimation to reduce the complexity. In this paper, a method based on the correlations between integer pixel motion vectors and half pixel motion vectors is proposed for the half pixel motion estimation. The proposed method has less computational complexity than the full half pixel search method (FHSM) that needs the bilinear interpolation of half pixels and examines nine half pixel points to the find the half pixel motion vector. Experimental results show that the speedup improvement of the proposed method over FHSM can be up to $2.5\~80$ times faster and the image quality degradation is about to $0.07\~0.69(dB)$.

움직임 벡터 분포 특성과 블록 움직임의 특성을 이용한 대칭형 움직임 추정 기법

윤효순(Hyo-Sun Yoon),김미영(Mi-Young Kim) 한국콘텐츠학회 2017 한국콘텐츠학회논문지 Vol.17 No.3

비디오 압축에서 움직임 추정 기법은 영상 화질과 발생 비트량에 있어서 중요한 역할을 하지만 많은 계산 복잡도를 요구한다. 다수의 카메라로 촬영한 동영상인 다시점 비디오는 카메라의 수에 비례하여 데이터의 양이 기하급수적으로 증가하기 때문에 움직임 추정에 많은 계산량을 필요하다. 본 논문에서 다시점 비디오의 부호화를 위한 움직임 추정의 계산량을 줄이면서 화질과 비트량을 유지하는 움직임 추정 기법을 제안한다. 제안한 움직임 추정 기법은 움직임 벡터들의 분포 특성과 영상 블록들의 움직임 특성을 이용한다. 제안한 움직임 추정기법은 계층적 움직임 추정 기법으로 대칭형 멀티 마름모 패턴, 대각선 패턴, 사각형 패턴 그리고 정교한 패턴으로 구성되어 있다. 제안한 움직임 추정 기법은 움직임 벡터들과 블록 움직임의 특성들을 이용하여 패턴들의 탐색 점들을 탐색 영역 내에 대칭적으로 배치하고 블록 움직임 크기에 따라 적응적으로 탐색 패턴을 선택하여 움직임 벡터를 추정한다. 제안한 기법의 성능은 JMVC의 고속 움직임 추정 기법인 TZ 탐색 기법과 전역 탐색 기법인 PBS (Pel Block Search)의 성능과 비교한 경우, 영상 화질면에서와 발생 비트량면에서 비슷하지만 움직임 추정에 필요한 계산량을 각각 약 40∼75%, 98%감소시킨다. In video compression, Motion Estimation(ME) limits the performance of image quality and generated bit rates. However, it requires much complexity in the encoder part. Multi-view video uses many cameras at different positions. Multi-view video coding needs huge computational complexity in proportion to the number of the cameras. To reduce computational complexity and maintain the image quality, an effective motion estimation method is proposed in this paper. The proposed method exploiting the characteristics of motion vector distribution and the motion of video. The proposed is a kind of a hierarchical search strategy. This strategy consists of multi-grid rhombus pattern, diagonal pattern, rectangle pattern, and refinement pattern. Experiment results show that the complexity reduction of the proposed method over TZ search method and PBS (Pel Block Search) on JMVC (Joint Multiview Video Coding) can be up to 40~75% and 98% respectively while maintaining similar video image quality and generated bit rates.

H.264 비디오 표준에서의 칼만 필터 기반의 움직임벡터 복원

고기홍,김성환,Ko, Ki-Hong,Kim, Seong-Whan 한국정보처리학회 2007 정보처리학회논문지D Vol.14 No.7

MPEG-2, MPEG-4, H.263, H.264 와 같은 부호화 표준은 비디오 영상을 압축하여 대역폭이 제한된 유/무선 통신 시스템을 통하여 전송한다. 통신 시스템에서 고압축률의 비트스트림은 채널 잡음 (channel noise)에 민감하여, 채널 잡음으로 인한 오류가 발생하기 쉽다. 이러한 오류는 수신부에서 디코딩할 때 비디오 영상을 심각하게 왜곡시키게 된다. 본 논문에서는 수신부 단에서 오류를 복원하는 기법 (decoder error concealment) 중 손상된 움직임벡터를 복원하는 기법을 제안한다. 본 논문에서는 손실된 움직임벡터를 예측하기 위하여 인접 블록들의 움직임 벡터를, 예측필터의 일종인 칼만 필터의 입력 치로 사용하여, 손실된 움직임벡터의 최적 예상치를 만들어 손상된 움직임벡터를 복구하게 된다. H.264 비디오 코딩을 적용한 표준 테스트 영상에 대하여, 손실된 MVD (motion vector difference) 값을 0 으로 대체한 뒤, H.264 비디오 코딩에서 사용하고 있는 기본 움직임벡터 예측만을 사용한 경우와 본 논문에서 제안한 칼만 필터를 사용한 복원기법을 비교하였으며, 복원된 움직 임벡터와 원래 움직임벡터 값과의 차이를 나타내는 오차율을 비교한 결과 제안된 기법의 오차율이 평균 0.91 - 1.12 정도의 정확도가 향상된 것을 확인할 수 있다. Video coding standards such as MPEG-2, MPEG-4, H.263, and H.264 transmit a compressed video data using wired/wireless communication line with limited bandwidth. Because highly compressed bit-streams is likely to fragile to error from channel noise, video is damaged by error. There have been many research works on error concealment techniques, which recover transmission errors at decoder side [1, 2]. We designed an error concealment technique for lost motion vectors of H.264 video coding. In this paper, we propose a Kalman filter based motion vector recovery scheme, and experimented with standard video sequences. The experimental results show that our scheme restores original motion vector with more precision of 0.91 - 1.12 on average over conventional H.264 decoding with no error recovery.

다시점 비디오 부호화를 위한 중심지향적 움직임 추정 기법

윤효순(Hyo-Sun Yoon),김미영(Mi-Young Kim) 한국정보과학회 2013 정보과학회논문지 : 소프트웨어 및 응용 Vol.40 No.11

움직임 추정은 동영상 내에 존재하는 중복된 데이터를 제거하기 때문에 동영상 압축에서 중요한 역할을 하지만 높은 계산 복잡도를 요구한다. 다시점 비디오는 하나의 3차원 장면을 여러 시점에서 다수의 카메라로 촬영한 동영상으로 다시점 비디오를 위한 움직임 추정은 카메라 수에 비례하여 많은 계산량을 필요로 한다. 본 논문에서는 다시점 비디오 부호화를 위한 움직임 추정의 계산량을 줄이면서 영상화질을 유지하는 고속 움직임 추정 기법을 제안한다. 제안한 기법은 계층적인 탐색 기법으로 십자가 탐색 패턴, 수정된 다이아몬드 탐색 패턴, 다중 다이아몬드 탐색 패턴 그리고 래스터 탐색 패턴으로 구성된다. 이 탐색 패턴들은 국부적 최소화 문제를 해결하기 위하여 탐색 영역 내에 탐색 점들을 규칙적, 대칭적으로 배치한다. 그리고 십자가 탐색 패턴과 수정된 다이아몬드 탐색 패턴은 움직임 벡터가 탐색 영역의 중심부분에 많이 분포하는 사실과 움직임 벡터가 대각선 방향보다는 수평방향과 수직 방향에 많이 분포하는 사실을 이용하여 탐색 점들을 배치한다. 제안한 기법의 성능은 JMVC의 고속 움직임 추정 기법인 TZ 탐색 기법과 FS 탐색 기법의 성능과 비교한 경우, 영상 화질과 비트량을 비슷하지만 계산량을 줄임으로서 움직임 추정 속도를 각각 약 1.2~3배, 8~9배 향상시킨다. Motion estimation (ME) has been developed to reduce temporal redundancy in video sequences and plays an important role in digital video compression. But it is computational demanding part of the encoder. Multi-view video is obtained by capturing one three-dimensional scene with many cameras at different positions. ME for Multi-view video requires high computational complexity. To reduce computational complexity and maintain the image quality, a center-biased motion estimation method is proposed in this paper. The proposed method uses a hierarchical search strategy. This strategy method consists of cross search pattern, modified diamond search pattern, multi gird diamond search pattern and raster search pattern. These search patterns place search points symmetrically and evenly that can cover the overall search area not to fall into the local minimum. And the cross search pattern and the modified diamond search pattern exploit the characteristic of a center-biased motion vector distribution and the fact that the motion vectors exist in the vertical and horizontal directions more than in the diagonal direction. Experiment results show that the speedup improvement of the proposed method over TZ search method and FS(Full Search) method (Joint Multiview Video Coding) can be up to 1.2~3 times and 8~9 times faster respectively while maintaining similar video quality and bit rates.

H.264/AVC에서 효율적인 정화소.부화소 움직임 추정

윤효순,김희숙,정미경,김미영,조영주,김기홍,이귀상,Yoon, Hyo-Sun,Kim, Hye-Suk,Jung, Mi-Gyoung,Kim, Mi-Young,Cho, Young-Joo,Kim, Gi-Hong,Lee, Guee-Sang 한국정보처리학회 2009 정보처리학회논문지B Vol.16 No.2

움직임 추정은 동영상 압축에서 영상 화질과 인코더 속도에 대하여 중요한 역할을 하지만, 많은 수행 시간을 요구한다. H.264/AVC에서 움직임 추정에 소요되는 수행 시간을 줄이면서 화질을 유지하기 위하여 본 논문에서는 정화소와 부화소 움직임 추정 기법을 제안하였다. 본 논문에서는 정화소 움직임 추정을 위하여 계층적인 탐색 기법을 사용하였고, 정확한 움직임 추정을 위하여 블록 크기에 따라 부화소 움직임 추정 패턴을 적응적으로 결정하였다. 제안한 정화소 움직임 추정 탐색 기법은 대칭적 십자가-엑스 탐색 패턴, 다중 사각형 탐색 패턴, 다이아몬드 탐색 패턴들로 이루어져 있다. 이 탐색 패턴들은 블록 움직임이 수직으로 크거나 블록 움직임이 크면서 규칙적인 영상에서 국부적 최소화 문제를 해결하고 움직임 추정에 소요되는 시간을 줄이기 위하여 탐색 영역 내에 탐색 점들을 규칙적, 대칭적으로 배치하였다. 제안한 부화소 움직임 추정 탐색 기법은 부화소 움직임 추정을 위하여 기존의 전역 부화소 탐색 패턴, 중앙 편향적 부화소 탐색 패턴과 제안한 부화소 움직임 탐색패턴들을 사용한다. 그리고 블록의 크기에 따라 3가지의 부화소 탐색 패턴들 중 한 패턴이 부화소 움직임 추정을 위해 적응적으로 결정된다. 블록의 크기에 따라 적응적으로 부화소 탐색 패턴이 결정되므로 보다 정확하게 부화소 움직임 추정을 수행할 수 있다. 제안한 기법을 전역 탐색 기법과 비교하였을 때 약 5.2배의 속도 향상을 가져왔으며, 영상 화질에 있어서 약 0.01 (dB)정도 성능 저하를 보였다. 반면에, 비대칭 다중육각형 탐색 기법과 비교하였을 때 움직임 추정 속도와 화질에 있어서 각각 약 1.2배와 약 0.02 (dB)정도 향상을 보였다. Motion estimation (ME) plays an important role in digital video compression. But it limits the performance of image quality and encoding speed and is computational demanding part of the encoder. To reduce computational time and maintain the image quality, integer pel and fractional pel ME methods are proposed in this paper. The proposed method for integer pel ME uses a hierarchical search strategy. This strategy method consists of symmetrical cross-X pattern, multi square grid pattern, diamond patterns. These search patterns places search points symmetrically and evenly that can cover the overall search area not to fall into the local minimum and to reduce the computational time. The proposed method for fractional pel uses full search pattern, center biased fractional pel search pattern and the proposed search pattern. According to block sizes, the proposed method for fractional pel decides the search pattern adaptively. Experiment results show that the speedup improvement of the proposed method over Unsymmetrical cross Multi Hexagon grid Search (UMHexagonS) and Full Search (FS) can be up to around $1.2{\sim}5.2$ times faster. Compared to image quality of FS, the proposed method shows an average PSNR drop of 0.01 dB while showing an average PSNR gain of 0.02 dB in comparison to that of UMHexagonS.

블록 유형 분류에 의한 움직임 추정

윤효순,유재명,박미선,김미영,이귀상,Yoon Hyo-Sun,Yoo Jae-Myeong,Park Mi-Seon,Kim Mi-Young,Toan Nguyen Dinh,Lee Guee-Sang 한국정보처리학회 2006 정보처리학회논문지B Vol.13 No.6

움직임 추정은 비디오 영상 압축에서 중요한 역할을 하지만, 최적의 움직임 벡터를 찾기 위해서는 많은 탐색을 필요로 한다. 따라서 탐색시간을 줄이기 위하여 적절한 탐색 시작점 설정과 효율적인 탐색 패턴을 사용하여야 한다. 만일 움직임 추정을 수행하기 전에 현재 블록의 전체적인 움직임 정보를 예측할 수 있다면 예측된 움직임 정보를 이용하여 보다 효율적으로 움직임 추정을 수행할 수 있다. 본 논문에서는 불필요한 움직임 추정을 생략하고 현재 블록의 움직임 추정을 위한 탐색 시작점 위치와 탐색 패턴을 보다 정확히 결정하기 위해, 후보 벡터들을 이용하여 현재 블록 유형을 분류하고 현재 블록의 움직임을 예측하는 방법을 제시한다. 제안된 기법은 움직임 벡터 추정 속도 면에서 기존의 방법과 비교하여 약 1.5$\sim$7배의 속도 향상을 가져왔으며, 움직임이 많은 영상에서의 화질에 있어서 약 0.02$\sim$0.2(dB)정도 성능 향상을 보였다. Although motion estimation Plays an important role in digital video compression, complex search procedure is required to find an optimal motion vector. To reduce the search time, the search start point should be set up properly md efficient search pattern is needed. If the overall motion of the torrent block can be predicted, motion estimation can be performed efficiently. In this paper. block types are classified using candidate vectors and the motion activity of the block is predicted which leads to the search start point close to the optimal motion vector. The proposed method proves to be about 1.5$\sim$7 times faster than existing methods with about 0.02$\sim$0.2(dB) improvement of picture quality in images with large movements.

움직임 벡터들의 시 · 공간적 상관성을 이용한 다시점 비디오 부호화를 위한 적응적 움직임 벡터 추정 기법

윤효순(Hyo-Sun Yoon),김미영(Mi-Young Kim) 한국콘텐츠학회 2018 한국콘텐츠학회논문지 Vol.18 No.12

움직임 추정은 동영상 내에 존재하는 중복된 데이터를 제거하기 때문에 영상 압축에서 중요한 역할을 하지만 많은 계산량을 요구하므로 계산량을 줄이기 위한 많은 고속 움직임 추정 기법이 제안되어 왔다. 다시점 비디오는 하나의 3차원 영상을 여러 시점에서 다수의 카메라로 촬영한 영상으로 다시점 비디오의 계산량은 카메라 수에 비례하여 증가한다. 따라서 다시점 비디오를 효율적으로 부호화하기 위한 움직임추정 기법이 필요하다. 본 논문에서는 블록의 시공간적 상관성과 블록의 움직임 특성에 따라 적응적으로 탐색 패턴을 선택하여 움직임 벡터를 추정하는 움직임 추정 기법을 제안한다. 실험 결과, 제안한 움직임추정 기법의 성능을 JMVC(Joint Multi-view Video Coding)의 TZ탐색과 전역탐색 기법의 성능과 비교한 경우, 영상 화질과 발생된 비트량을 비슷하지만 움직임 추정에 필요한 계산량은 각각 약 70~75%, 99%를 줄인다. Motion Estimation(ME) has been developed to reduce the redundant data in digital video signal. ME is an important part of video encoding system, However, it requires huge computational complexity of the encoder part, and fast motion search methods have been proposed to reduce huge complexity. Multi- view video is obtained by capturing on a three-dimensional scene with many cameras at different positions and its complexity increases in proportion to the number of cameras. In this paper, we proposed an efficient motion method which chooses a search pattern adaptively by using the temporal-spatial correlation of the block and the characteristics of the block. Experiment results show that the computational complexity reduction of the proposed method over TZ search method and FS method can be up to 70~75% and 99% respectively while keeping similar image quality and bit rates.

후보벡터 분류에 의한 영상 에러 복원

손남례,이귀상,Son, Nam-Rye,Lee, Guee-Sang 한국정보처리학회 2003 정보처리학회논문지B Vol.10 No.2

이동 통신 채널과 같은 저대역 통신망에서는 비디오 전송을 위해서는 높은 압축율을 갖는 부호화 방법들이 사용된다. 본 논문에서는 저대역 폭 통신을 위한 비디오 부호화 표준인 H.263 부호화를 기반으로 전송도중 손상된 움직임 벡터의 복원기법을 제안하고 실험하였다. 공간적으로 인접한 블록간에는 움직임 벡터의 상관성이 높기 때문에 손실블록 또한 이 블록들과 움직임이 비슷할 가능성이 높다. 이러한 특성을 이용하여 손실블록의 주변블록 중에서 같은 방향으로 움직임을 갖는 블록들로 구성된 동일 움직임 영역을 추출하고, 이 블록들을 이용하여 손실블록의 움직임벡터를 복구한다. 본 논문에서 제안한 알고리즘은 정확한 손실블록의 움직임 벡터를 찾아 거의 완벽하게 복원하기도 하지만 정확한 움직임벡터를 찾지 못한 경우에는 주변블록과 가장 비슷한 움직임벡터를 찾아서 에러를 은닉하는 효과가 있다. 제안한 방법으로 복원한 영상은 전체적으로 눈에 거슬리는 오류가 생기지 않으므로 주관적인 화질이 좋았다. 또한 객관적인 척도인 PSNR 측면에서는 영상의 움직임 정도에 따라 기존 BMA 방법보다 약 0.5㏈∼l㏈까지의 향상이 있었다. In transmitting compressed video bit-stream over Internet, packet loss causes error propagation in both spatial and temporal domain, which in turn leads to severe degradation in image quality. In this paper, a new approach for the recovery of lost or erroneous Motion Vector(MV)s by classifying the movements of neighboring blocks by their homogeneity is proposed. MVs of neighboring blocks are classified according to the direction of MVs and a representative value for each class is determined to obtain the candidate MV set. By computing the distortion of the candidates, a MV with the minimum distortion is selected. Experimental results show that the proposed algorithm exhibits better performance in many cases than existing methods.

동영상 압축 방식을 위한 최소 자승 기반 적응 움직임 벡터 예측 알고리즘

김지희,정종우,홍민철,Kim, Ji-hee,Jeong, Jong-woo,Hong, Min-Cheol 한국통신학회 2004 韓國通信學會論文誌 Vol.29 No.9C

본 논문에서는 동영상 부호화 기의 성능을 개선하기 위한 최소 자송 기반 적응 움직임 벡터 예측 알고리즘을 제안 하고자 한다. 적응 움직임 벡터 예측 방식은 동영상 움직임 벡터의 국부 통계적인 특성의 돌연한 변화로 특정지어 진다는 것을 바탕으로 최소 자승(Least Squared) 기반의 선형 움직임의 계수들을 통계적 특성에 따라 최적화하는 방식이지만 상기 방식은 애우 높은 계산 량을 요구하는 단정을 지니고 있다. 본 논문에서는 공간적인 움직임 변화 방향성을 가지는 최소 자승 최적화를 기반으로 움직임 예측기의 계수를 적응적으로 조절하여 움직임 예측 오류뿐만 아니라 계산 량도 감소시키는 방식에 대해 기술한다. 실험을 통해 제안된 방식의 성능을 확인할 수 있었다. This paper addresses an adaptive motion vector prediction algorithm to improve the performance of video encoder. The block-based motion vector is characterized by non-stationary local statistics so that the coefficients of LS (Least Squares) based linear motion can be optimized. However, it requires very expensive computational cost. The proposed algorithm using LS approach with spatially varying motion-directed property adaptively controls the coefficients of the motion predictor and reduces the computational cost as well as the motion prediction error. Experimental results show the capability of the proposed algorithm.

수정된 ALA 클러스터링 알고리즘을 이용한 손실된 움직임 벡터 복원 방법

손남례,이귀상,Son, Nam-Rye,Lee, Guee-Sang 한국정보처리학회 2005 정보처리학회논문지B Vol.12 No.7

To transmit a video bit stream over low bandwith, such as mobile, channels, encoding algorithms for high bit rate like H.263+ are used. In transmitting video bit-streams, packet losses cause severe degradation in image quality. This paper proposes a new algorithm for the recovery of missing or erroneous motion vectors when H.263+ bit-stream is transmitted. Considering that the missing or erroneous motion vectors are closely related with those of neighboring blocks, this paper proposes a temporal-spatial error concealment algorithm. The proposed approach is that missing or erroneous Motion Vectors(MVs) are recovered by clustering the movements of neighboring blocks by their homogeneity. MVs of neighboring blocks we clustered according to ALA(Average Linkage Algorithm) clustering and a representative value for each cluster is determined to obtain the candidate MV set. By computing the distortion of the candidates, a MV with the minimum distortion is selected. Experimental results show that the proposed algorithm exhibits better performance in subjective and objective evaluation than existing methods. 이동통신 채널과 같은 저대역 통신망에서는 비디오 전송을 위해서 H.263+와 같이 압축율이 높은 부호화 방법이 사용된다. 저대역폭을 통해 고압축 비디오 비트스트림을 전송할 경우, 패킷이 손실되면 영상의 품질이 심각하게 떨어진다. 본 논문에서는 H.263+ 부호화영상이 전송될 때 손상되는 움직임 벡터의 복원기법을 제안하였다. 본 논문에서는 손실된 블록의 움직임 벡터는 인접한 블록의 움직임 벡터와 높은 상관성을 갖는 다는 사실에 착안하여, 시공간적 오류은닉(Temporal-Spatial Error Concealment) 방법을 제안한다. 제안된 방법에서는 손실된 모션벡터를 인접한 블록의 움직임을 클러스터링하여 복원한다. 인접한 블록의 모션벡터는 ALA(Average Linkage Algorithm) 클러스터링 알고리즘에 따라 클러스터링되며, 각 클러스터의 대표값을 계산하여 후보 움직임 벡터 집합을 얻은 다음, 이들 후보의 움직임의 왜곡정도를 계산하여 왜곡이 최소인 움직임 벡터를 선택한다. 제안한 방법으로 복원한 영상의 화질에 대한 객관적, 주관적 평가에서 개선된 결과를 확인하였다.