얼굴 검출을 이용한 숏 유형 감지 시스템

백영태(Yeong-Tae Baek),박승보(Seung-Bo Park) 한국컴퓨터정보학회 2012 韓國컴퓨터情報學會論文誌 Vol.17 No.9

본 논문은 얼굴 검출을 이용한 숏의 유형을 판단하는 방법론을 제시한다. 클로즈 업 숏이나 미디엄 숏, 롱 숏과 같은 숏의 유형은 영화의 서사 구조를 파악하는 주요한 단서이다. 클로즈 업을 통해 감독은 등장인물의 감정 상태를 묘사하고 롱 숏을 통해 인물이 처한 상황이나 배경을 묘사하게 된다. 인물의 심리나 감정의 변화, 인물이 처한 상황을 묘사하는 숏의 여러 유형은 인물과 카메라의 거리에 의해 결정된다. 따라서 화면에 등장하는 인물의 얼굴 크기를 알아내어 숏의 유형을 판단할 수 있다. 이를 위해 본 논문에서는 얼굴 검출을 통해 숏의 유형을 감지하는 방법론을 제시하고 시스템으로 구현하여 성능을 평가한다. 평가실험에서 클로즈 업 숏과 미디엄 숏의 감지 성능은 95%와 90%로 비교적 높게 나타났지만 얼굴의 윤곽이 불분명한 롱 숏의 경우 53.3%로 측정되었다. In this paper, we propose the method that decides the shot types using face detection technique. The shot types, such as close-up shot, medium shot, and long shot, can be applied as useful information for understanding narrative structure of movies. The narrative structure of movie is builded by characters. Also their mental and emotional changes become inextricably bound up with them of narrative. The shot types are decided by distance between character and camera. If put together above them, shot types can be found by using detection technique of face size of characters and understand narrative of movie. To do this, we propose the methodology to detect shot type by face detecting and implement the system to do it. Additionally, we evaluate the performance of the system. The implementation system has been evaluated as 95% for close-up shot detection and 90% for medium shot detection, while 53.3% is just detected for long shots.

A Method of Video Shot-Boundary Detection based on Grey Modeling for Histogram Sequence

Xin Liu,Jin Dai 보안공학연구지원센터 2016 International Journal of Signal Processing, Image Vol.9 No.4

Video Shot-Boundary Detection is important for video analysis, segmentation and retrieval. The detection results of Shot-Boundary are not only relation with two nearest frames of shot cuts, but also their several neighboring frames. Video stream is multi-stream time sequence. Grey model based on set sequence (SGM) is proposed to analyze and process multi-stream time sequences constructed with sampled histograms in this paper. Consequently, a novel Shot-Boundary Detection method is put forward based on SGM and color histogram, which includes the following steps: (1) When a new video frame coming into the detection system, the image is transformed into intensity image under HSI color model; (2) Histogram of the video frame can be obtained. Then, taking samples for the histogram and constructing set sequence with proximate sampled histograms is implemented; (3) SGM is introduced to simulate the sampled histogram sequence in this detection method. Moreover, absolute mean error (AME) and regulative AME (RAME) with thresholds are applied to make a detection judgment. Finally, the experiments illuminate that the proposed method is an effective Shot-Boundary Detection method, and it is superior to method of Histogram disparity significantly, especially when it is used to detect cuts with some complex video scenes.

지역적 X²-히스토그램과 정규화를 이용한 새로운 샷 경계 검출

신성윤(Seong Yoon Shin) 한국컴퓨터정보학회 2007 韓國컴퓨터情報學會論文誌 Vol.12 No.2

본 논문에서는 카메라와 객체의 모션에 보다 강건하고 보다 정확한 결과를 산출하여 충분한 공간 정보를 가지는 지역적 X²-히스토그램 비교 방법을 이용하여 샷 경계를 검출한다. 또한 영상처리에서 영상의 명암 값 향상을 위하여 사용되는 로그함수와 상수를 변형하여 차이 값에 적용하는 정규화 방법을 제시한다. 그리고 샷 경계검출 알고리즘을 제시하여 일반적인 샷과 갑작스런 샷의 특징을 기반으로 검출한다. In this paper, we detect shot boundaries using X²-histogram comparison method which have enough spatial information that is more robust to the camera or object motion and produce more precise results. Also, we present normalization method to change Log-Formula and constant that is used for contrast enhancement of image in image processing and apply in difference value. And, present shot boundary detection algorithm to detect shot boundary based on general shot and abrupt shot's characteristic.

멀티미디어 검색을 위한 shot 경계 및 대표 프레임 추출

강대성,김영호 한국융합신호처리학회 2001 융합신호처리학회 논문지 (JISPS) Vol.2 No.1

본 논문에서는 MPEG 비디오 스트림을 분석하여 DCT DC 계수를 추출하고 이들로 구성된 DC 이미지로부터 제안하는 robust feature를 이용하여 shot 검출을 수행한 후 각 feature들의 통계적 특성을 이용하여 스트림의 특징에 따라 weight를 부가하여 구해진 characterizing value의 시간 변화량을 구한다. 추해진 변화량의 local maxima와 local minima는 비디오 스트림에서 각각 가장 특징적인 frame과 평균적인 frame을 나타낸다. 이 순간의 shot을 구함으로서 효과적이고 빠른 시간 내에 key frame을 추출한다. 추출되어진 key frame에 대하여 원영상을 복원한 후, 색인을 위하여 다수의 parameter를 구하고, 사용자가 질의한 영상에 대해서 이들 파라메터를 구하여 key frame들과 가장 유사한 대표영상들을 검색한다. 실험결과 일반적인 방법보다 더 나은 결과를 보였고, 높은 검색율을 보였다. This Paper suggests a new feature for shot detection, using the proposed robust feature from the DC image constructed by DCT DC coefficients in the MPEG video stream, and proposes the characterizing value that reflects the characteristic of kind of video (movie, drama, news, music video etc.). The key frames are pulled out from many frames by using the local minima and maxima of differential of the value. After original frame(not do image) are reconstructed for key frame, indexing process is performed through computing parameters. Key frames that are similar to user's query image are retrieved through computing parameters. It is proved that the proposed methods are better than conventional method from experiments. The retrieval accuracy rate is so high in experiments.

샷 경계 탐지 알고리즘의 병렬 설계와 구현

이준구(Joon-Goo Lee),김승현(SeungHyun Kim),유병문(Byoung-Moon You),황두성(DooSung Hwang) 대한전자공학회 2014 전자공학회논문지 Vol.51 No.2

최근 고화질 영상의 증가와 더불어 대용량 영상 데이터의 처리는 높은 연산이 요구되어 병렬 처리 설계가 선택되고 있다. 영상 처리에서 나타나는 많은 단순 연산이 병렬처리 가능한 경우, CPU 기반 병렬처리보다는 GPU 기반 병렬처리를 적용하는 것이 계산문제의 시간과 공간 계산 복잡도를 줄일 수 있다. 본 논문은 영상에서 샷 경계 탐지 알고리즘의 병렬 설계와 구현을 연구하였다. 제안하는 샷 경계 탐지 알고리즘은 프레임 간 지역 화소 밝기 비교와 전역 히스토그램 정보를 이용하는데, 이들 데이터의 계산은 대량의 데이터에 대한 높은 병렬성을 갖는다. 이들 연산의 병렬처리를 최대화하기 위해 화소 밝기와 히스토그램의 계산을 NVIDIA GPU에서 병렬 설계 하였다. GPU 기반 샷 탐지 방법은 국가기록원에서 선택된 10개의 비디오 데이터에 대한 성능 테스트를 수행하였다. 테스트에서 GPU 기반 알고리즘의 탐지율은 CPU 기반 알고리즘과 유사하였으나 약 10배의 연산 속도가 개선되었다. As the number of high-density videos increase, parallel processing approaches are necessary to process a large-scale of video data. When a processing method of video data requires thousands of simple operations, GPU-based parallel processing is preferred to CPU-based parallel processing by way of reducing the time and space complexities of a given computation problem. This paper studies the parallel design and implementation of a shot-boundary detection algorithm. The proposed shot-boundary detection algorithm uses pixel brightness comparisons and global histogram data among the blocks of frames, and the computation of these data is characterized with the high parallelism for the related operations. In order to maximize these operations in parallel, the computations of the pixel brightness and histogram are designed in parallel and implemented in NVIDIA GPU. The GPU-based shot detection method is tested with 10 videos from the set of videos in National Archive of Korea. In experiments, the detection rate is similar but the computation time is about 10 time faster to that of the CPU-based algorithm.

중간값 필터와 신경망 회로를 사용한 자동 컷 검출 알고리즘

전승철,박성한,Jun, Seung-Chul,Park, Sung-Han 대한전자공학회 2002 電子工學會論文誌-SP (Signal processing) Vol.39 No.4

본 논문은 MPEG 스트림 데이터에서 효과적으로 화면 전환 경계를 찾아내는 알고리즘을 제안한다. 이를 위하여 먼저 연속적인 장면의 변화 정도를 표시하는 척도로써 히스토그램 차이 값(histogram difference value)과 픽셀 차이 값(pixel difference value)을 각각 하나의 신호로 취급한다. 이 신호에 중간 값 필터를 적용하여 얻어진 값과 원래의 신호의 차이값인 MFD(Median filtered difference) 값을 구한다. 이렇게 얻어진 MFD의 값이 크면 회면 전환이 일어남을 나타내며 따라서 컷 검출의 기준이 될 수 있다. 또한, 인공 신경망을 사용하여 컷 경계가 되는 MFD값의 문턱치를 결정한다. 제안된 알고리즘은 변화량이 심한 동영상이나 급작스럽게 밝아지는 프레임을 포함하는 동영상에서 적절히 컷 전환을 검출함을 보여 준다. 실험결과에서 제안된 알고리즘의 성능을 보여준다. In this paper, an efficient method to find shot boundaries in the MPEG video stream data is proposed. For this purpose, we first assume that the histogram difference value(HDV) and pixel difference value(PDV) as an one dimensional signal and apply the median filter to these signals. The output of the median filter is subtracted from the original signal to produce the median filtered difference(MFD). The MFD is a criterion of shot boundary. In addition a neural network is employed and trained to find exactly cut boundary. The proposed algorithm shows that the cut boundaries are well extracted, especially in a dynamic video.

특이값 분해와 점증적 클러스터링을 이용한 뉴스 비디오 샷 경계 탐지

이한성(Hansung Lee),임영희(Younghee Im),박대희(Daihee Park),이성환(Seong-Whan Lee) 한국정보과학회 2009 정보과학회논문지 : 소프트웨어 및 응용 Vol.36 No.2

본 논문에서는 뉴스 기사 분할 관점에서, 뉴스 비디오 샷 경계 탐지 알고리즘의 특성을 고려한 다음과 같은 설계 기준을 제시하고, 이를 모두 만족하는 새로운 샷 경계 탐지 알고리즘을 제안하고자 한다. 1) 뉴스 비디오 샷 경계 탐지의 재현율을 높임으로써, 앵커 샷 탐지 단계에서 입력으로 사용될 데이타의 오류를 최소화한다; 2) 급격한 장면 변환과 점증적 장면 변환을 하나의 알고리즘으로 탐지함으로써 한번의 데이타 탐색으로 샷 분할을 수행한다; 3) 분할된 샷들을 정적 샷과 동적 샷으로 분류함으로써 앵커샷 탐지 단계의 탐색 공간을 축소한다. 제안된 뉴스 비디오 샷 경계 탐지 알고리즘은 특이값 분해를 기반으로 점증적 클러스터링 알고리즘과 머서 커널을 결합한 구조로서, 위에서 제시한 기준을 모두 만족하도록 설계되었다. 제안된 방법론은 특이값 분해를 통해 특징 벡터의 차원축소 뿐만 아니라, 뉴스 비디오를 구성하는 연속적인 프레임에서의 잡음과 아주 작은 변화를 제거함으로써 분류 성능을 높일 수 있다. 또한 머서 커널의 도입은 쉽게 분류되지 않는 데이타를 고차원 공간으로 매핑함으로써 구분하기 어려운 샷 경계의 탐지 가능성을 높여준다. 실험을 통하여 제안된 방법론이 매우 높은 재현율을 보이며, 앵커 샷 탐지를 위한 탐색 공간 축소를 효과적으로 수행함을 보인다. In this paper, we propose a new shot boundary detection method which is optimized for news video story parsing. This new news shot boundary detection method was designed to satisfy all the following requirements: 1) minimizing the incorrect data in dataset for anchor shot detection by improving the recall ratio 2) detecting abrupt cuts and gradual transitions with one single algorithm so as to divide news video into shots with one scan of dataset; 3) classifying shots into static or dynamic, therefore, reducing the search space for the subsequent stage of anchor shot detection. The proposed method, based on singular value decomposition with incremental clustering and mercer kernel, has additional desirable features. Applying singular value decomposition, the noise or trivial variations in the video sequence are removed. Therefore, the separability is improved. Mercer kernel improves the possibility of detection of shots which is not separable in input space by mapping data to high dimensional feature space. The experimental results illustrated the superiority of the proposed method with respect to recall criteria and search space reduction for anchor shot detection.

화소 밝기와 객체 이동을 이용한 비디오 샷 경계 탐지 알고리즘

이준구(Joon-Goo Lee),한기선(Ki-Sun Han),유병문(Byoung-Moon You),황두성(Doo-Sung Hwang) 한국컴퓨터정보학회 2013 韓國컴퓨터情報學會論文誌 Vol.18 No.5

비디오 데이터를 효율적으로 검색, 정렬, 탐색, 분류하기 위해서는 프레임 간의 샷 전환 탐지가 선행되어야 한다. 프레임 간 화소 밝기와 객체 이동은 높은 탐지율을 보장하는 샷 탐지 알고리즘이 극복해야할 문제이다. 본 논문에서는 프레임의 블록화 및 객체의 이동과 프레임의 밝기를 고려하는 샷 탐지 방법을 제안한다. 먼저 연속하는 두 프레임 사이에서 발생할 수 있는 객체의 이동을 고려하여 계산된 히스토그램과 밝기 차이를 반영하는 모폴러지 팽창 연산을 이용하는 알고리즘을 제안한다. 다음으로 화소 밝기 차를 보상한 프레임 블록의 화소정보와 프레임의 전역적인 밝기 히스토그램의 변화를 함께 이용하는 샷 탐지 방법을 제안한다. 제안된 방법들은 국가기록원 소장 비디오 데이터에 대한 실험에서 화소 또는 히스토그램 기반 알고리즘에 비해 높은 샷 탐지율을 보였다. Shot boundary detection is an essential step for efficient browsing, sorting, and classification of video data. Robust shot detection method should overcome the disturbances caused by pixel brightness and object movement between frames. In this paper, two shot boundary detection methods are presented to address these problem by using segmentation, object movement, and pixel brightness. The first method is based on the histogram that reflects object movements and the morphological dilation operation that considers pixel brightness. The second method uses the pixel brightness information of segmented and whole blocks between frames. Experiments on digitized video data of National Archive of Korea show that the proposed methods outperforms the existing pixel-based and histogram-based methods.

A Self-Adaptive Shot Boundary Detection Method Based on Neighbor Frame Difference and Non-neighbor Frame Difference

Junxiao Liu 보안공학연구지원센터 2015 International Journal of Multimedia and Ubiquitous Vol.10 No.7

According to the characters of abrupt change and gradual change, we put forward a self-adaptive method of shot boundary detection, which is based on neighbor frame difference and non-neighbor frame difference. By computing neighbor frame difference, this method can effectively detect abrupt changes. By computing non-neighbor frame difference, gradual changes can be effectively detected. Integrating the two methods, it can almost detect all shot boundaries no matter what the shot change type is. Using this method, we does not need to set global threshold and has high adaptability with low computation cost. Experimental results show it is adaptive and efficient.

애니메이션의 효과적인 장면경계 검출 알고리즘

장석우(Jang, Seok-Woo),정명희(Jung, Myung-Hee) 한국산학기술학회 2011 한국산학기술학회논문지 Vol.12 No.8

셀 애니메이션은 배경이 하나의 셀로 표현되고, 장면이 변화될 경우에는 배경이 변경되기 때문에 장면전환 시 비교적 큰 변화가 일어난다. 그리고 실제로 카메라를 이용하여 촬영한 영상과는 달리 사람이 직접 그리다 보니 사 용된 색상의 종류 또한 그렇게 많지 않다. 본 논문에서는 애니메이션의 이러한 특성을 최대한 반영하고 보다 효과적 으로 셀 애니메이션의 장면전환을 검출하기 위해서 색상과 블록 단위의 히스토그램을 단계적으로 활용하는 새로운 애니메이션의 장면전환 검출 기법을 제안한다. 제안된 알고리즘은 연속적으로 입력되는 애니메이션 영상을 받아들인 후 먼저 칼라공간을 HSI 공간으로 변형하고, 두 영상 사이의 색상 값의 차연산을 수행하여 인접한 영상이 장면전환 후보인지를 1차적으로 판단한다. 만일, 인접한 영상이 장면전환 후보군으로 판단되면 부 영역별로 색상 히스토그램을 작성하고, 여기에 가중치를 적용하여 장면전환이 발생했는지의 유무를 최종적으로 판단한다. 본 논문의 실험에서는 제안된 애니메이션의 장면전환 검출 방법이 기존의 장면전환 검출 방법에 비해 보다 우수하다는 것을 보인다. A cell animation is represented by one background cell, and there is much difference of images when its shot is changed. Also, it does not have a lot of colors since people themselves draw it. In order to effectively detect shot transitions of cell animations while fully considering their intrinsic characteristics, in this paper, we propose a animation shot boundary detection algorithm that utilizes color and block-based histograms step by step. The suggested algorithm first converts RGB color space into HSI color one, and coarsely decides if adjacent frames contains a shot transition by performing color difference operation between two images. If they are considered to have a shot transition candidate, we calculate color histograms for 9 sub-regions of the adjacent images and apply weights to them. Finally, we determine whether there is a real shot transition by analyzing the weighted sum of histogram values. In experiments, we show that our method is superior to others.