영역 흐름 및 칼라 정보를 이용한 MPEG 데이타의 내용 기반 셧 경계 검출

강행봉(Hang-Bong Kang) 한국정보과학회 2000 정보과학회논문지 : 소프트웨어 및 응용 Vol.27 No.4

비디오 데이타에서 셧 경계 검출은 비디오 인덱싱 및 검색에 있어서 매우 중요한 단계이다. 셧 경계 검출 방법은 현재 많은 연구가 진행되어 왔으나 아직까지 셧에 존재하는 내용을 기반으로 한 일반적인 방법이 제시되지 못하고 있다. 주로 연속된 비디오 프레임 사이의 칼라 히스토그램 변화나 DCT 계수의 편차에 의해 검출하는 방식이 주로 사용되고 있다. 하지만, 이러한 방식들은 비디오 데이타의 내용이나 의미있는 특징들을 사용하고 있지 않아서 사용자가 원하는 고도의 정보를 처리하는데는 어려운 점이 많다. 더욱이, 이러한 내용 기반의 처리가 압축 데이타에서 직접 수행할 수 있다면, 시간 및 오버헤드를 줄일 수 있어 바람직하다. 본 논문에서는 중요한 특징인 영역 정보 및 칼라 정보를 이용하여 MPEG 데이타를 원 영상으로 복호화하지 않고, 셧 경계를 검출하는 방법을 제안한다. 먼저, 압축비디오 데이타로 부터 DC영상들을 복원하여 이 영상들에 존재하는 영역 정보 흐름 및 양자화 된 HSV 칼라 정보의 중요한 특징들을 추출하여, 영역 흐름의 불연속점이나 칼라 히스토그램의 값이 급격히 변화하는 프레임을 찾아 이를 제안된 알고리즘에 따라 비디오 데이타의 셧 경계로 검출한다. It is an important step in video indexing and retrieval to detect shot boundaries on video data. Some approaches are proposed to detect shot changes by computing color histogram differences or the variances of DCT coefficients. However, these approaches do not consider the content or meaningful features in the image data which are useful in high level video processing. In particular, it is desirable to detect these features from compressed video data because this requires less processing overhead. In this paper, we propose a new method to detect shot boundaries from MPEG data using region flow and color information. First, we reconstruct DC images and compute region flow information and color histogram differences from HSV quantized images. Then, we compute the points at which region flow has discontinuities or color histogram differences are high. Finally, we decide those points as shot boundaries according to our proposed algorithm.

Considerations of Semantics and Multimedia Information at Name Server for Directory Service

Hang-Bong Kang(강행봉),Yong-Jin Park(박용진) 대한전자공학회 1986 대한전자공학회 학술대회 Vol.1986 No.6

감정에 관련된 비디오 셧의 특징 표현 및 검출

강행봉,박현재,Kang, Hang-Bong,Park, Hyun-Jae 한국정보처리학회 2004 정보처리학회논문지B Vol.11 No.1

인간과 컴퓨터간의 상호작용에 있어서 감정처리는 매우 중요한 부결이다. 특히, 비디오 정보처리에 있어서 사용자의 감정을 처리할 수 있다면 비디오 검색이나 요약본 추출 등 다양한 응용분야에 활용이 가능하다. 비디오 데이터로부터 이러한 감정 처리를 하기 위해서는 감정에 관련된 특징들을 표현하고, 검출하는 것이 필요하다. 쉽게 추출이 가능한 색상이나 모션 등의 저급 특징들로부터 고급 개념인 감정을 검출하는 것은 매우 어려운 일이지만, 감정에 관련된 여러 장면으로부터 LDA(Linear Discriminant Analysis)와 같은 통계적인 분석을 통해 감정에 관련된 특징들을 검출하는 것은 가능하다. 본 논문에서는 색상, 모션 및 셧 길이 정보로부터 감정과의 관련된 특징을 표현하고 검출하는 방법을 제안한다. 제안된 특징을 사용하여 감정 검출에 관련된 실험을 한 결과 바람직한 결과를 얻었다. The processing of emotional information is very important in Human-Computer Interaction (HCI). In particular, it is very important in video information processing to deal with a user's affection. To handle emotional information, it is necessary to represent meaningful features and detect them efficiently. Even though it is not an easy task to detect emotional events from low level features such as colour and motion, it is possible to detect them if we use statistical analysis like Linear Discriminant Analysis (LDA). In this paper, we propose a representation scheme for emotion-related features and a defection method. We experiment with extracted features from video to detect emotional events and obtain desirable results.

지역 컨텍스트 및 전역 컨텍스트 정보를 이용한 비디오 장면 경계 검출

강행봉(Hang-Bong Kang) 한국정보과학회 2002 정보과학회 컴퓨팅의 실제 논문지 Vol.8 No.6

Scene boundary detection is important in the understanding of semantic structure from video data. However, it is more difficult than shot change detection because scene boundary detection needs to understand semantics in video data well. In this paper, we propose a new approach to scene segmentation using contextual information in video data. The contextual information is divided into two categories: local and global contextual information. The local contextual information refers to the foreground regions' information, background and shot activity. The global contextual information refers to the video shot's environment or its relationship with other video shots. Coherence, interaction and the tempo of video shots are computed as global contextual information. Using the proposed contextual information, we detect scene boundaries. Our proposed approach consists of three consecutive steps: linking, verification, and adjusting. We experimented the proposed approach using TV dramas and movies. The detection accuracy of correct scene boundaries is over than 80 %. 장면 경계 검출은 비디오 데이타에서 의미적인 구조를 이해하는데 있어서 매우 중요한 역할을 한다. 하지만, 장면 경계 검출은 의미적인 일관성을 갖는 장면을 추출하여야 하므로 셧 경계 검출에 비해 매우 까다로운 작업이다. 본 논문에서는 비디오 데이타에 존재하는 의미적인 정보를 사용하기 위해 비디오 셧의 지역 및 전역 컨텍스트 정보를 추출하여 이를 바탕으로 장면 경계를 검출하는 방식을 제안한다. 비디오 셧의 지역 컨텍스트 정보는 셧 자체에 존재하는 컨텍스트 정보로서 전경 객체(foreground object), 배경(background) 및 움직임 정보들로 정의한다. 전역 컨텍스트 정보는 주어진 비디오 셧이 주위에 존재하는 다른 비디오 셧들과의 관계로부터 발생하는 다양한 컨텍스트로서 셧들간의 유사성, 상호 작용 및 셧들의 지속 시간 패턴으로 정의한다. 이런 컨텍스트 정보를 바탕으로 연결 작업, 연결 검증 작업 및 조정 작업등의 3단계 과정을 거쳐 장면을 검출한다. 제안된 방식을 TV 드라마 및 영화에 적용하여 80% 이상의 검출 정확도를 얻었다.

비디오 셧으로부터 영역, 모션 및 퍼지 이론을 이용한 계층적 대표 프레임 선택

강행봉(Hang-Bong Kang) 한국정보과학회 2000 정보과학회논문지 : 소프트웨어 및 응용 Vol.27 No.5

내용 기반의 비디오 인덱싱 및 검색을 위해서는 비디오 데이타를 셧(shot)으로 분할하고, 또 각 셧을 나타내는 대표 프레임을 선택하는 것이 필요하다. 하지만, 대표 프레임을 선택하는 것은 주관적이어서 일관되게 자동적으로 대표 프레임을 선택하는 것은 쉬운 문제가 아니다. 본 논문에서는 각 프레임에서의 영역을 바탕으로한 컨텐트 정보 및 시간 축 상의 변화를 이용하여 계층적으로 대표 프레임을 선택하는 방법을 제안한다. 먼저, 비디오 셧에서 카메라 모션을 검출하여 이에 따라 비디오 셧을 분류한다. 다음, 분류된 비디오 셧에 컨텐트의 중요도를 계산하기 위한 퍼지 규칙을 적용하여 대표 프레임을 선택한다. 끝으로, 선택되는 대표 프레임의 수는 브라우징 상세도(detailness)에 따라 계층적으로 선택되게끔 한다. For content-based video indexing and retrieval, it is necessary to segment video data into video shots and then select key frames or representative frames for each shot. However, it is very difficult to select key frames automatically because the task of selecting meaningful frames is quite subjective. In this paper, we propose a new approach in selecting key frames based on visual contents such as region information and their temporal variations in the shot. First of all, we classify video shots into panning shots, zooming shots, tilting shots or no camera motion shots by detecting camera motion information in video shots. Then, in each category, we apply appropriate fuzzy rules to select key frames based on meaningful content in frame. Finally, we control the number of key frames in the selection process by adjusting the degree of detail in representing video shots.

MRF 프레임워크 기반 비모수적 배경 생성

조상현,강행봉,Cho, Sang-Hyun,Kang, Hang-Bong 한국정보처리학회 2010 정보처리학회논문지B Vol.17 No.6

기존의 배경 생성방법은 주로 시간에 따른 context만을 이용해 복잡한 환경에서는 적용하기 힘들다. 이러한 단점을 해결하기 위해, 본 논문에서는 움직이는 물체를 포함하지 않는 배경 영상을 생성하기 위해 시간에 따른 context와 공간에 따른 context를 융합한 새로운 배경 생성 방법을 제안한다. 제안한 방법은 먼저 샘플링된 프레임 이미지를 m*n의 블록으로 나누고 각각의 블록을 고정 블록과 비고정 블록으로 나눈다. 비고정 블록에 대해서, 각 블록의 시간적 context와 공간적 context를 모델링하기 위해 MRF 프레임워크를 이용한다. MRF 프레임워크는 영상 픽셀과 연관된 특징과 같은 context에 독립된 entity를 모델링하는데 많이 이용되는 방법으로 본 논문에서는 비고정 블록에 대한 시간적 context와 공간적 context를 모델링하기 위해 이용된다. 실험결과는 제안한 방법이 기존의 시간에 따른 context만을 이용했을 경우보다 더 효율적임을 보여준다. Previous background generation techniques showed bad performance in complex environments since they used only temporal contexts. To overcome this problem, in this paper, we propose a new background generation method which incorporates spatial as well as temporal contexts of the image. This enabled us to obtain 'clean' background image with no moving objects. In our proposed method, first we divided the sampled frame into m*n blocks in the video sequence and classified each block as either static or non-static. For blocks which are classified as non-static, we used MRF framework to model them in temporal and spatial contexts. MRF framework provides a convenient and consistent way of modeling context-dependent entities such as image pixels and correlated features. Experimental results show that our proposed method is more efficient than the traditional one.

시간축과 공간축 화소 정보를 이용한 배경 생성

조상현,강행봉,Cho, Sang-Hyun,Kang, Hang-Bong 한국정보처리학회 2010 정보처리학회논문지B Vol.17 No.1

Background generation is very important for accurate object tracking in video surveillance systems. Traditional background generation techniques have some problems with non-moving objects for longer periods. To overcome this problem, we propose a newbackground generation method using mean-shift and Fast Marching Method (FMM) to use pixel information along temporal and spatial dimensions. The mode of pixel value density along time axis is estimated by mean-shift algorithm and spatial information is evaluated by FMM, and then they are used together to generate a desirable background in the existence of non-moving objects during longer period. Experimental results show that our proposed method is more efficient than the traditional method. 비디오 감시 시스템에서 정확한 물체 추적을 위해서는 움직이는 물체가 없는 정적인 배경 영상이 필수적이다. 하지만 기존의 배경 생성 방법들은 주로 시간 축에 따른 화소 정보를 이용하여 오랫동안 정지해 있는 물체들이 존재하는 경우에는 적용하기 어려운 단점이 있다. 이러한 문제점을 해결하기 위해 본 논문에서는 mean-shift와 fast marching method(FMM)을 이용해 시간 축 화소 정보와 공간 축 화소 정보를 이용하여 배경을 생성하는 방법을 제안한다. mean-shift를 이용해 시간 축에 따른 화소 값의 최빈값을 추정하여 배경을 생성하고, FMM을 이용해공간 축에 따른 화소 정보를 이용하여 일정 기간 동안 움직이지 않은 물체가 있는 환경에서 바람직한 배경을 생성한다. 실험 결과는 제안한 방법이 기존의 시간에 따른 빈도만을 이용하는 방법보다 더 효율적임을 보여준다.

대화형 유전자 알고리즘을 이용한 감정 기반 영상의 색변환

우혜윤,강행봉,Woo, Hye-Yoon,Kang, Hang-Bong 한국정보처리학회 2010 정보처리학회논문지B Vol.17 No.2

본 논문은 사용자 취향 학습 방법으로 대화형 유전자 알고리즘을 이용한 감정 기반 영상의 색 변환을 제안한다. 색 변환은 주로 조화로운색상의 범위를 정의한 기존의 템플릿을 기반으로 영상의 채도와 명도를 제외한 색상만을 변환하는 방법으로 수행되어 왔다. 색상의 조화를 조절함으로써 부자연스러운 영상을 자연스럽게 변환하여 영상을 감상하는 사용자의 만족도를 높였다. 한편, 색은 사람의 감정과도 밀접한 관련이 있기 때문에, 색과 감정의 관계를 정의 하면, 감정 기반 콘텐츠와 기술 등에서의 상호 작용을 높일 수 있다. 감정에 의한 색 변환은 콘텐츠 감상에 있어서 사용자에게 콘텐츠와 자신이 교감하고 있다는 느낌을 주어 흥미와 몰입을 높일 수 있다. 이에 따라, 본 논문은 감정 기반 색 변환을 위한 각 감정 별 색의 범위를 정의하고, 색상, 채도, 명도에 대한 색 변환을 수행한다. 하지만 색과 감정의 관계는 개인의 취향, 환경 등에 따라 다양하게 정의 된다. 이러한 특성을 반영하기 위해, 사용자 취향을 학습함으로써 사용자의 만족도를 높인다. 취향 학습 방법으로는 대화형 유전자 알고리즘을 사용한다. 사용자 취향에 의한 색변환 영상의 만족도를 분석하기 위해 설문조사를 실시하여, 원본 영상에 비해 색변환 영상에 대한 선호도가 높음을 확인한다. 이를 통해 템플릿을 동일하게 적용하는 것보다 사용자 취향을 반영한 템플릿에 의한 변환이 사용자의 감성을 만족시킴을 보인다. This paper proposes color transformation of images based on user's preference. Traditional color transformation method transforms only hue based on existing templates that define range of harmonious hue. It does not change saturation and intensity. Users would appreciate the resulting images that adjusted unnatural hue of images. Since color is closely related to peoples' emotion, we can enhance interaction of emotion-based contents and technologies. Therefore, in this paper, we define the range of color of each emotion for the transformation of color and perform the transformation of hue, saturation and intensity. However, the relationship of color and emotion depends on the culture and environment. To reflect these characteristics in color transformation, we propose the transformation of color that is based on user's preference and as a result, people would be more satisfied. We adopt interactive genetic algorithm to learn about user's preference. We surveyed the subject to analyze user's satisfaction about transformed images that are based on preference, and we found that people prefer transformed images to original images. Therefore, we conclude that people are more satisfied with the transformation of the templates which reflected user's preference than the one that did not.

실시간 객체 추적을 위한 Condensation 알고리즘과 Mean-shift 알고리즘의 결합

조상현,강행봉,Cho Sang-Hyun,Kang Hang-Bong 한국정보처리학회 2005 정보처리학회논문지B Vol.12 No.3

실시간 객체 추적(Real-time object tracking)은 비디오 감시 시스템, 비전 기반 네비게이터와 같은 비전 응용 산업이 발달하면서 그 중요성이 더해지고 있는 분야이다. 객체 추적을 위해 많이 이용되고 있는 알고리즘으로 Mean-shift와 Condensation 알고리즘이 있다. Mean-shift 알고리즘을 기반으로 한 객체 추적 알고리즘은 구현이 간단하고, 적은 계산 복잡도를 갖는 장점이 있다. 따라서 실시간 객체 추적 시스템에 적합하다고 할 수 있지만, 지역 모드(Local mode)로 수렴하는 특성으로 인해 복잡한 환경(Cluttered environment)에서는 좋은 성능을 나타내지 못하는 단점을 가지고 있다. 반면, 여러 개의 후보들을 이용해 객체의 위치를 추정하는 Condensation 추적 알고리즘은 복잡한 환경에서 특정 객체를 추적하는데 많이 사용된다. 하지만 Condensation 알고리즘을 기반으로 한 추적 알고리즘은 정확한 추적을 하기 위해서 복잡도가 높은 객체 모델과 많은 수의 후보가 요구된다. 따라서 높은 복잡도를 갖게 되고, 이것으로 인해 복잡한 환경에서는 실시간 구현이 어렵다는 단점을 갖게 된다. 본 논문에서는, 복잡한 환경에서 실시간 객체 추적에 적합하도록 Condensation 알고리즘과 Mean-shift 알고리즘을 결합해서, 적은 수의 후보들을 이용하는 모델을 제안한다. 적은 수의 후보들을 이용하더라도, Mean-shift 알고리즘을 이용해 보다 높은 유사도를 가지는 후보들만을 이용함으로써, Condensation 알고리즘이나 Mean-shift 알고리즘만을 이용할 때보다 더 나은 성능을 얻을 수 있었다. Real-time Object tracking is an important field in developing vision applications such as surveillance systems and vision based navigation. mean-shift algerian and Condensation algorithm are widely used in robust object tracking systems. Since the mean-shift algorithm is easy to implement and is effective in object tracking computation, it is widely used, especially in real-time tracking systems. One of the drawbacks is that it always converges to a local maximum which may not be a global maximum. Therefore, in a cluttered environment, the Mean-shift algorithm does not perform well. On the other hand, since it uses multiple hypotheses, the Condensation algorithm is useful in tracking in a cluttered background. Since it requires a complex object model and many hypotheses, it contains a high computational complexity. Therefore, it is not easy to apply a Condensation algorithm in real-time systems. In this paper, by combining the merits of the Condensation algorithm and the mean-shift algorithm we propose a new model which is suitable for real-time tracking. Although it uses only a few hypotheses, the proposed method use a high-likelihood hypotheses using mean-shift algorithm. As a result, we can obtain a better result than either the result produced by the Condensation algorithm or the result produced by the mean-shift algorithm.

얼굴 깊이 추정을 이용한 3차원 얼굴 생성 및 추적 방법

주명호,강행봉,Ju, Myung-Ho,Kang, Hang-Bong 한국정보처리학회 2011 정보처리학회논문지B Vol.18 No.1

얼굴의 3차원 정보는 얼굴 인식이나 얼굴 합성, Human Computer Interaction (HCI) 등 다양한 분야에서 유용하게 이용될 수 있다. 그러나 일반적으로 3차원 정보는 3D 스캐너와 같은 고가의 장비를 이용하여 획득되기 때문에 얼굴의 3차원 정보를 얻기 위해서는 많은 비용이 요구된다. 본 논문에서는 일반적으로 손쉽게 얻을 수 있는 2차원의 얼굴 영상 시퀀스로부터 효과적으로 3차월 얼굴 형태를 추적하고 재구성하기 위한 3차원 Active Appearance Model (3D-AAM) 방법을 제안한다. 얼굴의 3차원 변화 정보를 추정하기 위해 학습 영상은 정면 얼굴 포즈로 다양한 얼굴 표정 변화를 포함한 영상과 표정 변화를 갖지 않으면서 서로 크게 다른 얼굴 포즈를 갖는 영상으로 구성한다. 입력 영상의 3차원 얼굴 변화를 추정하기 위해 먼저 서로 다른 포즈를 갖는 학습 영상으로부터 얼굴의 각 특징점(Land-mark)의 기하학적 변화를 이용하여 깊이 정보를 추정하고 추정된 특징점의 깊이 정보를 입력 영상의 2차원 얼굴 변화에 추가하여 최종적으로 입력 얼굴의 3차원 변화를 추정한다. 본 논문에서 제안된 방법은 얼굴의 다양한 표정 변화와 함께 3차원의 얼굴 포즈 변화를 포함한 실험 영상을 이용하여 기존의 AAM에 비해 효과적이면서 빠르게 입력 얼굴을 추적(Fitting)할 수 있으며 입력 영상의 정확한 3차원 얼굴 형태를 생성할 수 있음을 보였다. A 3D face shape derived from 2D images may be useful in many applications, such as face recognition, face synthesis and human computer interaction. To do this, we develop a fast 3D Active Appearance Model (3D-AAM) method using depth estimation. The training images include specific 3D face poses which are extremely different from one another. The landmark's depth information of landmarks is estimated from the training image sequence by using the approximated Jacobian matrix. It is added at the test phase to deal with the 3D pose variations of the input face. Our experimental results show that the proposed method can efficiently fit the face shape, including the variations of facial expressions and 3D pose variations, better than the typical AAM, and can estimate accurate 3D face shape from images.