MPEG - 7을 기반으로 한 뉴스 동영상 스키마 및 샷 종류별 키프레임을 이용한 요약 생성 방법

정진국(Jin-Guk Jeong),심진선(Jin-Sun Shim),낭종호(Jong-Ho Nang),김경수(Gyung-Su Kim),하명환(Myung-Hwan Ha),정병희(Byung-Hee Jung) 한국정보과학회 2002 정보과학회 컴퓨팅의 실제 논문지 Vol.8 No.5

최근 정형화된 구조를 갖는 뉴스 동영상 비디오에 대한 아카이브 시스템을 구축하기 위한 많은 연구가 진행되어 왔다. 그러나 기존의 시스템에서는 기사에 대한 메타 데이타를 저장하는 방법이 서로 다르기 때문에 이런 데이타 사이의 호환성이 없다는 문제점을 가지고 있다. 본 논문에서는 이런 문제점을 해결하기 위하여 멀티미디어 내용 정보를 표현하기 위한 표준인 MPEG-7 MDS에 바탕을 둔 뉴스 동영상 스키마를 제안하였으며, 또한 기사를 이루는 각 샷들의 특징을 반영한 기사 요약 방법을 설계하고 구현하였다. 본 논문에서 제안한 뉴스 동영상을 위한 스키마는 뉴스 구조의 특성을 반영하여 MPEG-7 MDS의 VideoSegment, TextAnnotation 등과 같은 스키마를 이용하여 설계하였고, 요약 방법에서는 요약 비디오 데이타의 크기를 줄이기 위하여 샷들의 키프레임들만을 해당 오디오와 함께 상영하는 슬라이스 쇼 방법을 사용하였다. Recently, there have been a lot of researches to develop an archive system for news videos that usually has a fixed structure. However, since the meta-data representation and storing schemes for news video are different from each other in the previously proposed archive systems, it was very hard to exchange these meta-data. This paper proposes a scheme for news video based on MPEG-7 MDS that is an international standard to represent the contents of multimedia, and a summarization mechanism reflecting the characteristics of shots in the news videos. The proposed scheme for news video uses the MPEG-7 MDS schemes such as VideoSegment and TextAnnotation to keep the original structure of news video, and the proposed summarization mechanism uses a slide-show style presentation of key frames with associated audio to reduce the data size of the summary video.

폐 이동전화 역 물류 네트워크 품질수준 향상을 위한 정책대안

정영복 ( Young Bok Jeong ),정병희 ( Byung Hee Chung ) 한국품질경영학회 2011 품질경영학회지 Vol.39 No.3

The number of mobile telecommunication service subscribers has been over 50 millions as of the end of Nov. 2010. And the number of used mobile phones has been growing continuously caused by shortened life cycle of products and competing between service providers, which is about 21 millions for only one year, 2010 in Korea. However, the quality level of reverse logistics network for used mobile phones is very low and statistics show that the collection ratio of them has not been over 40%. The current low collection ratio can be one of the significant causes of environment destruction due to the cumulated growth. Accordingly new practical alternative recovery systems are required in addition to the current one with EPR(Extended Producers Responsibility). In this paper, suggested are alternative policies to improve the quality level of reverse logistics network for used mobile phones effectively. ENR(Extended Network service providers Responsibility) is representative of them.

사용자의 요구를 반영하는 동영상 요약 알고리즘

정진국(Jin-Guk Jeong),홍승욱(Seung-Wook Hong),낭종호(Jong-Ho Nang),하명환(Myung-hwan Ha),정병희(Byung-Hee Jung),김경수(Gyung-Su Kim) 한국정보과학회 2003 정보과학회논문지 : 소프트웨어 및 응용 Vol.30 No.7·8

자동으로 동영상을 요약하는 알고리즘은 다양한 방향으로 진행되어 왔다. 하지만 이러한 알고리즘들은 한가지 저급수준 내용정보만을 이용하여 동영상을 요약하였기 때문에 요약하는 사용자의 주관을 반영할 수 없다는 단점이 있다. 즉, 동영상 요약이라는 것은 내용에 대한 전반적인 이해에 바탕을 두고 중요한 샷을 선택하는 것이라고 정의할 수 있는데 이 경우에 중요한 샷이라고 결정하는 것은 요약자의 주관에 따라 달라질 수 있기 때문에 사용자의 주관을 반영할 수 없다는 것은 큰 단점으로 대두될 수 있다. 본 논문에서는 사용자의 요구를 반영하는 동영상 요약 알고리즘을 제시한다. 알고리즘에서는 일반적으로 많이 사용하는 동영상 요약에 대한 목적함수와 이들에 대한 가중치를 이용한다. 본 논문에서는 동영상 요약을 목적함수를 극대화 시킬 수 있는 샷들의 집합으로 정의하는데 이 경우 문제점으로 제시될 수 있는 것이 계산량이 많다는 것이다. 즉, n개의 샷을 가진 동영상에 대하여 2n번의 계산량이 필요하기 때문에 전체 알고리즘의 수행 시간이 많아지는 것이다. 본 논문에서는 이러한 문제점을 해결하기 위하여 빠른 시간에 근사 샷들의 집합을 구할 수 있는 Simulated Annealing 알고리즘을 이용하였다. 실험 결과에 의하면 본 논문의 알고리즘은 요약자의 주관을 반영시킬 수 있고, Simulated Annealing 을 이용하여 빠른 시간에 원하는 요약을 할 수 있음을 확인하였다. 본 논문의 알고리즘은 동영상을 대상으로 하는 디지털 비디오 라이브러리와 같은 응용 분야에 이용할 수 있을 것이다. Video abstraction is a process to pick up some important shots in a video, while the important shots might vary on the persons subjectivity. Previous works on video abstraction use only one low level feature to choose an important shot. This thesis proposes an abstraction scheme that selects a set of shots which simultaneously satisfies the desired features(or objective functions) of a good abstraction. Since the complexity of the computation to find a set of shots which maximizes the sum of object function values is O(2n), the proposed scheme uses a simulated annealing based searching method to find the suboptimal value within a short period of time. Upon the experimental results on various videos, we could argue that the proposed abstraction scheme could produce a reasonable video abstraction. The proposed abstraction scheme used to build a digital video library.

동영상 요약 및 검색 시스템

정진국(Jin-Guk Jeong),박주현(Ju-Hyun Park),낭종호(Jong-Ho Nang),김경수(Gyung-Su Kim),하명환(Myung-hwan Ha),정병희(Byung-Hee Jung) 한국방송·미디어공학회 2002 방송공학회논문지 Vol.7 No.2

동영상 MPEG - 7에 대한 효율적인 인덱싱 알고리즘

주성민(Sung-min Choo),정진국(Jin-Guk Jeong),낭종호(Jong-Ho Nang),김경수(Gyung-Su Kim),하명환(Myung-hwan Ha),정병희(Byung-Hee Jung) 한국정보과학회 2002 한국정보과학회 학술발표논문집 Vol.29 No.2Ⅱ

XML 기반의 MPEG-7은 사용자가 시스템을 통해서 원하는 정보를 얻을 수 있도록 멀티미디어 컨텐츠의 다양한 정보를 기술하고 있다. 그러나 많은 샷으로 이루어진 MPEG-7 정보 저장 공간에서 질의가 들어왔을 때 원하는 정보를 찾기 위하여 모든 문서를 검색하는 것은 상당한 시간이 요구된다. 본 논문에서 이를 해결하기 위하여 동영상 MPEG-7 문서에 대한 효율적인 인덱싱 알고리즘을 제시한다. 본 논문에서 제안한 인덱싱 알고리즘의 적용으로 MPEG-7 검색에 있어서 효율적임을 할 수 있었다.

스포츠 중계 방송의 특성을 이용한 축구동영상 하이라이트 생성 알고리즘

김재홍(Kim Jae Hong),낭종호(Nang Jong-Ho),하명환(Ha Myong-Hwan),정병희(Jeong Byung-Hee),김경수(Kim Kyong Soo) 한국정보과학회 2002 한국정보과학회 학술발표논문집 Vol.29 No.2Ⅱ

본 논문에서는 축구 동영상에서 스포츠 중계방송의 특징을 이용하여 자동적으로 하이라이트(Highlight)를 추출하는 새로운 방법을 제안하고 실험을 통하여 그 유용성을 증명한다. 일반적으로 스포츠 중계 방송에서는 중요한 이벤트(골, 반칙)가 발생하면, 그 장면을 다시 느린속도의 리플레이(Replay) 화면으로 보여주고, 리플레이가 시작되고 끝날 때 Wipe와 같은 점진적인 화면 전환 기법을 사용하는 특성을 가지고 있다. 본 논문에서는 이러한 스포츠 중계방송의 특징을 이용하여 Wipe검출, Replay검출 및 Zoom-In/Out 전환 검출을 이용하여 전체 축구 동영상에서 하이라이트 반을 추출하는 방법을 제안한다.

스포츠 중계 방송의 구조적 특성을 이용한 축구동영상 하이라이트 생성 알고리즘

김재홍(Jae-Hong Kim),낭종호(Jong-Ho Nang),하명환(Myung-Hwan Ha),정병희(Byung-Hee Jeong),김경수(Kyung-Soo Kim) 한국정보과학회 2003 정보과학회논문지 : 소프트웨어 및 응용 Vol.30 No.7·8

본 논문에서는 축구 동영상에서 스포츠 중계방송의 구조적 특성을 이용하여 자동적으로 하이라이트(Highlight)를 추출하는 새로운 방법을 제안하고 실험을 통하여 그 유용성을 증명한다.일반적으로 스포츠 중계 방송에서는 중요한 이벤트(골, 반칙)가 발생하면, 그 장면을 다시 느린속도의 리플레이(Replay) 화면으로 보여주고, 리플레이가 시작되고 끝날 때 Wipe와 같은 점진적인 화면 전환 기법을 사용하는 구조적 특성을 가지고 있다. 본 논문에서는 이러한 스포츠 중계방송의 구조적 특징을 이용하여 축구 동영상의 중요한 이벤트만을 추출하여 하이라이트를 생성하는 방법을 제안한다. 이를 위해 본 논문에서는 비디오의 슬라이스 이미지(Slice Image)[8]를 이용하여 Wipe효과 장면과 줌인/아웃 장면을 검출하고, 검출된 Wipe 효과 지점을 기준으로 하여 리플레이 장면을 검출한다. 이때 이런 기본 알고리즘에 새로이 Sub-Sampling방법과 Two-Pass 방법을 더하여 보다 빠르고 정확한 Wipe검출을 하였고, 비디오의 모션정보 및 Wipe지점의 시간간격을 이용하여 보다 정확한 리플레이 장면을 검출하였으며, 샷의 녹색영역 비율을 측정하여 보다 정확한 줌인/아웃 장면을 검출하였다. 이렇게 최종적으로 검출된 리플레이 장면과 줌인/아웃 장면을 토대로 이벤트 샷(Shot)과 선수 샷으로 구성된 하이라이트 장면을 추출하게 된다. 이러한 방법은 자동적으로 축구 중계방송을 요약해줌으로써 축구와 관련된 웹서비스나 방송용 하이라이트 제작에 유용하게 사용될 수 있을 것이다. This paper proposes an automatic highlight building algorithm for soccer video by using the structural characteristics of broadcasted sports video that an interesting (or important) event (such as goal or foul) in sports video has a continuous replay shot surrounded by gradual shot change effect like wipe. This shot editing rule is used in this paper to analyze the structure of broadcated soccer video and extracts shot involving the important events to build a highlight. It first uses the spatial-temporal image of video[8] to detect wipe transition effects and zoom out/in shot changes. They are used to detect the replay shot. However, using spatial-temporal image alone to detect the wipe transition effect requires too much computational resources and need to change algorithm if the wipe pattern is changed. For solving these problems, a two-pass detection algorithm and a pixel sub-sampling technique are proposed in this paper. Furthermore, to detect the zoom out/in shot change and replay shots more precisely, the green-area-ratio and the motion energy are also computed in the proposed scheme. Finally, highlight shots composed of event and player shot are extracted by using these pre-detected replay shot and zoom out/in shot change point. Proposed algorithm will be useful for web services or broadcasting services requiring abstracted soccer video.