최적 프레임 선택을 위한 자기 채널 주의 및 가중치 마진 랭킹 손실

국문 초록 (Abstract)

하드웨어의 발전으로 고해상도 콘텐츠와 짧은 동영상의 대중화가 이루어졌다. 또한 OTT 플랫폼이 성장함에 따라 영화와 같은 기존의 긴 동영상의 접근성도 높아졌다. 그러나 동영상을 매력적으로 표현하는 하나의 프레임을 사람이 직접 선택하는 것은 시간이 오래 소요되며, 특히 짧은 동영상에서는 각 프레임의 중요도가 높아 더욱 선택이 어렵다. 기존의 이미지 선택 모델은 이미지 간의 차이가 더 적은 동영상의 프레임 시퀀스에 대해서는 최적의 모델이 아니며, 동영상 요약 모델이나 주요 프레임 선택 모델의 경우 짧은 동영상에서의 미묘한 차이를 잡아내기 어렵다. 본 논문에서는 효과적으로 프레임의 순위를 매기기 위한 채널 주의 기반의 헤드와 가중치 마진 랭킹 손실을 제안한다. 채널 주의 기반 헤드는 자기 주의와 비슷하게 이루어지며, 가중치 마진 랭킹 손실은 기존의 랭킹 손실보다 선호도에 차이가 있는 프레임 쌍에 대해 가중치를 두어 이미지 간의 적은 차이에 집중하도록 한다. 고해상도 동영상의 프레임에서 최적의 프레임을 선택하기 위한 공개 데이터셋이 존재하지 않기 때문에, 본 논문에서는 영화의 예고편 영상을 이용하여 2초 이내의 짧은 동영상으로 구성된 영화 예고편 데이터셋을 구축했다. 추가로 고해상도 동영상을 위하여 주파수 도메인 기반의 최적 프레임 선택 모델을 구성하였다. 실험 결과, 제안 방법은 기존 방법 대비 입력 크기에 영향을 받지 않고 더 적은 매개변수를 사용하면서도 프레임 선택 성능이 더 우수한 결과를 보인다.

다국어 초록 (Multilingual Abstract)

The development of hardware has resulted in the popularization of high-resolution content and short-form videos, and short high-resolution videos are shared regularly on social media platforms. With the increase in popularity of over-the-top media platforms, the availability of long-form content, such as movies, has increased. Thus, the manual selection of one visually attractive and representative video frame as the thumbnail is time-consuming, particularly for short-form videos, wherein the importance of each frame is higher. We propose a channel attention–based scoring head and weighted margin ranking loss for effective frame ranking. The channel attention head is similar to self-attention, and the weighted ranking loss is designed to focus on the small differences between images by assigning weights to image pairs based on different preferences. In addition, for high-resolution videos, the best frame selection model is constructed based on the frequency domain. The experimental results show that the proposed method achieves improved best frame selection compared to that of existing methods using fewer parameters regardless of the input size.

목차 (Table of Contents)

• 제1장 서 론 1
• 1.1 연구 배경 2
• 1.2 연구 목적 및 내용 5
• 1.3 논문 구성 8
• 제2장 관련 방법 9
• 2.1 사진 선택 10
• 2.2 동영상 요약 및 주요 프레임 선택 11
• 제3장 짧은 동영상 데이터셋 14
• 제4장 제안하는 방법 17
• 4.1 주파수 도메인에서의 데이터 처리 18
• 4.2 자기 채널 주의 헤드 19
• 4.3 가중치 마진 랭킹 손실 21
• 제5장 실험 및 성능 평가 22
• 5.1 실험 환경 설정 23
• 5.2 평가 지표 24
• 5.3 검증 데이터셋에 대한 정량적 실험 결과 24
• 5.4 주파수 도메인과 RGB 도메인에서의 성능 비교 27
• 5.5 다른 종류의 채널 주의 헤드와의 비교 28
• 5.6 하이퍼-매개변수 측면에서의 가중치 마진 랭킹 로스 비교 30
• 5.7 학습된 모델이 선호하는 특징 31
• 제6장 결론 및 추후 연구 34
• 참고문헌 36
• 국문초록 43
• Abstract 45