멀티모달 특징 융합 기반 K-POP 페이스캠 샷 스케일 분류

국문 초록 (Abstract)

K-POP 페이스캠은 멤버 개개인의 표정과 동작을 부각하는 콘텐츠 특성상 출연자를 어느 정도로 가깝게 잡아 보여줄지를 결정하는 샷 스케일의 선택이 시청자 몰입감에 직접적으로 영향을 미치지만, 다인 그룹의 멤버별 편집본을 짧은 시간 내에 다수 제작해야 하는 환경에서는 매 컷마다 적절한 구도를 수작업으로 결정하기 어려워 편집자의 구도 결정을 보조할 수 있는 자동화 기술이 요구되고 있다. 본 연구에서는 K-POP 무대 영상을 대상으로 영상 기하·자세·음향 리듬 정보를 결합한 멀티모달 기반의 샷 스케일 분류 모델을 제안한다. 편집 완료본의 컷·크롭 정보를 원본 영상 시간축으로 역매핑하여 데이터셋을 구축하고, 각 컷 이벤트의 다음 샷 스케일을 knee, waist, bust, face 의 네 클래스로 분류하도록 모델을 학습하였다. 실험 결과, 전체 멀티모달 특징은 영상 기하 특징만 사용한 경우 대비 정확도와 ordinal MAE 를 개선하였으며, LGBM 정제 기준 모델은 accuracy 0.5763, macro F1 0.5315, ordinal MAE 0.5485 의 성능을 기록하였다. 본 연구는 페이스캠 샷 스케일 결정에서 멀티모달 특징 융합의 유효성을 검증하고, 인물 중심 편집 보조 모델 설계의 실험적 기준을 제시하였다는 점에서 의의가 있다.