영상의 효과음을 통한 분위기 메타데이터 추출

유연휘(Yeon-Hwi You),박효경(Hyo-Gyeong Park),용성중(Sung-Jung Yong),이서영(Seo-Young Lee),문일영(Il-Young Moon) 한국정보통신학회 2022 한국정보통신학회 종합학술대회 논문집 Vol.26 No.1

영상 추천 서비스의 개선을 위한 영상 미디어의 메타데이터 자동생성 방법에 대한 연구

유연휘(Yeon-Hwi You),박효경(Hyo-Gyeong Park),용성중(Sung-Jung Yong),문일영(Il-Young Moon) 한국정보통신학회 2021 한국정보통신학회 종합학술대회 논문집 Vol.25 No.2

국내 OTT(Over-the-top media service) 시장의 추천 서비스에서 거론되는 대표 업체는 Youtube와 Netflix이다. Youtube는 여러 방법을 거쳐 2016년부터 이용자의 시청 시간을 기록하여 이용하는 알고리즘을 머신러닝에 도입하면서 개인화된 추천을 본격화하였고, Netflix는 사용자의 선택한 영상, 시청 시간대, 영상 시청 기기 등 정보 수집을 통해 이용자를 분류하고 비슷한 시청 패턴을 가진 사람들을 같은 그룹에 묶는 방식과 영상을 직접 시청 후 사람이 태그(메타데이터)를 직접 기록하여 사용자로부터 수집한 정보와 영상에 붙은 태그 정보를 이용한다. 본 논문에서는 수기로 작성하던 영상 미디어의 메타데이터를 자동으로 생성하여 영상미디어의 추천을 개선하기 위한 방법을 제안하고자 한다. The representative companies mentioned in the recommendation service in the domestic OTT(Over-the-top media service) market are YouTube and Netflix. YouTube, through various methods, started personalized recommendations in earnest by introducing an algorithm to machine learning that records and uses users’ viewing time from 2016. Netflix categorizes users by collecting information such as the user’s selected video, viewing time zone, and video viewing device, and groups people with similar viewing patterns into the same group. It records and uses the information collected from the user and the tag information attached to the video. In this paper, we propose a method to improve video media recommendation by automatically generating metadata of video media that was written by hand.

네트워크 그래프를 활용한 자율주행차에 대한 인식 분석

박효경 ( Hyo-gyeong Park ),유연휘 ( Yeon-hwi You ),용성중 ( Sung-jung Yong ),이서영 ( Seo-young Lee ),문일영 ( Il-young Moon ) 한국실천공학교육학회 2023 실천공학교육논문지 Vol.15 No.1

최근 인공지능 기술의 발달에 따라 사용자의 편의성을 위한 기술이 많이 개발되고 있다. 그중 자율주행차에 대한 관심이 나날이 증가하고 있다. 현재 많은 자동차 기업에서 자율주행차 상용화를 목표로 하고 있다. 상용화를 뒷받침할 정부의 새롭고 합리적인 정책 수립의 기반을 조성하기 위하여 뉴스 기사 데이터를 통해 여론의 변화와 인식을 분석하고자 하였다. 따라서 본 논문에서는 최근 3년간 자율주행차와 유사한 용어가 언급된 뉴스 기사 데이터 35,891건을 수집하고, 네트워크 분석하였다. 분석 결과, ‘자율주행’, ‘AI’, ‘미래’, ‘현대자동차’, ‘자율주행차’, ‘자동차’, ‘산업’, ‘전기차’ 등의 주요 키워드가 도출되었다. 또한, 자율주행차 산업은 자동차 기업뿐만 아니라, 반도체 기업, 빅테크 기업 등 다양한 산업과 융합되며 더욱 빠르고 다양한 플랫폼과 서비스 산업으로 발전하고 있으며, 산업의 융복합에 주목하고 있는 것으로 나타났다. 여론의 변화와 인식을 지속적으로 확인하기 위해 SNS 데이터나 기술 트렌드의 지속적인 분석을 통한 인식 분석이 필요할 것으로 판단된다. Recently, with the development of artificial intelligence technology, many technologies for user convenience are being developed. Among them, interest in autonomous vehicles is increasing day by day. Currently, many automobile companies are aiming to commercialize autonomous vehicles. In order to lay the foundation for the government’s new and reasonable policy establishment to support commercialization, we tried to analyze changes and perceptions of public opinion through news article data. Therefore, in this paper, 35,891 news article data mentioning terms similar to ‘autonomous vehicles’ over the past three years were collected and network analyzed. As a result of the analysis, major keywords such as ‘autonomous driving’, ‘AI’, ‘future’, ‘Hyundai Motor’, ‘autonomous driving vehicle’, ‘automobile’, ‘industrial’, and ‘electric vehicle’ were derived. In addition, the autonomous vehicle industry is developing into a faster and more diverse platform and service industry by converging with various industries such as semiconductor companies and big tech companies as well as automobile companies and is paying attention to the convergence of industries. To continuously confirm changes and perceptions in public opinion, it is necessary to analyze perceptions through continuous analysis of SNS data or technology trends.

영상 콘텐츠의 오디오 분석을 통한 메타데이터 자동 생성 방법

용성중 ( Sung-jung Young ),박효경 ( Hyo-gyeong Park ),유연휘 ( Yeon-hwi You ),문일영 ( Il-young Moon ) 한국항행학회 2021 韓國航行學會論文誌 Vol.25 No.6

영상 콘텐츠를 사용자에게 추천하기 위해서는 메타데이터가 필수적인 요소로 자리 잡고 있다. 하지만 이러한 메타데이터는 영상 콘텐츠 제공자에 의해 수동적으로 생성되고 있다. 본 논문에서는 기존 수동으로 직접 메타데이터를 입력하는 방식에서 자동으로 메타데이터를 생성하는 방법을 연구하였다. 기존 연구에서 감정 태그를 추출하는 방법에 추가로 영화 오디오를 통한 장르와 제작국가에 대한 메타데이터 자동 생성 방법에 대해 연구를 진행하였다. 전이학습 모델인 ResNet34 인공 신경망 모델을 이용하여 오디오의 스펙트로그램으로부터 장르를 추출하고, 영화 속 화자의 음성을 음성인식을 통해 언어를 감지하였다. 이를 통해 메타데이터를 생성 인공지능을 통해 자동 생성 가능성을 확인할 수 있었다. A meatadata has become an essential element in order to recommend video content to users. However, it is passively generated by video content providers. In the paper, a method for automatically generating metadata was studied in the existing manual metadata input method. In addition to the method of extracting emotion tags in the previous study, a study was conducted on a method for automatically generating metadata for genre and country of production through movie audio. The genre was extracted from the audio spectrogram using the ResNet34 artificial neural network model, a transfer learning model, and the language of the speaker in the movie was detected through speech recognition. Through this, it was possible to confirm the possibility of automatically generating metadata through artificial intelligence.

YCbCr 컬러모델 기반의 키프레임 추출을 통한 티저 영상 제작 방법에 대한 연구

이서영 ( Seo-young Lee ),박효경 ( Hyo-gyeong Park ),용성중 ( Sung-jung Young ),유연휘 ( Yeon-hwi You ),문일영 ( Il-young Moon ) 한국실천공학교육학회 2022 실천공학교육논문지 Vol.14 No.2

온라인 미디어 플랫폼의 발전 및 코로나19 사태로 디지털 영상 콘텐츠의 양산과 소비가 급증하고 있다. 이용자들은 디지털 영상 콘텐츠를 선택하기 위해 썸네일, 티저 영상 등을 통하여 짧은 시간에 콘텐츠를 파악하고 본인에게 맞는 디지털 영상 콘텐츠를 선정하여 시청하고 있다. 세계 곳곳에서 생산되는 모든 디지털 영상 콘텐츠를 일일이 확인하고, 이용자가 선택할 수 있게 티저 영상을 수작업으로 편집하는 것은 매우 불편한 작업이다. 본 연구에서는 티저 영상을 자동으로 생성하기 위해 YCbCr 컬러 모델을 기반으로 키프레임을 추출하고, 클러스터링 기법을 통해 추출된 키프레임을 최적화한다. 마지막으로 최종 추출된 키프레임을 연결하여 사용자들의 디지털 영상 콘텐츠 확인을 도와 주기 위한 티저 영상을 제작하는 방법을 제시한다. Due to the development of online media platforms and the COVID-19 incident, the mass production and consumption of digital video content are rapidly increasing. In order to select digital video content, users grasp it in a short time through thumbnails and teaser videos, and select and watch digital video content that suits them. It is very inconvenient to check all digital video contents produced around the world one by one and manually edit teaser videos for users to choose from. In this paper, keyframes are extracted based on YCbCr color models to automatically generate teaser videos, and keyframes extracted through clustering are optimized. Finally, we present a method of producing a teaser video to help users check digital video content by connecting the finally extracted keyframes.

전방 차량의 횡간 이동 예측을 위한 차선 간 거리 측정 방법

용성중 ( Sung-jung Yong ),박효경 ( Hyo-gyeong Park ),이서영 ( Seo-young Lee ),유연휘 ( Yeon-hwi You ),문일영 ( Il-young Moon ) 한국실천공학교육학회 2022 실천공학교육논문지 Vol.14 No.3

자율주행 차량에는 라이다, 레이더, 카메라 등 다양한 센서들이 융합되어 활용되고 있다. 특히 라이더 및 레이더는 고가의 장비로 자율주행 자동차의 대중화를 위해 해결해야 하는 부분으로 고가의 장비를 대체할 수 있는 연구가 지속적으로 이루어지고 있다. 본 논문에서는 비용면에서 저가이면서 손쉽게 장착할 수 있는 단일 카메라를 이용하여 주행 차량의 전방 측면 차량 바퀴와 인접 차선을 감지하고 거리를 추정하는 방법을 제안하였다. 제안된 방법은 입력 영상을 통해 프레임 추출 후 프레임 이미지에서 차선과 바퀴를 검출하고 거리를 측정하여 실제 도로 환경에서 실측 된 거리와 비교하였고, 오차범위 ±3cm 안에서 비교적 정확히 거리를 산출할 수 있었다. 이를 통해 자율주행 자동차의 비용 절감 또는 라이다, 레이더 센서의 고장으로 대체 가능한 수단으로 활용할 수 있을 것으로 판단된다. Various sensors such as lidar, radar, and camera are fused and used in autonomous vehicles. Rider and radar sensors are difficult to popularize because they are expensive equipment. In order to popularize autonomous vehicles, research that can replace expensive equipment is continuously being conducted. In this paper, we use a single camera that is inexpensive and can be easily mounted. We propose a method for detecting the wheels and adjacent lanes of a front-side vehicle of a driving vehicle and estimating distances. Our proposed method detects lanes and wheels from frame images after frame extraction via input images. In addition, the distance is measured and compared with the actual distance measured in the actual road environment. The distance could be calculated relatively accurately within the error range of ± 3 cm. Through this, it is expected that the camera can be used as an alternative means when the cost of autonomous vehicles is reduced or when the lidar or radar sensor fails.

미디어 초개인화 추천을 위한 TCrCb 컬러 모델 분석을 통한 영상의 메타데이터 추출에 대한 연구

박효경(Hyo-Gyeong Park),용성중(Sung-Jung Yong),유연휘(Yeon-Hwi You),문일영(Il-Young Moon) 한국정보통신학회 2021 한국정보통신학회 종합학술대회 논문집 Vol.25 No.2

최근 높은 접근성을 기반으로 다양한 콘텐츠가 양산됨에 따라 미디어 콘텐츠 시장이 더욱 활성화되고 있다. 사용자들은 취향에 맞는 콘텐츠를 찾고자 하며, 각 플랫폼에서 콘텐츠의 개인화 추천을 위해 경쟁하고 있다. 효율적인 추천시스템을 위해서는 양질의 메타데이터가 필요하다. 기존의 플랫폼들은 영상의 메타데이터를 사용자가 직접 입력하는 방식을 취하고 있다. 이는 많은 양의 데이터를 처리하는 데에 시간과 비용을 낭비하게 할 것이다. 본 논문에서는 미디어 초개인화 추천을 위해서 영화예고편을 바탕으로, 영상의 YCrCb 컬러 모델을 기반으로 키프레임을 추출하고, 인공지능의 지도학습을 통해 영화 장르를 구별하고 추후 메타데이터 생성을 위한 활용방안을 제안하고자 한다. Recently as various contents are mass produced based on high accessibility, the media contents market is more active. Users want to find content that suits their taste, and each platform is competing for personalized recommendations for content. For an efficient recommendation system, high-quality metadata is required. Existing platforms take a method in which the user directly inputs the metadata of an image. This will waste time and money processing large amounts of data. In this paper, for media hyperpersonalization recommendation, keyframes are extracted based on the YCrCb color model of the video based on movie trailers, movie genres are distinguished through supervised learning of artificial intelligence and in the future, we would like to propose a utilization plan for generating metadata.

영화 장르 메타데이터 생성을 위한 오디오 활용 방법에 대한 연구

용성중(Sung-Jung Yong),박효경(Hyo-Gyeong Park),유연휘(Yeon-Hwi You),문일영(Il-Young Moon) 한국정보통신학회 2021 한국정보통신학회 종합학술대회 논문집 Vol.25 No.2

지속적으로 인터넷 및 디지털의 발전으로 많은 양의 미디어 데이터를 저장하고 온라인을 통해 개인에게 맞춤형 서비스를 제공하는 플랫폼이 등장하고 있다. 이러한 서비스를 제공하는 업체들은 미디어의 소비를 촉진 시키기 위해 개인 취향에 맞는 영화를 추천한다. 각 업체에서는 사용자가 선호할 미디어 추천을 위해 다양한 알고리즘에 대해 많은 연구를 하고 있다. 영화는 액션, 멜로, 공포, 드라마 등으로 장르를 구분하고 있으며, 영화의 오디오(음악,효과,음성)는 영화를 구성하는 중요한 제작 요소로 자리 잡고 있다. 본 연구에서는 영화예고편을 바탕으로 장르별 오디오를 추출하고, 장르별 오디오의 공통점을 확인 후 인공지능의 지도학습을 통해 영화 장르를 구별하고 추후 메타데이터 생성을 위한 활용방안을 제안하고자 한다. With the continuous development of the Internet and digital, platforms are emerging to store large amounts of media data and provide customized services to individuals through online. Companies that provide these services recommend movies that suit their personal tastes to promote media consumption. Each company is doing a IoT of research on various algorithms to recommend media that users prefer. Movies are divided into genres such as action, melodrama, horror, and drama, and the film’s audio (music, sound effect, voice) is an important production element that makes up the film. In this research, based on movie trailers, we extract audio for each genre, check the commonalities of audio for each genre, distinguish movie genres through supervised learning of artificial intelligence, and propose a utilization method for generating metadata in the future.