Automatic Generation of Video Metadata for the Superpersonalized Recommendation of Media

용성중,박효경,유연휘,문일영 한국정보통신학회 2022 Journal of information and communication convergen Vol.20 No.4

The media content market has been growing, as various types of content are being mass-produced owing to the recent proliferation of the Internet and digital media. In addition, platforms that provide personalized services for content consumption are emerging and competing with each other to recommend personalized content. Existing platforms use a method in which a user directly inputs video metadata. Consequently, significant amounts of time and cost are consumed in processing large amounts of data. In this study, keyframes and audio spectra based on the YCbCr color model of a movie trailer were extracted for the automatic generation of metadata. The extracted audio spectra and image keyframes were used as learning data for genre recognition in deep learning. Deep learning was implemented to determine genres among the video metadata, and suggestions for utilization were proposed. A system that can automatically generate metadata established through the results of this study will be helpful for studying recommendation systems for media super-personalization.

자기주도학습을 위한 이러닝 콘텐츠 검색 지원 시스템 설계

용성중,김유두,문일영 한국실천공학교육학회 2020 실천공학교육논문지 Vol.12 No.1

Recently, the importance of self-directed learning has emerged in the fields of public education, private education, lifelong education,and vocational training education, in which learners can actively cope with knowledge in an infusion-oriented way. However,there are various theoretical knowledge such as concepts and strategies for self-directed learning, but the situation is insufficient fora system where learners can easily receive content in the academic field they want, depending on the actual self-directed learningoperation plan or learning area. Therefore, since it is important to provide various learning content in this paper, we utilize text miningtechniques to obtain appropriate information and refine and categorize the meaning. On-line, they want to study a system thatprovides a variety of content in the academic field that learners are trying to acquire. 최근 공교육, 사교육, 평생교육, 직업훈련교육 분야에서 지식전달 위주의 주입식 교육방식에서 학습자들이 능동적으로 지식에 대처할 수 있는 자기주도학습에 대해 중요성이 대두되고 있으며, 이는 사회변화에 따라 요구되는 인재상으로 스스로 자아개념, 자신감, 창의성을 발견하고 계발시키는 학습 방법으로 더욱 중요해지고 있다. 하지만 자기주도적 학습에 대한 개념 및 전략등 다양한 이론적 지식들이 존재하고 있지만, 실제 자기주도학습 운영계획 또는 학습 분야에 따라 학습자가 원하는 학문 분야의 콘텐츠를 손쉽게 제공받는 시스템에 대해 부족한 상황이다. 따라서 본 논문에서는 학습자가 자기주도적 학습을 위한 다양한학습 콘텐츠를 제공받기 위해 정보를 획득하고 의미를 정제하여 범주화 할 수 있는 텍스트 마이닝 기법을 활용하여 온라인상에서 학습자가 습득하려고 하는 학문 분야의 다양한 콘텐츠를 제공하는 시스템을 설계하고 활용하는 방안에 대한 연구를 수행하였다.

사용자 바이오리듬을 이용한 차량내 음악제공에 관한 연구

용성중,김윤상 (사)디지털산업정보학회 2008 디지털산업정보학회논문지 Vol.4 No.3

In this paper, a method for providing musics in vehicle user's bio-rhythm is proposed. The proposed method is a method to select and play musics automatically suitable for the user's emotion. Experimental results confirmed that the proposed method could provide better satisfaction to the users (drivers) compared to the methods given randomly.

온라인 학습을 위한 동영상 콘텐츠 검색 및 평가방법

용성중,문일영 한국항행학회 2020 韓國航行學會論文誌 Vol.24 No.3

스마트 시대를 살아가는 요즘 스마트폰을 전 국민이 사용하는 상황으로 봐도 무방할 정도로 빠른 발전과 보급이 진행되었으며, 스마트폰 사용으로 국내 미디어 콘텐츠 이용을 위한 필수 매체로 자리 잡아 성별, 연령, 지역 등에 상관없이 수많은 사람이 다양한 콘텐츠를 이용하고 있다. 최근 다양한 매체를 통해 온라인에서 학습을 위한 동영상 콘텐츠 소비가 이루어지고 있으며, 이는 학습자들이 온라인에서 동영상 콘텐츠를 활용하여 학습에 활용한다는 것을 알 수 있다. 기존 연구에서는 콘텐츠 유형에 따른 만족도 연구를 진행하였으며, 학습 콘텐츠 자체를 평가하여 학습자들에게 제공하는 방법에 대한 연구가 이루어지지 않아 개선 방안이 필요하다고 판단하였다. 본 논문에서는 학습을 위한 동영상 콘텐츠 제공 방식 동향과 양질의 학습 콘텐츠를 제공하기 위한 개선 방안으로 학습 콘텐츠 자체의 평가와 리뷰를 통해 시스템을 제안하려고 한다. The development and distribution rate of smartphones have progressed so rapidly that it is safe for the entire nation to use them in the smart age, and the use of smartphones has become an essential medium for the use of domestic media content, and many people are using various contents regardless of gender, age, or region. Recently, various media outlets have been consuming video content for online learning, indicating that learners utilize video content online for learning. In the previous research, satisfaction studies were conducted according to the type of content, and the improvement plan was necessary because no research was conducted on how to evaluate the learning content itself and provide it to learners. In this paper, we would like to propose a system through evaluation and review of learning content itself as a way to improve the way of providing video content for learning and quality learning content.

웹 기반의 AI서비스 동향 : 초·중등 교과목에서 AI활용

용성중,박효경,유연휘,이서영,문일영 한국통신학회 2022 정보와 통신 Vol.39 No.6

AI 기술이 발전함에 따라 AI 교육 및 교육 현장에서의 AI 적용방법에 대한 논의도 중요한 이슈가 되고 있다. AI를 활용한 다양한 교육 서비스가 개발되고 있으며, 접근성 면에서 편리한 웹 기반의 AI 서비스들도 많이 출시되고 있다. 본고에서는 최근 국내외 AI 교육 현황과 웹 기반의 AI 서비스 동향을 알아보고, 이를 초·중등 교육과정에서 교과목별 적용이 가능하도록 분류하여 정리하였다. 교과목은 주요 교과목과 예체능 분야로 나누어서 언어, 수학, 과학, 기술가정 및 정보, 음악, 미술 교과목으로 세분화하여 제시하였다. 교육 현장에서 과목별 특성에 맞도록 AI 서비스를 적절히 활용한다면, 학생들의 해당 교과목에 대한 흥미와 수업 참여도를 높여줄 수 있을 것이고 향후 4차 산업혁명 시대에 맞는 AI를 적용한 교육 프로그램 개발 연구에도 도움을 줄 수 있을 것이다.

에이전트 학습 속도 향상을 위한 Q-Learning 정책 설계

용성중,박효경,유연휘,문일영 한국실천공학교육학회 2022 실천공학교육논문지 Vol.14 No.1

Q-Learning is a technique widely used as a basic algorithm for reinforcement learning. Q-Learning trains the agent in the direction of maximizing the reward through the greedy action that selects the largest value among the rewards of the actions that can betaken in the current state. In this paper, we studied a policy that can speed up agent training using Q-Learning in Frozen Lake 8×8grid environment. In addition, the training results of the existing algorithm of Q-learning and the algorithm that gave the attribute‘direction’ to agent movement were compared. As a result, it was analyzed that the Q-Learning policy proposed in this paper cansignificantly increase both the accuracy and training speed compared to the general algorithm. 강화학습의 기본적인 알고리즘으로 많이 사용되고 있는 Q-Learning은 현재 상태에서 취할 수 있는 행동의 보상 중 가장 큰 값을 선택하는 Greedy action을 통해 보상을 최대화하는 방향으로 에이전트를 학습시키는 기법이다. 본 논문에서는 Frozen Lake8*8 그리드 환경에서 Q-Learning을 사용하여 에이전트의 학습 속도를 높일 수 있는 정책에 관하여 연구하였다. 또한, Q-learning의 기존 알고리즘과 에이전트의 행동에 ‘방향성’이라는 속성을 부여한 알고리즘의 학습 결과 비교를 진행하였다. 결과적으로,본 논문에서 제안한 Q-Learning 정책이 통상적인 알고리즘보다 정확도와 학습 속도 모두 크게 높일 수 있는 것을 분석되었다.

효율적인 경로 선택을 위한 Q-Learning 정책 및 보상 설계

용성중,박효경,유연휘,문일영 한국항행학회 2022 韓國航行學會論文誌 Vol.26 No.2

강화학습의 기법 중 Q-Learning은 주어진 상태에서 행동을 수행하면서 미래의 효율적인 기댓값을 예측하는 Q 함수를 학습하면서 최적의 정책을 학습하는 것이다. Q-Learning은 강화학습의 기본적인 알고리즘으로 많이 활용하고 있다. 본 논문에서는 Q-Learning을 바탕으로 정책과 보상을 설계하여 효율적인 경로를 선택하고 학습하는 효용성에 대하여 연구하였다. 또한 Frozen Lake 게임의 8x8 그리드 환경에 동일한 학습 횟수를 적용하여 기존 알고리즘 및 처벌 보상 정책과 제시한 처벌강화 정책의 결과를 비교하였다. 해당 비교를 통해 본 논문에서 제시한 Q-Learning의 처벌강화 정책이 통상적인 알고리즘의 적용보다 학습 속도를 상당히 높일 수 있는 것으로 분석되었다.

전방 차량의 횡간 이동 예측을 위한 차선 간 거리 측정 방법

용성중 ( Sung-jung Yong ),박효경 ( Hyo-gyeong Park ),이서영 ( Seo-young Lee ),유연휘 ( Yeon-hwi You ),문일영 ( Il-young Moon ) 한국실천공학교육학회 2022 실천공학교육논문지 Vol.14 No.3

자율주행 차량에는 라이다, 레이더, 카메라 등 다양한 센서들이 융합되어 활용되고 있다. 특히 라이더 및 레이더는 고가의 장비로 자율주행 자동차의 대중화를 위해 해결해야 하는 부분으로 고가의 장비를 대체할 수 있는 연구가 지속적으로 이루어지고 있다. 본 논문에서는 비용면에서 저가이면서 손쉽게 장착할 수 있는 단일 카메라를 이용하여 주행 차량의 전방 측면 차량 바퀴와 인접 차선을 감지하고 거리를 추정하는 방법을 제안하였다. 제안된 방법은 입력 영상을 통해 프레임 추출 후 프레임 이미지에서 차선과 바퀴를 검출하고 거리를 측정하여 실제 도로 환경에서 실측 된 거리와 비교하였고, 오차범위 ±3cm 안에서 비교적 정확히 거리를 산출할 수 있었다. 이를 통해 자율주행 자동차의 비용 절감 또는 라이다, 레이더 센서의 고장으로 대체 가능한 수단으로 활용할 수 있을 것으로 판단된다. Various sensors such as lidar, radar, and camera are fused and used in autonomous vehicles. Rider and radar sensors are difficult to popularize because they are expensive equipment. In order to popularize autonomous vehicles, research that can replace expensive equipment is continuously being conducted. In this paper, we use a single camera that is inexpensive and can be easily mounted. We propose a method for detecting the wheels and adjacent lanes of a front-side vehicle of a driving vehicle and estimating distances. Our proposed method detects lanes and wheels from frame images after frame extraction via input images. In addition, the distance is measured and compared with the actual distance measured in the actual road environment. The distance could be calculated relatively accurately within the error range of ± 3 cm. Through this, it is expected that the camera can be used as an alternative means when the cost of autonomous vehicles is reduced or when the lidar or radar sensor fails.

영상 콘텐츠의 오디오 분석을 통한 메타데이터 자동 생성 방법

용성중 ( Sung-jung Young ),박효경 ( Hyo-gyeong Park ),유연휘 ( Yeon-hwi You ),문일영 ( Il-young Moon ) 한국항행학회 2021 韓國航行學會論文誌 Vol.25 No.6

영상 콘텐츠를 사용자에게 추천하기 위해서는 메타데이터가 필수적인 요소로 자리 잡고 있다. 하지만 이러한 메타데이터는 영상 콘텐츠 제공자에 의해 수동적으로 생성되고 있다. 본 논문에서는 기존 수동으로 직접 메타데이터를 입력하는 방식에서 자동으로 메타데이터를 생성하는 방법을 연구하였다. 기존 연구에서 감정 태그를 추출하는 방법에 추가로 영화 오디오를 통한 장르와 제작국가에 대한 메타데이터 자동 생성 방법에 대해 연구를 진행하였다. 전이학습 모델인 ResNet34 인공 신경망 모델을 이용하여 오디오의 스펙트로그램으로부터 장르를 추출하고, 영화 속 화자의 음성을 음성인식을 통해 언어를 감지하였다. 이를 통해 메타데이터를 생성 인공지능을 통해 자동 생성 가능성을 확인할 수 있었다. A meatadata has become an essential element in order to recommend video content to users. However, it is passively generated by video content providers. In the paper, a method for automatically generating metadata was studied in the existing manual metadata input method. In addition to the method of extracting emotion tags in the previous study, a study was conducted on a method for automatically generating metadata for genre and country of production through movie audio. The genre was extracted from the audio spectrogram using the ResNet34 artificial neural network model, a transfer learning model, and the language of the speaker in the movie was detected through speech recognition. Through this, it was possible to confirm the possibility of automatically generating metadata through artificial intelligence.

온라인 학습을 위한 동영상 콘텐츠 활용 동향 및 개선 방안에 대한 연구

용성중(Sung-Jung Yong),문일영(Il-Young Moon) 한국정보과학회 2020 한국정보과학회 학술발표논문집 Vol.2020 No.7