가사 텍스트의 감성분석에 기반 한 음악 시각화 콘텐츠 개발 = Development of the Artwork using Music Visualization based on Sentiment Analysis of Lyrics

다국어 초록 (Multilingual Abstract)

In this study, we tried to produce moving-image works through sentiment analysis of music. First, Google natural language API was used for the sentiment analysis of lyrics, then the result was applied to the image visualization rules. In prior engineering researches, text-based sentiment analysis has been conducted to understand users' emotions and attitudes by analyzing users’ comments and reviews in social media. In this study, the data was used as a material for the creation of artworks so that it could be used for aesthetic expressions. From the machine's point of view, emotions are substituted with numbers, so there is a limit to normalization and standardization. Therefore, we tried to overcome these limitations by linking the results of sentiment analysis of lyrics data with the rules of formative elements in visual arts. This study aims to transform existing traditional art works such as literature, music, painting, and dance to a new form of arts based on the viewpoint of the machine, while reflecting the current era in which artificial intelligence even attempts to create artworks that are advanced mental products of human beings. In addition, it is expected that it will be expanded to an educational platform that facilitates creative activities, psychological analysis, and communication for people with developmental disabilities who have difficulty expressing emotions.

국문 초록 (Abstract)

본 연구에서는 음악 가사의 감성분석을 통한 영상작품의 제작을 시도하였다. 가사 텍스트의 감성분석에는 구글(Google)의 자연어 처리 API를 활용하였고 그 결과를 영상 시각화 규칙과 연결하였다. 기존의 공학적 연구들에서의 텍스트 기반 감성분석은 소셜 미디어에서의 사용자 댓글과 리뷰를 분석해서 사용자들의 감정과 태도를 이해하도록 하는 연구들이 많았다. 본 연구에서는 감성분석 데이터가 예술작품 창작의 재료가 되어 심미적 표현에 활용될 수 있도록 하였다. 기계의 관점에서 볼 때 감정은 숫자로 치환되어 나타나므로 규격화, 표준화 될 수밖에 없다는 한계점이 있다. 이에 가사 데이터의 감성분석 결과를 시각예술에서의 조형요소들의 규칙과 연결하여 이러한 한계를 일부 극복해보자 하였다. 본 연구는 인공지능이 인간의 고도화 된 정신적 산물인 예술작품의 창작까지 시도하는 현 시대를 반영하며 문학, 음악, 회화, 무용 등 기존의 전통적인 예술작품을 기계를 통해 바라본 새로운 형태의 예술작품으로 만들어 보고자 하는 목표를 가지고 있다. 더불어 감정표현에 어려움을 겪는 발달 장애인들의 창작활동과 심리분석 및 의사소통을 용이하게 해주는 예술창작 및 교육 플랫폼으로 확장되기를 기대한다.

참고문헌 (Reference)

1 배미영, "칸딘스키 조형이론과 작품분석을 통한 색채특성에 관한 연구" 이화여자대학교 대학원 2010

2 손진훈, "정서의 심리적 모델: 개별 정서 모델, 평가 모델, 차원 모델을 중심으로" 대한인간공학회 30 (30): 179-186, 2011

3 최수환, "음악 정보 추출(MIR)알고리즘을 활용한 사운드 시각화 연구" 8 : 33-58, 2010

4 박진완, "예술적 데이터 시각화 고찰" 한국디지털디자인학회 11 (11): 193-202, 2011

5 김혜란, "라반의 공간조화이론 “코레우틱스(Choreutics)”를 활용한 움직임의 추상적 시각화 연구" 사단법인 인문사회과학기술융합학회 7 (7): 371-381, 2017

6 김동림, "감성 트리 기반의 음악 감성 조절 알고리즘" 한국콘텐츠학회 15 (15): 21-31, 2015

7 황민철, "감성 모델링 및 인식 기술" 8 (8): 34-44, 2011

8 "https://m.blog.naver.com/sehyunfa/221675809410"

9 "https://ko.wikipedia.org/wiki/감성"

10 "https://cloud.google.com/natural-language/d ocs/basics?hl=ko"

11 "http://www.fractal.org/Bewustzijns-Besturings -Model/Nature-of-emotions.htm"

12 R. Thayer, "The Origin of Everyday Moods:Managing Energy, Tension, and Stress" Oxford University Press 1996

13 H. Katayose, "The Kansei music system" 13 (13): 72-77, 1989

14 S. Hsiao, "Methodology for stage lighting control based on music emotions" 412 : 14-35, 2017

15 이동섭, "L-system을 이용한 음악 시각화" 한국디지털디자인학회 12 (12): 67-77, 2012

16 X. Hu, "Improving mood classification in music digital libraries by combining lyrics and audio" 159-168, 2010

17 T. S. Utomo, "Emotion Label from ANEW dataset for Searching Best Definition from WordNet" ACM 2018

18 A. Joshi, "Automatic sarcasm detection : A surveym" 50 (50): 1-22, 2017

19 L. Gómez, "Applying data mining for sentiment analysis in music" Springer 619 : 198-205, 2017

20 I. Hernández-Farías, "Applying basic features from sentiment analysis for automatic irony detection" Springer 337-344, 2015