Interactive effects of music, film, and text on emotion and cognition

다국어 초록 (Multilingual Abstract)

This study investigated cognitive and emotional effects of music, film, and text in a multimedia context based on the established studies on the relationship between musical structure and emotion, and the emotional effects between music and film. Experiment 1 found that manipulating musical mode and tempo influences emotional responses to film, and valence of film also influences on emotional responses to music based on the previous studies on the emotional effects of positive and negative music on neutral film. It means that emotional responses to film can be affected by musical structure, and the emotional power can increase or decrease according to interaction between music and film. Experiment 2 investigated the memory task performance of films depending on the emotional congruency between music and film. The results indicated that congruent pairs are more memorable than incongruent ones not only in the dimension of valence but also arousal. Experiment 3 showed that the results of experiment 1 can be applied to the relationship between music and text. The results of experiment 3 suggested that music can affect not only neutral but also positive and negative texts and vice versa. It might be unnatural that music and text are presented together; however, it can be understood in a digital storytelling perspective as a deep learning tool. Experiment 4 was based on the studies that explain the difference of encoding forms of two or more media according to emotional congruency. Congruence-Associationist model only describes how two media (music and film) are integrated and encoded to memory. However, Boltz (2004) suggested that according to emotional congruency, this encoding process can be applied or not. Using this method, experiment 4 verified that CA model can be applied to relationship between not only music and film, but music and text. The results demonstrated that congruent pairs lead to a joint encoding of music/text information as an integrated memory code. Incongruent pairs, however, result in an independent encoding, so music or film is only remembered well if it is selectively attended to at the stage of encoding. These findings both support and extend the CA Model which addresses those cognitive mechanisms involved in the processing of music/text information can be integrated according to their emotional congruency. The results of this study presented the effective and efficient way to evoke appropriate emotions in design of multimedia contents by verifying the emotional and cognitive effects among various media in a multimedia context in which we can experience various media simultaneously. And this study is meaningful in that it supported the empirical basis to satisfy the users’ experiences in the affective computing context.

국문 초록 (Abstract)

음악의 구조적 속성과 정서에 관한 연구, 그리고 음악과 영화의 정서적 영향에 대한 기존 연구를 바탕으로 멀티미디어 환경에서 음악과 영화, 음악과 글 간의 상호적인 정서적, 인지적 영향에 대하여 연구하였다. 실험 1에서는 긍정적 혹은 부정적인 음악이 중성적인 영화에 미치는 정서적 영향에 대한 기존 연구를 바탕으로, 음악의 구조적인 속성인 조와 템포를 조작함으로써 영화에 대한 정서적 반응에 영향을 미칠 수 있다는 사실을 밝혀냈으며, 반대로 영화의 정서 역시 음악의 정서에 미치는 영향 역시 확인하였다. 영화의 정서는 음악의 속성에 많은 영향을 받으며, 음악의 영화에 대한 영향은 둘 간의 상호작용을 통하여 지각된 영화의 정서가 증가되기도 하고 감소되기도 한다는 사실을 발견하였다. 실험 2에서는 영화와 음악의 정서적 일치성에 따른 영화에 대한 기억 수행을 연구하였다. 그 결과 두 매체가 정서적으로 일치할 때 기억 수행이 더 좋으며, valence 차원뿐만 아니라 arousal 차원에서의 정서적 일치성 역시 기억에 영향을 준다는 사실을 발견하였다. 실험 3에서는 기존의 영화와 음악간 정서적 영향에 대한 연구 방법론을 이용하여 이러한 정서적인 영향이 음악과 글 간의 관계에서도 적용이 되는지 살펴보았다. 음악은 중성적인 글뿐만 아니라 긍정적이고 부정적인 글을 읽을 때도 정서적인 영향을 미친다는 사실을 밝혀냈으며, 또한 긍정적이고 부정적인 글이 음악에 대한 정서적인 반응에도 영향을 미친다는 사실을 발견하였다. 음악과 글이 함께 제시된다는 사실은 음악과 영화가 함께 제시되는 것보다는 덜 자연스러울 수 있으나, 최근 깊은 수준의 학습으로서 주목받고 있는 디지털 스토리텔링 맥락에서 의의를 찾을 수 있다. 실험 4는 정서적 일치성에 따라 두 매체가 기억에 저장되는 양식의 차이가 있다는 기존 연구를 바탕으로 진행되었다. Congruence-Associationist 모델은 단순히 두 매체 (영화와 음악)이 기억의 각 단계에서 어떤 식으로 통합되어 인코딩되는지를 밝힌 모델이었다면, Boltz (2004)는 이러한 기억 과정이 정서적 일치성에 따라 나타날 수도, 그렇지 않을 수도 있다고 주장하였다. 실험 4에서는 이러한 연구방법론을 이용, CA 모델이 음악과 영화간의 관계뿐만 아니라 음악과 글 간의 관계에도 적용될 수 있는지 검증하였다. 실험 결과, 정서적으로 불일치하는 짝은 개별적으로 기억에 저장되기 때문에 주의를 주지 않은 매체는 기억 수행이 저조하나, 정서적으로 일치하는 짝은 하나의 통합된 개체로서 기억에 저장되기 때문에 주의를 주지 않은 매체에 대한 기억 수행이 주의를 주었을 때에 비하여 떨어지지 않는다는 사실을 발견하였다. 본 연구의 결과는 여러 매체를 동시적으로 경험하게 되는 멀티미디어 환경에서 다양한 매체 간의 정서적, 인지적 영향에 대해 검증함으로써 멀티미디어 컨텐츠 제작 시 효과적으로 정서를 유발할 수 있는 방안을 제시하였으며, 감성 컴퓨팅에서 환경에서 사용자 경험을 만족시키는 방안에 대한 경험적 근거를 마련하였다는 점에서 의의를 찾을 수 있다.