Reinterpreting synchresis : The doppler effect as a sound-dominant construction of cinematic realism

국문 초록 (Abstract)

본 논문은 영화 사운드 디자인에서 도플러 효과(Doppler Effect)가 공간적·감정적 리얼리즘을 어떻게 구성하는지를 분석함으로써, 미셸 시옹(Michel Chion)의 시크레시스(synchresis) 개념을 재해석한다. 도플러 효과는 일반적으로 순수한 물리적 현상으로 다루어져 왔으나, 본 연구는 영화에서 사운드 디자이너들이 피치 곡선, 스펙트럼 기울기, 주파수 압축과 같은 도플러 단서를 의도적으로 과장하거나 변형함으로써, 시각적 프레임만으로는 전달될 수 없는 움직임 지각, 정서적 근접성, 서사적 긴장을 유도한다고 주장한다.
영화사에서 시각 이미지는 의미와 감정적 몰입을 전달하는 주된 매개로 간주되어 왔으며, 사운드는 시각적 경험을 강화하는 보조적 요소로 인식되어 왔다. 그러나 시옹은 시크레시스 개념을 통해, 사운드와 이미지의 결합이 단순한 기계적 동기화가 아니라 관객의 지각 속에서 이루어지는 심리적 융합, 즉 사운드와 이미지가 하나의 지각적 사건으로 경험되는 ‘믿음의 행위’임을 밝혔다.
도플러 효과는 소리의 주파수를 조작함으로써 움직임, 거리, 감정을 지각하게 만든다는 점에서 시크레시스를 설명하는 대표적인 메커니즘으로 작동한다. 현대 영화 사운드 디자인은 이러한 지각적 융합을 활성화하기 위해 도플러 단서를 종종 강화하거나 스타일화하며, 이를 통해 사운드가 이미지가 제시하는 의미를 재구성하거나 때로는 이를 넘어서는 방식으로 조직되도록 한다.
본 연구는 STFT(Short-Time Fourier Transform) 스펙트로그램, 심리음향 모델, 그리고 정밀한 시청각 분석을 결합하여 특정 주파수 패턴이 어떻게 지각적 의미를 형성하는지를 분석한다. 루밍 바이어스(looming bias), 스펙트럼 현저성(spectral salience), 시간적 비대칭성, 저주파 공명과 같은 메커니즘은 조작된 도플러 궤적이 접근, 속도, 긴박함의 체감적 경험을 어떻게 생성하는지를 보여준다. 이러한 분석은 시옹의 시크레시스와 부가가치(added value) 개념을 이론적 기반으로 삼아, 음향 단서가 이미지와 결합되며 관객의 해석을 어떻게 융합하고 재구성하는지를 설명한다.
이에 따라 본 논문은 도플러 단서가 시청각 융합을 지배하는 순간, 사운드가 주요한 지각 조직자로 기능하며 음향 중심적 시크레시스(sound-centered synchresis)가 형성됨을 제시한다. 이러한 현상은 상이한 영화적 맥락 속에서 나타나며, Mad Max: Fury Road는 혼란스러운 시각 환경 속에서 사운드 주도의 공간 확장을 보여주고, F1은 시각 정보가 붕괴되는 순간에도 일관된 속도 지각을 구성하며, Interstellar는 미묘한 도플러 유사 변조를 통해 심리적 가속과 시간적 압박을 표현한다.
종합적으로 본 연구는 도플러 조작이 엄밀한 물리적 시뮬레이션이 아니라 하나의 표현적 지각 언어로 기능함을 밝힌다. 도플러 단서는 공간적 해석과 감정적 리얼리즘을 형성함으로써, 시크레시스를 본질적으로 음향 중심적인 과정으로 재구성한다. 이러한 논의는 현대 영화 경험에서 지각적 융합이 시각이 아닌 청각적 신뢰성을 중심으로 조직될 수 있음을 보여주며, 음향 주도적 시크레시스(sound-dominant synchresis)라는 개념을 통해 시옹의 이론을 확장한다.

다국어 초록 (Multilingual Abstract)

This thesis reinterprets Michel Chion’s concept of synchresis by examining how Doppler-based sound design constructs spatial and emotional realism in film. While the Doppler effect is commonly understood as a physical byproduct of motion, this study argues that filmmakers deliberately exaggerate and reshape Doppler cues, such as pitch curvature and frequency compression to guide motion perception, emotional proximity, and narrative tension beyond what the visual frame alone provides.
Traditional film theory has privileged the image as the primary carrier of meaning, positioning sound as a supportive element that reinforces visual information. Chion’s theory of synchresis challenged this hierarchy by defining audiovisual synchronization as a psychological fusion through which audiences experience sound and image as a unified perceptual event rather than as mechanically aligned components.
The Doppler effect functions as a particularly effective mechanism of synchresis because it directly influences perceptions of motion, distance, and intensity. Contemporary sound design frequently heightens or stylizes Doppler cues to activate this perceptual fusion, allowing sound to reorganize or override visual meaning, especially in moments of visual instability.
This research combines Short-Time Fourier Transform (STFT) spectrogram analysis with psychoacoustic theory and close audiovisual analysis to examine how manipulated frequency trajectories acquire perceptual significance. Drawing on concepts such as looming bias and spectral salience, the study demonstrates how Doppler-based sound generates embodied sensations of approach, speed, and urgency. Chion’s frameworks of synchresis and added value provide the theoretical foundation for understanding how these acoustic cues reshape the viewer’s interpretation of the image.
Three films illustrate this sound-led perceptual organization across different cinematic contexts. Mad Max: Fury Road demonstrates Doppler driven spatial expansion amid chaotic visuals; F1 constructs coherent velocity perception during moments of visual instability; and Interstellar employs subtle Doppler like modulation to convey psychological acceleration and temporal pressure.
Overall, the findings reveal that Doppler manipulation operates as an expressive perceptual language rather than a strict physical simulation. By shaping spatial interpretation and emotional realism, Doppler-based sound design reframes synchresis as fundamentally sound driven within contemporary cinema. This thesis therefore proposes the concept of sound-dominant synchresis, extending Chion’s theory by demonstrating that perceptual fusion is often organized around auditory reliability rather than visual primacy.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• 1.1 Background 1
• 1.2 Research Problem and Gap . 3
• 1.3 Research Purpose and Objectives 4
• 1.4 Research Questions . 6
• 1.5 Scope and Limitations . 6
• 1.6 Methodological Overview 8
• 1.7 Significance of the Study 9
• 1.8 Structure of the Thesis . 11
• Chapter 2. Theoretical Framework: Synchresis and the Role of Sound in Visual Perception 12
• 2.1 Michel Chion's Audiovision Theory 12
• 2.1.1 Synchresis: The Fusion of Sound and Image 15
• 2.1.2 Added Value: Sound as a Meaning-Making Force . 18
• 2.2 From Image Dominance to Sound-Led Perception . 21
• 2.2.1 Historical Context of Synchronization . 21
• 2.2.2 From Seeing to Hearing: The Shift Toward Sound-Led Perception 23
• 2.3 The Doppler Effect as a Mechanism of Synchresis 28
• 2.3.1 Frequency Shift and Perceived Motion . 29
• 2.3.2 Expanding Spatial and Emotional Realism . 31
• 2.4 Psychoacoustic Foundations of Audiovisual Fusion 35
• 2.4.1 Neuhoff's Looming Bias and Motion Perception . 35
• 2.4.2 Emotional Sound Proximity (Tajadura-Jimnez et al.) . 38
• 2.5 Theoretical Synthesis: Toward a Sound-Dominant Model of Realism . 41
• Chapter 3. The Doppler Effect and the Perception of Space, Motion, and Emotion . 44
• 3.1 From Physical Phenomenon to Cinematic Tool . 44
• 3.1.1 Scientific Background . 44
• 3.1.2 From Physics to Perception . 47
• 3.1.3 Early Cinematic Applications . 48
• 3.1.4 From Technical Realism to Expressive Synchresis . 53
• 3.2 Frequency Manipulation as Spatial Expansion . 56
• 3.2.1 Frequency as Spatial Information 57
• 3.2.2 Dynamic Modulation and Perceived Depth 58
• 3.2.3 Spectral Movement Beyond the Frame . 59
• 3.2.4 Toward a Sound-Led Spatial Logic 60
• 3.3 Psychoacoustic Illusions and Emotional Resonance 61
• 3.4 Conceptual Framework for Film Analysis 68
• Chapter 4. Methodology 70
• 4.1 Research Design and Approach 71
• 4.2 Film and Scene Selection 72
• 4.2.1 Selection Criteria 73
• 4.2.2 Overview of Selected Films . 74
• 4.2.3 Rationale for Selecting the Three Films . 75
• 4.3 Analytical Tools and Process 76
• 4.3.1 Spectrogram and Frequency Visualization 76
• 4.3.2 Correlation with Narrative and Perception 77
• 4.4 Reliability and Analytical Validity . 78
• Chapter 5. Film Case Studies 80
• 5.1 Mad Max: Fury Road Sound Expanding the Action Frame 82
• 5.2 F1 Engine Doppler and the Perception of Velocity 88
• 5.3 Interstellar Sound, Space, and the Relativity of Perception 93
• 5.4 Comparative Discussion 98
• Chapter 6. Discussion 100
• 6.1 Redefining Synchresis: From Image Primacy to Sound Agency . 100
• 6.2 The Doppler Effect as Evidence of Sound-Constructed Realism 102
• 6.3 Expanding Cinematic Space Through Doppler-Driven Sound . 103
• 6.4 Implications for Contemporary Sound Design . 104
• Chapter 7. Conclusion 106
• 7.1 Addressing the Research Questions 106
• 7.1.1 Reinterpreting Synchresis Beyond Image Dominance (RQ1) 106
• 7.1.2 Doppler-Based Cues and the Perception of Motion and Velocity (RQ2) . 107
• 7.1.3 Expanding Cinematic Space Through Sound (RQ3) . 108
• 7.1.4 Implications for Cinematic Realism (RQ4) 108
• 7.2 Contributions to Film Sound Theory 109
• 7.3 Implications for Practice . 111
• 7.4 Future Research 112
• References . 114