햅틱 경험의 공감각화 : 실감콘텐츠에서 촉각, 청각을 중심으로 = The Synesthesia of Haptic Experience: Focusing on Tactile & Hearing Experience in Immersive Content

다국어 초록 (Multilingual Abstract)

Media is not only communication for information delivery but also an environment in itself that adjusts the ratio of human senses and shapes the structure of perception. In the fields of immersive content including media art, VR/AR, and gaming the adoption of haptic interfaces utilizing motion sensor and vibration/temperature device is accelerating to enhance interaction with users.
The purpose of this study is to investigate the patterns of sensory transition and expansion in users, focusing on the tactile and auditory experience provided by haptic-interfaced immersive content. To this end, interviews regarding haptic experiences were conducted with seven participants recruited through a research institute that produces immersive content. Based on these interviews, a concept oriented coding analysis categorized into four core codes was applied, yielding the following results:
First, experiences through haptic interfaces in immersive content appeared to possess a distinct specificity in inducing the combination and transition of senses. In particular, shifting the sensory system from vision centric content to tactile or auditory based content proved effective in enhancing the user's cognitive arousal and sense of presence. Second, the tactile and auditory based experiences enabled multi sensory connections, thereby facilitating user immersion within the content in the virtual environment. Third, the process of synesthesia was found to help release emotions and exert a positive influence on emotional cultivation. However, the study confirmed that for haptic interface technology to properly implement, the establishment of technical infrastructure, user’s securing reliability through safety verification, customization to suit users' physical senses, and overcoming the resulting cost increases with the inherent appeal of the content itself.
In conclusion, this study suggests the possibility of positive changes in human sensory perception systems and society resulting from the shift from the visual centric nature of traditional media content to tactile and auditory based experiences.
Keywords: Haptic Interface, Immersiveness, Boundary Fluid, Modality Combination, Sensory hierarchy, Presence, Emotional Effect

국문 초록 (Abstract)

미디어는 정보 전달의 도구가 아니라 인간의 감각 비율을 조정하고 인식 구조를 형성하는 환경 그 자체이다. 미디어 아트를 비롯해 VR/AR, 게임 등 실감콘텐츠 분야에서는 수용자와의 상호작용을 위해 동작 감지 센서와 진동 및 온도 장치 등을 활용한 햅틱 인터페이스의 도입이 가속화되는 추세이다.
본 연구는 햅틱 기반 실감콘텐츠에서 제공하는 촉각 및 청각 경험을 중심으로 수용자의 감각적 전이와 확장의 양상에 대해 알아보는데 목적을 두었다. 이를 위해서 실감콘텐츠를 직접 제작하는 연구소를 통해서 모집된 참여자 7명을 대상으로 햅틱 경험에 대한 인터뷰를 수행하였으며, 이를 바탕으로 4개의 핵심코드인 감각의 상호결합, 경계의 유동성, 감각의 위계성, 정서적 효과로 분류한 개념 중심 코딩을 적용하여 분석한 연구결과는 다음과 같다.
첫째, 실감콘텐츠에서 햅틱 인터페이스를 통한 경험은 감각의 결합과 전이를 유도하는 데 있어 특수성을 갖는 것으로 보였다. 특히 시각 중심의 콘텐츠에서 촉각이나 청각으로 감각 체계를 옮겨왔을 때 수용자의 인지적 각성이나 현존감에 효과가 있음이 나타났다. 둘째, 촉각 및 청각 중심 경험이 다감각적 연결을 가능하게 함으로써 가상현실 환경 안에서 수용자의 콘텐츠에 대한 몰입을 도왔다. 셋째, 공감각화 과정을 거치며 감정을 해소하고 공감능력을 증대하는 데 긍정적인 영향을 미치는 것으로 나타났다. 다만 햅틱 인터페이스의 기술을 제대로 구현하기 위해서는 기술적 인프라의 발전과 함께 안전성 검증을 통한 신뢰성 확보와 사용자의 신체감각에 맞춘 커스터마이징(Customizing)이 요구됨을 확인하였다.
결론적으로 기존 미디어 콘텐츠가 가진 시각 중심성에서 촉각, 청각적 경험으로 전환이 인간의 감각 인지 체계와 사회에 미칠 긍정적 변화의 가능성을 제시하였다.

목차 (Table of Contents)

• 국문 초록 ⅰ
• 표 목차 ⅳ
• 그림 목차 ⅴ
• I. 서론
• 1. 연구 배경 1
• 2. 이론적 논의 7
• 1) 햅틱(Haptic)의 개념과 의의 7
• 가. 감각의 확장에 대한 고찰 9
• 나. 인식의 변화가 몸의 감각과 정서에 미치는 영향 10
• 3. 사례분석 12
• 1)감각의 상호결합 사례: 2025년 햅-킥 워크숍<감각의 무브먼트> 13
• 2)신체 확장의 사례: <반 아커(Sjoerd van Acker)(2024),‘Lingering Echoes’,아르스 일렉트로니카 페스티벌> 15
• 3)경계의 유체성으로 본 사례: <빈센트 모리셋(Vincent Morisset)(2023), ‘COMPOSITION’, 부천국제판타스틱영화제> 17
• 4)정서적 효과로 본 사례: <권하윤(2022), ‘구보, 경성, 방랑’, 부천국제판타스틱영화제> 19
• 5)햅틱 기반 실감콘텐츠의 특징 20
• 가. 감각의 상호결합 20
• 나. 경계의 유동성 21
• 다. 감각의 위계성 22
• 라. 정서적 효과 22
• 6)사례 간의 비교분석 23
• II. 본론
• 1. 연구문제 24
• 2. 연구방법 25
• 1) 연구 참여자 25
• 2) 예비조사 26
• 3) 자료수집 방법 27
• 4) 자료의 분석 29
• 3. 연구분석 30
• 1) 지각의 변화 31
• 가. 감각의 상호작용성 31
• 나. 경계의 유동성 33
• 다. 감각의 위계성 35
• 라. 정서적 효과 37
• (1) 감정 해소 37
• (2) 공감 능력 38
• (3) 한계점 39 (4) 신뢰감 혹은 안전성 40
• III. 결론 41
• 참고문헌 45
• 영문초록 47