소셜 VR FOV 밖에서의 움직임을 공감각을 통해 경험하게 하는 디자인 제안 = Design Proposal for Experiencing Movements Outside the Field of View in Social VR through Synesthetic Interaction

다국어 초록 (Multilingual Abstract)

Social Virtual Reality (Social VR) has emerged as an immersive communication medium that supports real-time multi-user interaction across domains such as collaboration, education, and entertainment, enabled by the diffusion of head-mounted displays (HMDs) and network advancements. However, its current experiential structure faces significant limitations. These include the physical constraints of HMDs’ field of view (FoV), fragmented external sensory feedback, and oversimplified representation of off-screen user movements, all of which disrupt spatial continuity and diminish users’ sense of presence. Specifically, even in contexts where comprehensive transmission of social signals—such as gestures involving the head, hands, torso, or physical locomotion—is essential, existing interfaces rely heavily on compressed 2D cues like arrows, radars, icons, and spatial audio. These methods lack continuity and granularity. Furthermore, tactile and olfactory channels are rarely integrated due to the burden and constraints of full-body wearable devices, making them impractical in everyday Social VR experiences. Beyond hardware limitations, these challenges point to a perceptual gap rooted in the absence of interface structures that organically link off-FoV space with the user’s physical sensory environment.

This research proposes a multisensory interaction design aimed at enhancing social presence—summarized as co-presence, shared spatiality, and the feeling of being together—by converting user movements outside the FoV (head, hand, torso gestures and spatial transitions) into layered sensory feedback. The study begins by reviewing theoretical foundations of Social VR and social presence, then analyzes encoding characteristics and limitations of existing 2D and 3D visualization techniques for off-FoV objects. Drawing from synesthetic design cases, it reinterprets sensory substitution and attention-guiding principles as a new framework for transforming off-screen social signals.

The research unfolds through three stages of practice-based design exploration. The first stage involved remote interaction environments with video and avatar-based systems, testing spatial lighting, gaze-responsive devices, and particle trails representing off-FoV movement. This revealed the limitations of directly translating painterly perception into interactive settings. In the second stage, the focus narrowed to Social VR, where off-FoV movements were separately encoded via vector-based airflow-inspired particles, directional wind audio, vibrating floor structures, and pebble-based haptic chair feedback. However, this revealed challenges in intuitive expression, information density, and synchronized multisensory continuity. In the third and final stage, these elements were integrated into a unified model, “Sense the Unseen.” This system synchronizes particle-based airflow visuals in VR space with physical stimuli—proximity-triggered vibration and impact sound from the Sound Stool, and scent dispersion through vibration-induced airflow from the Scented Stool. The same user movement is thus mapped simultaneously across vision, audition, touch, and smell.

Sense the Unseen reconstructs off-FoV user activity not as fragmented icons or discrete signals but as a cohesive, cross-sensory experience. It enables users to perceive nuances of intensity, proximity, and direction as a continuous flow, preserving social cues often lost in conventional symbolic representations. This multisensory interface architecture bridges the perceptual fragmentation caused by FoV boundaries, fostering stronger co-presence and shared spatial awareness in Social VR environments.

국문 초록 (Abstract)

소셜 VR(Social Virtual Reality)은 HMD 확산과 네트워크 발전을 배경으로 협업·교육·엔터테인먼트 영역에서 다중 사용자의 실시간 상호작용을 지원하는 몰입형 커뮤니케이션 매체로 자리잡고 있다. 그러나 현재 경험 구조는 HMD의 시야각(FoV) 물리적 한계, 장치 외부 감각 피드백의 단편성, 시야 밖 사용자 움직임 정보의 축약적 표시로 인해 공간적 연속성과 대인 존재 인지가 단절되며 사회적 현존감(social presence)이 저하되는 한계를 지닌다. 특히 머리·손·상체 제스처나 위치 이동처럼 사회적 신호의 질감과 강도, 방향, 거리 변화를 포괄적으로 전달해야 하는 상황에서도 기존 인터페이스는 화살표·레이더·아이콘·단순 공간음 등 2D적 요약 기호에 의존하여 연속성과 세밀도가 손실되고, 촉각·후각 채널은 전신 착용형 장치의 부담과 구현 제약으로 일상적 소셜 VR 맥락에 충분히 통합되지 못하고 있다. 이는 단순한 하드웨어 성능 부족을 넘어, FoV 밖 영역과 물리 환경 감각을 유기적으로 접속·보강하는 인터페이스 구조 부재에서 기인하는 지각적 공백으로 볼 수 있다.

본 연구는 FoV 밖 사용자 움직임(머리·손·상체 제스처 및 위치 이동)을 다감각 신호로 전환하여 공존감, 공동 공간감, ‘함께 있음’을 강화하는 사회적 현존감 향상 인터랙션 디자인을 제안하는 데 목적이 있다. 이를 위해 소셜 VR 및 사회적 현존감 개념을 검토하고, 2D·3D 환경에서 FoV 외 객체 시각화 기법의 정보 부호화 특징과 한계를 분석했으며, 공감각 사례를 통해 감각 전이와 주의 환기 원리를 FoV 외 사회적 신호 치환 원리로 재해석하였다.

연구는 세 단계의 작품 연구로 전개되었다. 1차 작품연구에서는 영상과 아바타 기반 원격 상호작용 환경을 대상으로 조명, 시선 반응 디바이스, FoV 외 사용자 동선 파티클을 실험하며 회화적 지각 경험 전이의 한계를 확인하였다. 2차 작품연구에서는 범위를 소셜 VR로 한정하고 FoV 밖 움직임을 공기 흐름 시각화 파티클과 벡터, 방향과 강도가 구분된 바람 소리, 바닥 파형과 실 구조 진동 패턴, 자갈 진동과 충돌음 의자 피드백으로 분리 구현했으나 표현 직관성, 정보 밀도, 감각 연동 지속성의 제약이 드러났다. 이에 3차 작품연구에서는 분리된 감각 채널을 동기화한 통합 모델 “Sense the Unseen”을 설계하였다. Social VR 공간 내에서 FoV 밖 사용자 움직임은 공기 흐름을 반영하는 먼지 형태의 파티클(GUI)로 시각화되고, 동일 움직임 데이터는 현실 공간에서 Sound Stool의 거리 연동 진동과 자갈 충돌음, Scented Stool의 진동 유도 향 확산으로 동기화하여 FoV 밖 활동을 시각, 청각, 촉각, 후각으로 통합 재구성하는 다감각 인터페이스 모델을 제안하였다. Scense the Unseen은 시야각 밖 사용자 움직임 데이터를 파편화된 아이콘이나 단발 신호가 아닌 상호 보완 감각 층위로 재조합하여 시야각 밖의 움직임의 강도, 거리 그리고 방향성이 연속적으로 경험되게 하는 조형 및 인터페이스 모델을 구축하였다. 이를 통해 기존의 축약된 표기 방법에서 소실되었던 사회적 신호의 미묘한 차이를 보완하고, FoV를 경계로 분절되던 상호작용 흐름을 공감각적 전이로 이어줌으로써 공존감과 공동 공간감, 함께 있음의 심리적 밀도를 증진시키는 감각 통합 설계로 기능한다.

목차 (Table of Contents)

• 제 1 장 서 론 1
• 제 1 절 연구의 배경 1
• 제 2 절 연구의 목적 4
• 제 3 절 연구의 방법 5
• 제 2 장 소셜 VR과 사회적 현존감 6
• 제 1 절 소셜 VR의 의미와 구성 요소 6
• 1.1 가상현실의 의미 6
• 1.2 소셜 VR의 의미 7
• 1.3 가상현실의 구성요소 9
• 1.4 가상현실 특성 10
• 제 2 절 사회적 현존감 11
• 2.1 현존감의 정의 11
• 2.2 사회적 현존감의 정의와 측정도구 13
• 제 3 장 FoV와 외부객체 시각화 선행사례 16
• 제 1 절 VR HMD FoV 16
• 1.1 사람의 FoV와 VR HMD FoV 16
• 1.2 VR HMD FoV 비교 18
• 제 2 절 FoV 외부 객체 시각화 19
• 2.1 2D 공간에서의 시각화 방법 19
• 2.2 3D 공간에서의 시각화 방법 22
• 제 4 장 공감각의 개념과 사례 24
• 제 1 절 공감각의 정의 24
• 제 2 절 VR 공간에서의 감각 경험 26
• 제 3 절 공감각 디자인 사례 28
• 제 5 장 시야밖 움직임 디자인 전개 34
• 제 1 절 1차 디자인 전개 34
• 1.1 개요 34
• 1.2 적용 원리 35
• 1.2.1 아우라 개념 정의 35
• 1.2.2 아우라 분류 37
• 1.2.3 지각 경험 38
• 1.3 조형 적용 원리 38
• 1.3.1 초현실주의와 지각경험 38
• 1.3.2 포토리얼리즘과 지각경험 39
• 1.3.3 다다이즘과 지각경험 40
• 1.3.4 디자인 통찰 40
• 1.4 디자인 41
• 1.4.1 작품연구 1 41
• 1.4.2 작품연구 2 44
• 1.4.3 작품연구 3 47
• 1.5 소결 51
• 제 2 절 2차 디자인 전개 51
• 2.1 개요 51
• 2.2 디자인 52
• 2.2.1 작품연구 1 52
• 2.2.2 작품연구 2 57
• 2.2.3 작품연구 3 61
• 2.2.4 작품연구 4 64
• 2.3 소결 67
• 제 3 절 3차 디자인 전개: Sense the Unseen 68
• 3.1 개요 68
• 3.2 디자인 69
• 3.2.1 작품연구 1 Social VR 69
• 3.2.2 작품연구 2 Sound Stool 73
• 3.2.3 작품연구 3 Scented Stool 79
• 3.3 소결 83
• 제 6 장 결 론 85
• 참고문헌 87
• Abstract 93