VR 콘텐츠에서 spatial audio를 활용한 UI 효과 검증 : 노먼의 상호작용 사이클 중심으로

다국어 초록 (Multilingual Abstract)

Real contents have come into spotlight amid the commercialization of 5G technology, driven by growth of VR industry. Real contents, characterized by immersion, interaction, and intelligence, etc., mean the type of contents that allows users to gain experiences similar to those in real life through the five senses human, and provides high sense of reality and broadens the realm of experience. Visual and auditory elements comprise 90% of the entire sensory perception elements, but the research on existing VR contents focused only on visual aspects easy to access. As the research needs to be conducted on the experience based on five senses, world’s leading information and communication companies are also placing the focus on development of immersive sound technology. Interaction is very important, particularly in VR contents, and other factors that do not interfere with immersion should be applied, rather than providing information based mainly on existing visual factors.
Thus, this study was intended to propose the methods for interaction using the auditory sensation by applying the Spatial Audio, an immersive sound. In this study, of VR contents, which could define and verify the characteristics based on the interaction stage of Spatial Audio, were developed and then explored through experiment.
This study was conducted through a series of processes in the order of literature research, consideration of preceding studies, experiment design, creation of VR content prototype, analysis of results of experiment, and discussion of implications. A theoretical foundation for supporting this study was prepared through academic analyses of literature and preceding studies. Literatures and preceding case studies on Spatial Audio interaction of VR contents were investigated to define the interaction characteristics of Spatial Audio as directionality, distance, predictability, attention, and communication. To examine the effectiveness of the identified characteristics of interaction, an experimental prototype VR content was created, and the experiment was performed on the general public who did not have any constraints on the hearing experience.
The results of analysis on the experiment showed that the mode of VR content interaction using the Spatial Audio was more effective than the mode of such interaction using the Stereo Audio, the conventional audio system. The mode of VR content interaction using the Spatial Audio had a significant effect on directionality perception, distance perception, predictability perception, attention perception and communication perception. The users experiencing the VR contents were found to perceive the characteristics of interaction using the Spatial Audio and acted upon such perception. However, the mode of interaction using the Spatial Audio was given lower evaluation in terms of communication perception, as compared to other variables. Such result may be attributable to the fact that other elements such as visual images, etc., were excluded and only voice was used as a means of communication in the experimental contents of this study. Although the communication effect of single voice was confirmed through the experiment, there was difficulty in accepting the user contents, given that the communication target of the contents was two-dimensional and the transmission of information from other sensory organs was excluded.

Based on aforesaid results of experimental analysis, this study has the following implications:

First, it was found that VR content UIs, differentiated from the mode of UI interaction in the existing flat display experience environment, was needed. In realistic contents that stimulate human sensory organs and cognitive abilities, the maintenance of balance among sense organs such as visual, auditory, and tactile senses, etc., is important, as well as the sight. The UI, which can be naturally incorporated into the VR environment, is the most useful UI in the VR experience environment. It is important to utilize the sound which does not require investment in visual information design.
Second, it was found that there was a lack of study on the auditory interface based on Spatial Audio in VR contents. Currently, most studies on VR content user interface have focused on visual aspects, while the studies on Spatial Audio usually remain limited to technology implementation, directing elements, and audio with special sense. Thus, this study presented the possibility of a sound interface in VR contents, and an experiment was conducted for verification of such possibility.
Finally, a method for use of interactive UIs based on auditory sense was proposed through the process of creating and verifying the experimental contents. Audio interaction, made by using Spatial Audio during the experience with VR contents, was found to induce actions of users experiencing the VR contents, and such finding can be used in setting the courses for future studies. A conclusion was drawn that the interaction characteristics of auditory UI/UX, using the Spatial Audio in VR contents, had a significant effect.
This study showed the possibility of UI/UX tapping into auditory sense, shifting away from existing content interaction modes which mostly relied on visual UI/UX interaction, and presented the course for sound design involved in creation of VR contents. This researcher hopes that the results of this study would provide a basis for designing the spatial sound in virtual reality, useful for creation of VR contents that have sensory perception factors in balance.

국문 초록 (Abstract)

VR 산업의 성장과 함께 5G 기술의 상용화로 실감콘텐츠가 주목받고 있다. 실감콘텐츠란 몰입감, 상호작용, 지능화 등의 특징으로 사람의 오감을 통해 실제와 유사한 경험을 체험 가능한 콘텐츠이며, 높은 현실감을 제공하고 경험의 영역을 확장한다. 감각인지요소 중 시·청각의 요소가 전체의 90%를 차지하는데, 기존의 VR 콘텐츠는 접근성이 용이했던 시각 연구에만 집중되어있다. 오감 경험 연구가 요구되고 있는 만큼 세계적인 정보통신 기업에서도 몰입형 음향 기술 개발에 집중하고 있다. VR 콘텐츠에서 특히 상호작용은 매우 중요하며 기존의 시각적 요인 중심의 정보 제공보다는 몰입을 방해하지 않는 다른 요인을 사용해야 한다.
따라서 본 연구에서는 몰입형 음향인 Spatial Audio를 활용하여 청각 감각을 이용한 상호작용 방식을 제언하고자 하였다. VR 콘텐츠에서 Spatial Audio의 상호작용 단계 기반으로 특성을 규정하고 이를 검증하기 위한 VR 콘텐츠를 개발하여 실험을 통해 알아보았다.
연구 절차로는 문헌적 연구, 선행 연구 진행, 실험 설계 및 VR 콘텐츠 프로토타입 제작, 실험 결과 분석, 시사점 논의의 순서로 진행되었다. 문헌 및 선행 연구의 학문적 분석을 통해 연구를 뒷받침할 이론적 토대를 마련하였다. 문헌 연구를 통해 도출한 특성을 VR 콘텐츠의 Spatial Audio 상호작용 사례 선행 연구를 진행하여 Spatial Audio의 상호작용 특성을 방향성, 거리감, 예측성, 주목성, 커뮤니케이션으로 규정하였다. 도출한 상호작용 특성의 효과를 알아보기 위해 실험용 프로토타입 VR 콘텐츠를 제작하여 청각 경험에 제약이 없는 일반인을 대상으로 실험을 진행하였다.
실험 분석 결과 표준 차이 검정에서 나타난 결과를 살펴보면 Spatial Audio를 활용한 VR 콘텐츠 상호작용 방식이 방향성 인지, 거리감 인지, 예측성 인지, 주목성 인지, 커뮤니케이션 인지에 유의미한 영향을 미쳤다. 체험자들은 Spatial Audio의 상호작용 특성을 인식하고 이를 행동하는 것을 확인할 수 있었다. 다만 Spatial Audio를 활용한 상호방식에만 주목하자면 커뮤니케이션인지에서 다른 변인들에 비해 낮은 평가를 받았다. 본 연구의 실험 콘텐츠에서 시각적 이미지 등 다른 요소는 배제되고 커뮤니케이션 수단으로 음성만을 이용한 점이 작용했을 것으로 판단한다. 실험을 통해 단일 음성의 커뮤니케이션 효과는 확인되었으나 콘텐츠의 커뮤니케이션 대상이 평면적이고 다른 감각 기관의 정보 전달이 제외된 점에서 체험자가 콘텐츠 내용을 받아들이는 데 어려운 측면이 존재하였다.

위 내용의 실험 분석 결과를 토대로 제시한 연구의 시사점은 다음과 같다.

첫째, 기존 평면 디스플레이 체험 환경에서 사용한 UI 상호작용 방식과 차별화된 VR 콘텐츠 UI가 필요하다는 사실을 확인하였다. 사람의 감각 기관과 인지능력을 자극하는 실감 콘텐츠에서는 시각뿐만 아니라 시각, 청각, 촉각 등의 감각기관의 균형이 중요하다. VR 환경에 자연스럽게 묻어나는 UI는 VR 체험 환경에서 가장 유용한 UI이다. 시각적 정보 디자인의 투자가 없는 사운드의 활용이 중요하다.
둘째, VR 콘텐츠에서 Spatial Audio를 기반한 청각 인터페이스에 대한 연구가 미비하다는 것을 확인하였다. 현재 대부분의 VR 콘텐츠 사용자 인터페이스 연구는 시각 중심으로 연구되어 왔으며, Spatial Audio의 연구 대체로 기술 구현이나 연출 요소 및 공간감 있는 오디오에 그친다. 이에 본 연구는 VR 콘텐츠에서 사운드 인터페이스의 가능성을 제시하고 이를 검증하는 실험을 진행하였다.
끝으로, 실험 콘텐츠를 제작하고 검증하는 과정을 거쳐, 청각을 기반한 상호작용 UI 활용 방안을 제안하였다. VR 콘텐츠 체험 시 Spatial Audio를 활용한 오디오 상호작용은 체험자의 행동 유도로 이어지는 사실을 확인함으로써 추후 연구 방향에 활용될 수 있다.
VR 콘텐츠에서 Spatial Audio를 활용한 청각 UI/UX의 상호작용 특성이 유의미한 영향을 끼친다는 결론을 도출하였다. 시각 UI/UX 상호작용 방식이 주된 요소였던 기존 콘텐츠 상호작용방식에서 벗어나 청각을 이용한 UI/UX의 가능성을 보여주었으며 VR 콘텐츠 제작 시 사운드 디자인의 방향성을 제시하였다. 향후 가상현실 공간 음향 설계의 기초가 되어 감각인지요소가 균형이 이루어진 VR 콘텐츠 제작에 도움이 되기를 기대해본다.

목차 (Table of Contents)

• 국문초록 ⅰ
• 목차 ⅳ
• 표 목차 ⅶ
• 그림 목차 ⅸ
• 1. 서론 1
• 1.1 연구의 배경 및 목적 1
• 1.2 연구의 범위 및 방법 3
• 2. 이론적 배경 및 선행 연구 5
• 2.1 VR(Virtual Reality)의 이해 5
• 2.1.1 VR(Virtual Reality) 5
• 2.1.2 VR의 기술적 특징 7
• 2.1.3 VR User Interface 9
• 2.2 Spatial Audio의 이해 10
• 2.2.1 음향의 기술의 종류 10
• 2.2.2 Spatial Audio의 개념 12
• 2.3 상호작용 이론 19
• 2.3.1 상호작용 19
• 2.3.2 노먼의 상호작용 사이클 21
• 2.4 Spatial Audio 상호작용 특성 25
• 2.4.1 방향성 26
• 2.4.2 거리감 28
• 2.4.3 예측성 30
• 2.4.4 주목성 32
• 2.4.5 커뮤니케이션 34
• 3. 콘텐츠 개발 및 효과 검증 36
• 3.1 연구 설계 36
• 3.1.1 연구 모형의 설정 36
• 3.1.2 연구 가설 설정 37
• 3.2 콘텐츠의 개발 39
• 3.2.1 콘텐츠의 개발 환경 39
• 3.2.2 콘텐츠의 기획 및 시나리오 42
• 3.2.3 콘텐츠의 제작 과정 44
• 3.3 실험 설계 51
• 3.3.1 실험 대상 51
• 3.3.2 측정 도구 53
• 3.3.3 실험 절차 56
• 4. 연구 결과 및 논의 60
• 4.1. 연구결과 60
• 4.1.1 표본의 빈도 분석 60
• 4.1.2 신뢰도 분석 61
• 4.1.3 기술통계분석 62
• 4.1.4 표준 차이 검정 63
• 4.2. 논의 66
• 5. 결론 69
• 5.1 연구의 목적 및 결과 69
• 5.2 연구의 시사점 70
• 5.3 연구의 한계 및 향후 연구 방향 71
• 참고문헌 73
• 부 록: 실험 설문지 81
• ABSTRACT 87