XR-트윈기반 환경의 공간인지음향 조성 = Composition of Spatially Perceptible Sound in an XR Twin-based Environment

국문 초록 (Abstract)

(연구배경 및 목적) 영상콘텐츠의 공간감은 몰입감과 임장감을 기반으로 배경과 오브젝트의 입체적묘사와 더불어 시각과 청각의 표현에 기반 한다. 가상현실과 증강현실, 혼합현실과 가상융합기술의 발달은 다양한 입체적 묘사와 실감경험을 제공하고 있는데 사용자가 있는 작은 공간에서도 자연과 같은 넓은 장소를 체험할 수 있고 쉽게 가볼 수 없는 장소를 시간과 공간을 초월해서 경험할 수 있다. 이러한 가상융합기술의 발달은 예술가들의 퍼포먼스를 펼칠 수 있는 초경험, 초실제의 XR트윈기반 환경에 이르게 되었다. 이번 연구는 ‘TIME SIMULATION’전시에서 보인 큐브룸의 영상과 음향의 입체적 콜라보작품에서 공간의 인지 요소를 음향기법 중의 돌비-애트모스 방식과 인간의 심리음향에 기반한 청각적 요소에서 알아보려고 한다. (연구방법) 돌비-애트모스의 입체음향을 중심으로 입체음향, 3D-Audio, 공간음향으로 표현되는 공간을 인지할 수 있는 음향방법을 알아보고자 한다. 3면에 투사되는 화면의 왜곡을 최소화하기 위해서 5채널의 기본베이스 채널을 천장으로 가까이 설치하면서 공간을 표현하는 입체적 음장효과가 변형되어 공간감을 나타내는 요소가 감소되었다. 심리음향의 공간인지요소를 적용하여 입체음향의 공간감을 높이기 위해 어떤 방법들이 사용되었는지 알아보고 심리음향에서 적용된 공간인지요소에는 어떤 요소들이 있는지 알아보고자 한다. (결과) 돌비-애트모스 데이터를 기본으로 스피커의 위치를 결정하고 공간인지에 기반한 청각적 요소들을 적용하여 룸어쿠스틱을 조정하였다. 룸어쿠스틱에는 함께 설치된 오디오인터페이스의 파라메트릭 EQ를 조정하였고 공간의 거리인지와 크기인지를 조정하여 공간의 울림을 조정하여 최적화 하였다. (결론) 청각의 공간인지지적요소는 물리적 스피커 시스템을 활용할 수 있다. 하지만 인지되는 차이가 개인별, 소리의 주파수 특성, 청자의 위치에 따라 조정되어야 함을 알았다. 함께 고려되어야 하는 심리음향의 귀의 구조에 기인한 양이효과와 구조자체에서 오는 저음대역과 고음대역의 가청대역을 이해하고 적용해야함을 알았다. 그리고 공간의 마감재와 구조로 인해서 발생하는 잔향과 에코를 미리 예상하고 룸어쿠스틱조정에 대비하는 것이 중요함을 알 수 있었다.

다국어 초록 (Multilingual Abstract)

(Background and Purpose) The spatial perception of video content is based not only on visual and auditory expression along with three-dimensional description of backgrounds and objects, but also on the sense of immersion and presence. The technological development of virtual reality (VR), augmented reality (AR), mixed reality (MR), and extended reality (XR) provides various three-dimensional descriptions and immersive experiences. Even in a limited space, users can experience vast places like nature and unique and rarely seen places taking no notice of time and space. The development of XR technology has led to an ultra-experienced, ultra-realistic XR twin-based environment where artists can perform. This study aims to determine spatially perceptible elements from the Dolby-Atmos method, which is one of the acoustic techniques, and the auditory elements based on human psychoacoustics in the three-dimensional collaboration works of images and sound of Cube Room shown in the “TIME SIMULATION” exhibition. (Method) The purpose of this study is to check sound methods that can perceive a space expressed by 3D sound, 3D-Audio, and spatial sound, focusing on the 3D sound of Dolby-Atmos. In order to minimize distortion of the screen projected on three sides, five basic channels were installed close to the ceiling, and subsequently, the three-dimensional sound field effect expressing the space was deformed, reducing the spatial element. It attempts to determine what methods were used to increase the spatial sense of 3D sound by applying the spatially perceptible elements, and the type of elements. (Results) A speaker position was determined based on Dolby-Atmos data, and room acoustics were adjusted by applying auditory factors based on spatial perception. For room acoustics, the parametric EQ of the audio interface installed together was adjusted, and the resonance of the space was adjusted and optimized by adjusting the distance perception and size perception of the space. (Conclusions) The spatially perceptible elements of hearing can utilize a physical speaker system. However, it was found that the perceived difference should be adjusted according to the individualized level, the frequency characteristics of the sound, and the position of a listener. It was found that binaural hearing owing to the structure of ears, and an audible band in the low frequency range and high frequency range coming from the structure itself should be understood and applied in psychoacoustics, which should be considered together. It was also found that it is important to predict the reverberation and echo generated by the finishing materials and structure of the space in advance for room acoustic adjustment.

참고문헌 (Reference)

1 임정빈, "입체영상과 3차원음향의 상호 상승효과에 의한 가상현실기반 시뮬레이터 현실감 증대방법" 한국항해항만학회 27 (27): 145-153, 2003

2 구교식, "인간의 청각 특성을 이용한 입체음향의 방향감 개선" 한국음향학회 30 (30): 255-264, 2011

3 강동수, "소리의 공간 제어를 위한 구형 다채널 스피커 어레이 설계" 한국음향학회 31 (31): 214-224, 2012

4 케이스, 앰버, "사운드디자인" 에이콘 2019

5 최정우, "머리 전달 함수장 재현을 통한 광대역 입체 음향 구현" 한국소음진동공학회 18 (18): 199-207, 2008

6 박태욱, "공간 조형요소별 지각자의 인지 반응에 관한 연구" 한국기초조형학회 17 (17): 245-256, 2016

7 박, 경수, "감성공학 및 감각생리" 영지문화사 2006

8 골드스테인, 브루스, "감각과 지각" 시스마 프레스 2007

9 Lee, Shinryul, "Optimized Multi-channel Panning Algorithm Using Directional Psychoacoustic Criteria and Head Related Transfer Function" Seoul National University Graduate School 2005

10 Choi, Inyoung, "Objective Quality Assessment in Multichannel Audio based on Spatial Perception Cues" Seoul National University Graduate School 2008

11 Howard, D., "Acoustic and Psychoacoustics" Focal Press 2006

12 Jeon, Sewoon, "Acoustic Depth Rendering Algorithm for Stereophonic 3D Audio System" Yonsei University Graduate School 2015

13 Kim, Jinyoung, "A Study on Realizing Spatial Audio Sound System Using Spatial Audio Plug-in" Sangmyung University Graduate School 2019

14 Lee, Shinryul, "A Study on 3-channel Dummy Head Design for Binaural Recording and Synthesis" Seoul National University Graduate School 2002

15 Paterson, J., "3D Audio" A Focal Press Book 2021