공연예술의 실감 기술 활용 현황과 전망 : 2020년 이후 국내 온라인 실감 공연 사례를 중심으로

다국어 초록 (Multilingual Abstract)

COVID-19, which occurred in December 2019, has had a huge impact on our lives and society as a whole. COVID-19, which can be transmitted into the air, has caused great damage to Korea's performing arts industry, which has a high proportion of small performance halls. As the damage of offline performances accumulated due to social distancing, the performing arts industry began to broadcast performances through online platforms. Online broadcast performances grew in number, but there was inevitably a limit to giving the audience a sense of realism and immersion. Therefore, the performing arts industry began to incorporate Metaverse virtual technology into online performances.
Metaverse is a space where you can engage in various social and cultural activities under an environment where you can create and interact with avatars in the virtual world using digital technology. Metaverse virtual technology includes VR(virtual reality), AR(augmented reality), MR(mixed reality), and XR(extended reality). Metaverse virtual technology not only gives a sense of realism and immersion to online performances, but also has the potential to embody various types of performances.
The purpose of this study is to find out the current status and prospects of online virtual performances by analyzing how much the characteristics of performing arts, such as sense of realism, immediacy, and one-off, have been reflected in online virtual performances. Examples of performances were limited to domestic plays, dances, music, and musicals using virtual technology online from 2020 to 2022. There were a total of 11 performances, including 5 plays, 2 dances, 3 music, and 1 musical. The virtual technology used in the performance were seven VR, six AR, one MR, and nine XR. In the play, there were four works that revealed sense of realism and immediacy, and five works that revealed one-off. In dance, there were two works that revealed sense of realism and immediacy, and two works that revealed one-off. In the music, there were two works that revealed sense of realism and immediacy, and three works that revealed one-off. A musical piece revealed all of its sense of realism, immediacy, and one-off.
Since the first year of 2020, experimental virtual performances using technology of VR, AR, MR, and XR have been attempted, but soon faced the problem of limited participation of the audience. Therefore, from 2021, VR HMD (Head Mounted Display) was introduced for the interaction between the audience and the actor, and performances began to be produced where the audience could freely experience the work. And from 2022, Metaverse virtual performances that interact with avatars using VR and XR technology have been produced, revealing all three characteristics of performing arts in each performance.
These Metaverse virtual performances properly took advantage of the characteristics of performing arts that were lacking in online performances, and are expected to eventually become one of the performing arts, not video arts. Virtual technology can help produce quality-enhanced performances by preventing problems on stage in advance and saving time and money through simulation with digital twins in the pre-production stage. Furthermore, the waste consumed in stage production can be reduced using virtual technology, and performances can be enjoyed at home without visiting the concert hall, so carbon footprint levels can also be reduced to contribute to climate issues.
If art and technology are not converged in the rapidly changing era, the future of the performing arts industry will be dark due to the departure of audiences, a decrease in income, and a lack of diversity in performances. However, if the support and investment of the performing arts industry and the government for virtual technology continues, it can be the best medium to reach not only domestic audiences but also audiences around the world. It is hoped that this study, which examines the current status of online virtual performances in Korea and the characteristics of performing arts, will help produce online and offline performances using virtual technology in the future and help develop domestic performing arts.

국문 초록 (Abstract)

2019년 12월에 발생한 코로나19는 전 세계에 큰 충격을 주며 우리의 삶과 사회 전반에 막대한 영향을 미쳤다. 공기 중으로 전파가 가능한 코로나 19는 특히 소공연장의 비율이 높은 우리나라 공연예술업계에 큰 피해를 입혔다. 사회적 거리 두기로 인해 오프라인 공연의 피해가 누적되자 공연예술업계는 온라인 플랫폼을 통해 공연을 중계하기 시작했다. 온라인 중계 공연은 급속도로 확산됐지만, 관객들에게 현장감과 몰입감을 주는 데는 한계가 있을 수밖에 없었다. 그래서 공연예술업계는 온라인 공연에 메타버스의 실감 기술을 접목하기 시작했다.
메타버스는 디지털 기술을 활용해 가상세계에서 아바타를 만들어 상호작용하는 환경 아래 다양한 사회・문화적 활동을 할 수 있는 공간이다. 메타버스의 디지털 기술에는 가상현실, 증강현실, 혼합현실, 확장현실이 있으며 이를 실감 기술이라고 한다. 메타버스의 실감 기술은 온라인 공연에 현장감과 몰입감을 부여할 뿐만 아니라, 다양한 형태의 공연을 구현할 수 있는 가능성을 지니고 있다.
본 연구의 목적은 실감 기술을 활용한 온라인 공연의 사례를 통해 공연예술의 특성인 현장성, 즉각성, 일회성이 온라인 실감 공연에 얼마나 반영이 됐는지를 분석해 실감 공연의 현황과 전망을 알아보려 한다. 공연의 사례는 2020년부터 2022년까지 온라인에서 실감 기술을 활용한 국내의 연극, 무용, 음악, 뮤지컬로 한정했다. 공연 작품은 총 11개로 연극 5개, 무용 2개, 음악 3개, 뮤지컬 1개였다. 공연에서 활용한 실감 기술은 가상현실 7개, 증강현실 6개, 혼합현실 1개, 확장현실 9개였다. 연극에서 현장성과 즉각성이 드러난 것은 네 작품, 일회성이 드러난 것은 다섯 작품이었다. 무용에서 현장성과 즉각성이 드러난 것은 두 작품, 일회성이 드러난 것은 두 작품이었다. 음악에서 현장성과 즉각성이 드러난 것은 두 작품, 일회성이 드러난 것은 세 작품이었다. 뮤지컬 한 작품은 현장성, 즉각성, 일회성을 전부 드러냈다.
2020년 첫 해부터 가상현실, 증강현실, 혼합현실, 확장현실의 기술이 사용된 실험적인 실감 공연이 시도됐지만, 곧 관객의 한정적인 참여라는 문제에 부딪혔다. 그래서 2021년부터는 관객과 행위자의 상호작용을 위한 VR HMD(Head Mounted Display)가 도입돼 관객이 자유롭게 작품을 체험할 수 있는 공연이 제작되기 시작했다. 그리고 2022년부터는 가상현실과 확장현실 기술을 사용해 아바타로 상호작용하는 메타버스 실감 공연이 제작돼 공연마다 공연예술의 특성 3가지가 전부 드러나게 됐다.
이러한 메타버스 실감 공연은 온라인 공연에서 부족했던 공연예술의 특성을 제대로 살렸고, 결국 영상예술이 아닌 공연예술의 하나로 자리 잡게 될 것이라고 전망된다. 실감 기술은 프리 프로덕션 단계에서 디지털 트윈과 시뮬레이션을 통해 무대 위의 문제를 사전에 차단하고 시간과 비용을 절약해 질적으로 향상된 공연을 제작하는데 도움을 줄 수 있다. 더 나아가 무대 제작에서 소비되는 폐기물도 실감 기술을 활용해 줄일 수 있고, 공연장을 찾아가지 않고 집에서 공연을 즐길 수 있기 때문에 탄소 발자국 수치도 감소시켜 기후 문제에도 이바지 할 수 있을 것이다.
빠르게 변화하는 시대의 흐름 속에서 예술과 기술의 융복합이 이뤄지지 않는다면 관객의 이탈, 수입의 감소, 공연의 다양성 부족 등으로 인해 공연예술업계의 미래는 어두울 것이다. 하지만 실감 기술에 대해 공연예술업계와 정부의 지원과 투자가 꾸준히 이어진다면 실감 기술은 국내의 관객뿐만, 아니라 전 세계의 관객에게 다가가는 최적의 매개체가 될 수 있을 것이다. 국내 온라인 실감 공연의 현황과 공연예술의 특성을 살펴본 본 연구가 향후 실감 기술을 활용하는 온오프라인 공연 제작에 일조하고, 국내 공연예술 발전에 도움이 될 수 있기를 바란다.

목차 (Table of Contents)

• I. 서론 ·1
• 1. 연구의 배경 및 목적 ·1
• 2. 연구의 방법 및 범위 ·3
• II. 공연예술계의 변화 ·4
• 1. 공연예술계의 온라인 플랫폼 진출 ·4
• 1) 국내 공연 중계 사례 ·10
• 2) 공연 중계의 한계 ·21
• 2. 공연예술의 메타버스로의 확장 ·23
• 1) 메타버스의 실감 기술 ·28
• 3. 분석 도구 ·31
• III. 2020년 이후 국내 온라인 실감 공연 사례 ·33
• 1. 2020년 온라인 실감 공연 사례 ·33
• 1) <허수아비 VRC (Scarecrow VRC)> ·33
• 2) <비욘드 더 슈퍼 쇼> ·35
• 3) <MAP OF THE SOUL ON:E> ·36
• 4) <LINK(緣 두 번째 이야기)> ·38
• 2. 2021년 온라인 실감 공연 사례 ·39
• 1) <숨 쉬는 별> ·39
• 2) <루시드 드림 II> ·40
• 3) <비비런> ·42
• 4) <길 위에서 잠시> ·44
• 3. 2022년 온라인 실감 공연 사례 ·45
• 1) <리미널 플레이그라운드> ·45
• 2) <고스트 인 더 씨어터 : Beyond Game> ·46
• 3) <몽유도원도> ·48
• IV. 2020년 이후 국내 온라인 실감 공연 분석 ·50
• 1. 2020년 이후 국내 온라인 실감 공연 분석 결과 ·50
• 1) 실감 공연의 공연예술 유형 ·50
• 2) 실감 공연의 실감 기술 종류 ·51
• 3) 실감 공연의 공연예술 특성 ·51
• 2. 종합분석 결과: 국내 온라인 실감 공연의 현황과 전망 ·53
• V. 결론 ·55
• 참고문헌 ·57
• Abstract ·66