확장된 증강현실예술 분석을 통한 확장현실의 상호작용성 연구

김희영(Kim Hee-young) 한국만화애니메이션학회 2021 만화애니메이션연구 Vol.- No.64

본 연구는 증강현실을 활용한 예술 작품 분석을 통해 확장현실에서 실재공간과 가상공간의 상호작용성에 관한 연구의 폭을 넓히고, 확장현실의 몰입을 통한 상호작용성의 방향을 고찰하며, 확장현실의 상호작용성을 활용하여 기술, 예술, 문화와 사회의 융합 연구의 토대를 만드는 것을 목적으로 한다. 확장현실의 상호작용성이 중요한 이유는 현재의 기술에서 가상과 현실의 기술적인 틈새를 자연스럽게 메워주고, 가상과 현실의 매끄러운 연결의 핵심 요소이다. 연구 방법은 증강현실예술의 작품을 분석하고, 소통성, 우연성, 몰입성, 유희성을 중심으로 분석한다. 그리고 실재 공간에 출연한 증강현실예술, 재구성된 증강현실에 몰입을 유도하는 증강현실예술, 사회적 몰입과 소통을 위한 증강현실예술의 상호작용성을 분석한다. 세 가지 분석 결과를 중심으로 확장현실의 상호작용성과 활용을 밝힌 결과는 다음과 같다. 실재 공간에 기반을 둔 확장현실의 상호작용성은 실재 공간의 실재감을 가상공간이나 이미지의 연속성이다. 관광지가 오브제, 이미지, 코드 인식, GPS 인식과 특정한 장소인식을 통해 증강현실이 되고, 그 증강된 이미지와 연결된 가상의 실내 공간이나 실외 공간 이미지의 연속성을 살리는 방법으로 활용할 수 있다. 관광, 문화, 교육 분야에서 사용자들이 자신이 있는 공간에서 세계 어느 나라의 관광지와 전시 장소를 가지 않아도 간 것처럼 감상하고 경험할 수 있다. 재구성된 가상공간에서 체험하는 확장현실의 상호작용성은 실재감을 기반으로 한 가상체험이다. 가상 체험 활동, 가상의 생태계 관찰, 시뮬레이션을 통해 실재 공간에서 가상의 체험과 경험을 확장하는 방법으로 활용할 수 있다. 교육, 훈련 분야에서 사용자들이 훈련, 체험 학습을 통해 간접경험의 기회를 늘리고, 필요한 정보를 받으며, 숙련도에 따라 정보의 속도를 조절하고 시뮬레이션 할 수 있다. 사회 속에서 기반을 둔 확장현실의 상호작용성은 실재감을 기반으로 한 가상공간 경험의 연결이다. 즉, 물리적인 오브제와 확장현실의 연결, 라이프로 그, 실감 미디어로 연결하는 방법을 활용할 수 있다. 의료, 물류 분야에서 사용자들이 언제 어디서나 전문가를 연결하여 문제를 해결할 수 있다. 결론적으로 확장현실의 상호작용성은 현실과 가상의 연속성을 통해 가상세계를 경험하고, 가상공간을 현실과 현장감 있게 동시에 연결한다. This study focused on expanding the scope of research on the interaction between real and virtual space through the analysis of art works using augmented reality, considering the direction of interaction through immersion of extended reality, and creating a foundation for convergence research of technology, art, culture and society. The interaction of extended reality is crucial because it naturally fills the technical gap between virtualization and reality in current technology, and it is a key factor in their smooth connection. This research method analyzes the works of augmented reality art focusing on communication, contingency, immersion, and playfulness. It also analyzes the interaction among augmented reality art in real space, augmented reality art that induces immersion in reconstructed augmented reality, and augmented reality art for social immersion and communication. The results that reveal the interaction and utilization of extended reality based on the three analyses are as follows: The interaction of extended reality based on real space is the continuity of virtual space or image to sense the reality of real space. A touristic area becomes an augmented reality medium through object, image, code recognition, GPS, and specific place recognition, which can be used as an approach to preserve the continuity of virtual indoor or outdoor space images connected to augmented images. In the fields of tourism, culture, and education, users can enjoy and experience the space as if they were present without physically attending touristic locations and exhibitions. The interaction of extended reality in a reconstructed virtual space is a virtual experience based on a sense of reality. Through virtual experience activities, virtual ecosystem observation, and simulation, augmented reality can be used as a way to expand virtual experience and real experience in real space. In the field of education and training, users can gain more indirect experience through training and experiential learning, receive necessary information, and adjust the speed of information according to their skill level and simulate. The interaction of extended reality based in society is a connection to virtual space experiences based on a sense of reality. In other words, the connection between physical objects and extended reality, lifelogs, and immersive media can be used commonly. In the medical and logistics fields, users can connect with experts anytime and anywhere to solve problems. In conclusion, the interactivity of extended reality enables experiencing the virtual world through the continuity of reality and virtual reality, which simultaneously connects the virtual space with reality with a genuine sense of presence.

확장현실 미디어의 시각화와 콘텐츠 프로덕션 -디지털 기술과 확장적 비주얼 스토리텔링을 중심으로

김관수 ( Kim Kwan-soo ) 커뮤니케이션디자인학회 2022 커뮤니케이션 디자인학연구 Vol.81 No.-

본 연구는 가상현실 콘텐츠가 디지털 미디어 기술과 융합하여 확장현실 콘텐츠로 진화하는 프로덕션을 고찰한다. 초기 가상현실에서 진화된 확장현실 프로덕션에서 다양한 디지털 기술을 응용하여 시각화 프로세스와 디자인 워크플로우를 재구성하고 새로운 아이디어와 비주얼 스토리텔링을 가능하게 하는 창조적 영향을 제작 사례를 통하여 분석한다. 가상현실은 사각의 프레임 안에서만 구성되던 비주얼 스토리텔링을 360도 모든 방향에서 전개되도록 했으며 사용자가 스토리가 진행되는 공간을 둘러보고 상호작용을 할 수 있는 능동형 미디어의 가능성을 열었으며 확장현실 콘텐츠의 토대가 되었다. 확장현실 프로덕션에서 포토그래메트리와 볼류메트릭 스캐닝, 퍼포먼스 캡처와 모션 트래커 등의 디지털 기술은 가상 공간에 더욱 사실적인 캐릭터와 환경을 구축할 수 있도록 하며, 실시간 게임엔진에 구축된 가상 세계와 현실을 융합하는 비주얼 스토리텔링은 확장현실에서 사용자 체험을 다양화한다. 디지털 미디어 기술이 확장현실 프로덕션에 적용된 시각화 프로세스와 융합적 프로덕션 워크플로우는 다양하고 창조적인 비주얼 스토리텔링의 가능성을 보여주었고 앞으로 전개될 콘텐츠 제작의 기반이 될 수 있다. 확장현실 미디어는 새로운 기술의 발전을 거듭하고 있으며 향후 이러한 진보가 미디어 프로덕션에 응용되어 콘텐츠 제작의 지평이 확장되기를 기대한다. This study concerns the synthesis of virtual reality (VR) contents with digital media technology in their evolution into extended reality (XR) contents. Applying various digital media technology to extended reality content production, which have developed from virtual reality in its earlier stages, positively reconstructs visualization and design work flow, and allows for novel ideas and visual storytelling. Such effects will be examined through analyzing cases of content production. Virtual reality frees visual storytelling from being constrained to a rectangular frame, allowing the story to be told from all angles and enabling users to roam around and interact with the space in which the story takes place, thus allowing active engagement with the media itself and forming the basis of extended reality contents. In extended reality production, digital technology such as photogrammetry, volumetric scanning, performance capture, and motion tracker allow for more realistic characters and environment in virtual reality, and visual storytelling, which converges reality with virtual reality built in real-time inside game engines, brings more versatility to user experience. With digital technology applied to extended reality content production, the visualization process and integrative production work flow together open up the possibility for versatile and creative visual storytelling and show promise as the foundation of future content production. Extended reality media is undergoing technological innovation, which upon its application to media production, can be expected to expand the horizon for future content production.

돈 아이디의 '신체화' 개념을 통한 확장현실 공간의 ‘META-신체화’ 특성 연구

강남,윤성호 한국공간디자인학회 2023 한국공간디자인학회논문집 Vol.18 No.8

(Background and Purpose) Our lives are increasingly rooted in the digital world, and the boundaries between real and virtual worlds, between technology and nature, are becoming increasingly blurred. With the development of virtual reality technology, extended reality technology is also attracting new attention as a key technology that constitutes the metaverse, given that the metaverse is recognized as a next-generation repetition of the Internet and is a place where the physical world and the digital world converge. Don Ihde's Post-phenomenological theory can be an important perspective for understanding the spatial perception process of real technology because it analyzes the structural relationship between human-technology-world through phenomenological analysis that focuses on human perception experience. The purpose of this study is to present changes in body concepts in extended reality spaces through research on the concept of "Embodiment" of Don Ihde, and to explore the spatial characteristics and expressions of META Embodiment in Post-phenomenology concepts. (Method) First of all, this study summarized the definition of the body represented by the 'Embodiment' of Don Ihde through literature analysis on the concept of 'Embodiment' of Don Ihde. Subsequently, the body concept was redefined in the concept of Embodiment in the extended reality environment through post-phenomenological Embodiment that analyzes and mediates the characteristics of extended reality. Later, we analyzed the technology types of extended reality and presented a related framework for the body and space of extended reality space, combined with redefining body concepts in META Embodiment of extended reality. By deriving the META Embodiment characteristics and spatial expressions of the extended reality space, the META Embodiment characteristics were organized into an analysis frame of the extended reality space and analyzed and evaluated the extended reality space by type that has appeared over the past five years. (Results) It expanded the concept of Embodiment in an extended reality space and presented a new perspective of META Embodiment, consisting of three new body concept, a "technical mediated body", "coding body" and "technical-intentionality body." By combining the types of extended reality spaces, we derived the META Embodiment characteristics and spatial expressions of 'Multi-sensory Immersion', 'Interface Interactivity', and 'Experience Hyperreality ', and built an interaction model between the body and extended reality space. Finally, the META Embodiment characteristics and spatial expression of the extended reality space were verified through case analysis. (Conclusions) Extended reality technology creates the possibilities of recognizing and experiencing space, and the new concept of physical and spatial relationships becomes a new philosophical problem for humans to observe the world.Therefore, this study is expected to provide value that can be used in various media space designs by discovering the Embodiment characteristics implemented in extended reality technology and presenting interpretation and thinking from the perspective of space design. (연구 배경 및 목적) 우리의 삶은 디지털 세계에 점점 더 뿌리를 내리고 있으며, 현실과 가상 세계의 경계, 기술과 자연의 경계는 점점 더 모호해지고 있다. 디지털 기술은 새로운 현실을 창조하는 데 매개체 역할을 하고, 다양한 가능성의 공간 유형을 우리의 현실 세계에 투사했다. 가상현실 기술의 발달로 메타버스가 인터넷의 차세대 반복으로 인식되고 물리적 세계와 디지털 세계가 융합되는 곳이라는 점에서 메타버스를 구성하는 핵심 기술로 확장현실 기술도 새롭게 주목받고 있다. 돈 아이디의 포스트 현상학 이론은 인간의 지각 경험에 중점을 둔 현상학적 분석을 통해 인간-기술-세계 간의 구조적 관계를 분석하기 때문에 현실 기술의 공간지각 과정을 이해하는 데 중요한 시각이 될 수 있다. 본 연구의 목적은 돈 아이디의 ‘신체화’ 개념 연구를 통해 확장현실 공간에서 신체개념의 변화를 제시하고, 포스트 현상학 개념에서 META-신체화의 공간적 특성과 표현을 탐색하는 것이다. (연구 방법) 본 연구는 우선 돈 아이디의 '신체화' 개념에 대한 문헌 분석을 통해 돈 아이디의 '신체화'가 나타내는 몸에 관한 정의를 정리하였다. 이어 확장현실의 특성을 분석하여 매개하는 포스트 현상학 신체화를 통해 확장현실 환경의 신체화 개념에서 몸 개념을 재정의하였다. 이후 확장현실의 기술 유형을 분석하고 확장현실의 META-신체화에서 신체개념을 재정의하는 것과 결합하여 확장현실 공간의 신체와 공간에 대한 관련 프레임워크를 제시했다. 확장현실 공간의 META-신체화 특성과 공간 표현을 도출함으로써 META-신체화 특성을 확장현실 공간의 분석틀로 정리하여 최근 5년간 나타난 유형별 확장현실 공간을 분석 평가했다. (결과) 확장현실 공간에서 신체화의 개념을 확장하고 새로운 신체개념, '기술매개적 신체', '코드화적 신체', '기술지향적 신체'의 세 가지 신체로 구성된 META-신체화의 새로운 관점을 제시했다. 확장현실 공간의 유형을 결합하여 '다감각적 몰입성', '인터페이스의 상호작용성', '경험의 초현실성'의 META-신체화 특성과 공간 표현을 도출하고, 신체와 확장현실 공간의 상호작용 모델을 구축했다. 마지막으로 확장현실 공간의 META-신체화 특성과 공간 표현을 사례분석을 통해 검증했다. (결론) 확장현실 기술은 공간을 인식하고 체험할 수 있는 다양한 가능성을 만들어냈고, 인간이 이 혼합공간에서 어떻게 공간을 감지하고, 인식하며, 세계를 관찰하느냐는 새로운 철학적 문제가 되면서 새로운 신체와 공간의 관계 개념이 탄생했다. 따라서 본 연구는 확장현실 기술에서 구현되는 신체화 특성을 발견하고 공간디자인 관점에서 확장현실 공간디자인의 포스트 현상학 관점에서 해석과 사고를 제시함으로써 향후 미디어 공간의 디자인 가치 청사진이 되어 다양한 미디어 공간디자인에 활용될 수 있는 가치를 제공할 것으로 기대될 것이다.

XR 기술 활용 산업-효용성 분류체계 개발 및 응용 사례 분석

윤승모,반승현,임춘성 서비스사이언스학회 2022 서비스연구 Vol.12 No.4

4차 산업혁명으로 인한 기술 발전과, COVID-19으로 인한 디지털 공간의 수요가 증가함에 따라 기업은 가상공간을 활용한 솔루션을 도입하여 정부의 규제를 극복하고자 한다. 가상현실, 증강현실 및 혼합현실을 아울러 표현하는 확장현실에 대한 시장이 지속적으로 확장되고 있는 상황에서 확장현실에 대한 명확한 정의 및 분류체계에 대한 선행연구가 미흡한 실정이다. 본 연구는 확장현실에 대한 국내·외 선행연구를 바탕으로 확장현실의 기술, 산업 및 효용성 분류체계를 구성하고, 사례 분석을 위한 확장현실 산업-효용성 매트릭스 분류체계를 구성하였다. 본 연구에서 제시한 확장현실 산업-효용성 매트릭스 분류체계를 통해 국내·외 확장현실 응용 서비스 사례를 적용하여 해당 분류체계를 검증하고 확장현실 응용 서비스의 동향 분석을 실시하였다. 분석 결과, 엔터테인먼트 산업의 확장현실 응용 서비스 사례가 가장 많은 것으로 나타났으며, 상호작용을 통한 새로운 경험 전달인 확장현실 효용성이 가장 높게 나타났다. 본 연구에서 제시하는 매트릭스 분류체계를 활용하여 확장현실의 전반적인 동향 분석 및 신산업 및 신서비스 탐색을 위한 지표로 활용될 수 있을 것이다

인공지능 예술의 분석을 통한 확장현실에서 사용자의 상호작용 최적화 연구

김희영 한국만화애니메이션학회 2023 만화애니메이션연구 Vol.- No.72

본 논문은 인공지능을 사용하여 제작된 작품을 분석하여 최적화하는 방법을 제시하고, 인공지능 최적화 방법을 확장현실과 사용자와의 상호작용에 적용할 수 있는 방법들에 대해 연구한다. 인공지능의 최적화 방법을 확장현실에적용하면 사용자는 보다 편리하게 확장현실 콘텐츠를 생산 및 제작하고, 확장현실 상에서 개인 및 그룹간의 다면적 상호작용을 통해 발전할 수 있다. 연구방법으로 II장에서는 확장현실의 최적화와 관련되어 언급할 만한 대표적인 인공지능 예술작품을 중심으로 분석하고, III장에서는 인공지능 예술과 확장현실의 최적화를 세 가지의 방법으로 고찰한다. 첫째, 작가와 인공지능 프로그램 간의 최적화를 분석하고, 사용자와 인공지능 프로그램의 상호작용 최적화를 연구한다. 둘째, 인공지능 예술에서 이미지와 GAN의 최적화를 분석하여이 신경망을 활용하여 사용자가 생성할 수 있는 이미지의 최적화를 연구한다. 셋째, 인공지능 예술에서 뉴럴 글리치 조작 기술의 최적화와 작가 맞춤형 알고리즘를 분석하여 사용자와 조작 기술의 최적화를 연구하고자 한다. 인공지능 예술을 분석한 결과를 바탕으로 확장현실에 대한 최적화 방안을 세 가지로고찰하면 다음과 같다. 첫째, 작가와 인공지능 프로그램 사이의 최적화는 사용자와 확장현실 관련 프로그램의 긴밀한 상호작용으로 최적화를 만든다. 둘째, 이미지와 가상공간의 최적화는 이미지와 GAN을 사용하여 초상화 작품을생성한다. 작가의 작품 선정 방식과 유사하게 확장현실에서는 사용자가 필요한 이미지와 정보를 생성하고 사용자의 선택을 통해 최적화된다. 셋째, 뉴럴글리치와 작가의 맞춤형 알고리즘과 같은 조작 기술과 만들어진 현실의 최적화는 GAN과 같은 프로그램도 사용자의 필요에 따라 조작하거나 변형시킬 수있는 사용자 상호작용으로 최적화를 이룬다. 연구의의는 개발자 중심에서 사용자 중심으로 인식의 변화를 제고하고, 확장현실 기술과 예술 문화 융합 연구의 기반을 다지는 데 이바지하고자 한다. This study investigates the optimization method of artificial intelligence art works that makes users feel artistic, the method by which artificial intelligence works have artistic value is applied to the optimization of user interaction with Extended Reality. We will improve the convenience of use by reflecting the user’s various Extended Reality experiences in the development of interactive Extended Reality. As a research method, Chapter 2 analyzes the representative artificial intelligence art works worth mentioning in relation to the optimization of Extended Reality, and Chapter 3 considers the optimization of artificial intelligence art and Extended Reality in three ways. First, the optimization between the user and the artificial intelligence program is analyzed, and the interaction optimization between the user and the artificial intelligence program is studied. Second, by analyzing the optimization of images and GANs in artificial intelligence art, we study the optimization of images that can be generated by users using this neural network. Thirdly, in artificial intelligence art, we will study the optimization of Neural Glitch manipulation technology and the optimization of user and manipulation technology by analyzing the algorithm customized to the artist. Based on the results of analyzing artificial intelligence art, three optimization methods for augmented reality are considered as follows. First, the optimization between the artist and the artificial intelligence program is made through close interaction between the user and the program related to Extended Reality. Second, optimization of image and virtual space uses image and GAN to generate portrait work. Similar to the way artists select works, in Extended Reality, the user creates the necessary images and information and optimizes them through the user’s selection. Third, manipulation techniques such as neural glitches and author’s custom algorithms and optimization of the created reality are optimized with user interaction that can manipulate or transform programs such as GANs according to the user’s needs. The significance of the study is to contribute to improving the change in awareness from developercentered to user-centered, and to solidify the foundation for research on the convergence of Extended Reality technology and art and culture.

확장현실(XR)로 읽는 인간의 존재가치: 영화 <레디 플레이어 원>을 중심으로

정미숙(Jeong Mi-Suk) 한국영화학회 2021 영화연구 Vol.- No.89

이 논문은 영화 <레디 플레이어 원>의 리터러시를 통해 현실과 가상의 경계가 모호한 미래사회에서 필요한 인간의 존재가치를 탐구한다. 이 작품은 디지털 기술이 이룬 연결성과 확장성을 기반으로 현실과 가상의 경계를 허물고 상상하는 모든 것이 가능한 가상현실 ‘오아시스’에서 펼쳐지는 모험과 액션으로 전개된다. 영화 속 가상현실 ‘오아시스’는 인간의 감각적 경험을 확장하며 현실과 같은 실재감과 몰입감을 높인다. 주인공의 모험은 현실도피로부터 시작되었지만 과정 속에서 소통과 연대의 소중함을 드러낸다. 또한 영화 속 가상현실은 근대의 기계론적 관계를 극복하고 놀이적 관계를 지향한다. 영화 속 가상공간인 ‘오아시스’는 상상하고 원하는 모든 것을 구현할 수 있고 어떠한 구속도 없이 자유롭게 접속할 수 있다. 오아시스는 현실 공간 속 추억과 기억이 있고, 아픔과 상실과 후회에 대한 공감과 깨달음이 있는 감성 공간이다. 그곳은 상상으로 공간을 채우고 놀이에 몰입하며 자신을 발견할 수 있다. 영화 속 주인공과 그의 친구들은 물질적 욕망이 아니라 순수한 경쟁과 성취감을 즐길 수 있는 놀이 그 자체를 지향한다. 그들은 서로 다름을 긍정하고 연대함으로써 놀이(게임)를 승리로 이끈다. 이 영화는 가상세계와 주인공의 모험을 통해서 근대사회의 기계적 관계가 아니라 유희할 수 있는 놀이적 관계가 진정한 인간의 가치를 발견할 수 있다는 메시지를 전해준다. 또한 확장현실 속 공간은 개별 인간으로써 다름을 자연스럽게 받아들이고 연대할 수 있는 사람들이 승리할 수 있는 리좀적 관계를 지향한다. 영화 <레디 플레이어 원>은 현실과 같은 실재감으로 즐기는 모험 과정을 통해서 아픔과 상처를 치유할 수 있는 소통과 연대, 놀이적 관계와 리좀적 관계로 열려있는 휴머니즘을 표현하고 있다. 이 영화는 최근 관심이 높은 확장 현실을 소재로 과학기술발전으로 가능한 부정적이고 디스토피아적인 현실 분위기 속에서 인간의 존재가 치는 근대 기계론적, 이분법적 관계가 아니라 놀이적 관계와 리좀적 관계에 있다는 것을 표현하고 있다. 이런 측면에서 영화는 인공지능 시대에 문제는 과학 기술의 문제가 아니라 과학 기술을 만들고 사용하는 인간적 소통과 가치가 문제라는 메시지를 전달한다. 본 논문은 영화 리터러시를 위해 놀이적 관계와 리좀적 관계에 대한 읽기는 근대적 놀이에 대한 개념과 들뢰즈의 리좀 이론을 차용할 것이다. This paper explores the value of human existence in a future world where the boundary between reality and virtuality is unclear through the literacy of <Ready Player One>, which is a movie that deals with the vision of forseeable future. This work unfolds with adventures and actions in ‘Oasis’ which is a virtual world where everything imagined becomes possible while the boundary of reality and virtuality is broken through connectivity and extendability achieved by digital technologies. The ‘Oasis’, the virtual reality in the movie extends human sensual experiences and increase the feeling of presence and immersion just as if in reality. The protagonists’ adventure started from escape from reality, but in the process, the preciousness of communication and solidarity is revealed. Also, the virtual reality in the movie overcomes mechanical relationships and aims at play-based relationship. The ‘Oasis’ enables one’s imagination and wishes to be realized and one can freely access to them without restriction. The Oasis is a sensual space where there are recollections and memories in reality and empathy and realization of pain and regret. This place is filled with imagination and one can concentrate on play to find himself. The protagonist and his friends in the movie aim at play itself where they can enjoy pure competition and sense of achievement rather than physical desires. They have positives views on their differences and join hands to win the play (game). This movie gives a message that play-based relationship rather than the mechanical relationship of the modern era can enable us to find genuine human values based on the virtual reality and the protagonist’s adventures. Also, the space in the extended reality, rhizomatic relationships are aimed as those who can naturally take differences and join force can win as different individuals. The movie, <Ready Player One> expresses humanism that is open with communication, solidarity, play-based relationships and rhizomatic relationships so that one can heal pain and wounds through adventurous processes that you can enjoy with the sense of reality. This movie expresses that in the extended reality which is a currently high interest and in the negative and distopian reality coming from the development science and technology, the value of human existence lies in play-based relationship and rhizomatic relationship rather than modern mechanical or bipolar relationship. In this regard, the movie delivers a message that in the AI era, the problem is not science and technology but human communication and value that make and use science and technology. This paper will use the concepts on modern era and Rhizome theory of Deleuze to read play-based relationship and rhisomatic relationship for movie literacy.

메타버스 확장 현실을 위한 오가닉 유저 인터페이스 특성 활용 연구

이진석,김후성,김승인 한국디자인문화학회 2024 한국디자인문화학회지 Vol.30 No.1

메타버스는 가상세계에 진입하거나 현실에 가상 데이터를 결합하는 방식으로 초월적 현실을 경험할 수있는 기술이다. 스마트 기기의 대중적 보급과 더불어COVID-19 범유행의 영향으로 인한 비대면 사회로의진입은 메타버스의 발전을 가속하였다. 메타버스 기술은 현실과 유사한 가상 환경 기술인 가상현실과 현실에 가상 데이터를 합성하는 증강현실 기술을 기초로개념이 확장되기 시작하였다. 이후 가상현실과 증강현실이 혼합되어 현실의 활동이 가상 환경에 반영되는 혼합현실 기술이 등장하였으며 더욱 유기적인 상호작용 체계를 목표로 확장 현실 기술로 발전되고 있다. 메타버스의 조작 체계는 사용자 인터페이스의 진화와 밀접한 관련이 있는 것으로 분석되었는데, 텍스트기반 제어 방식의 키보드와 포인트 앤 클릭의 마우스제어를 넘어 사용자의 움직임이나 신체 정보를 통한조작으로 발전하고 있다. 인터페이스 체계는 향상된상호작용성을 갖춘 유기적 작동 방식으로 발전되고있으며, 이러한 점에서 메타버스 혼합현실 기술과의연관성을 발견하여 본 연구를 진행하였다. 연구의 진행으로 확장된 인터페이스 체계 중 형태나 모양의 변형에 따라 입력과 제어를 할 수 있는 비선형 인터페이스 체계인 오가닉 인터페이스를 분석하여 다음과 같은 특성을 도출하였다. 형태와 크기의 자유로운 변환의 변화성(Convertibility), 상황과 환경에맞는 변형의 변형성(Deform-ability), 유기적인 연결및 확장의 연결성(Connectivity), 환경에 따른 유연한변화의 유동성(Flexibility), 감각의 자극 및 현실감 경험의 몰입성(Immersion), 그리고 익숙하고 친근한 상징활용의 특성인 상징성(Symbolism)으로 분류하였다. 설문을 위한 사례를 각각 가상현실, 증강현실, 그리고 혼합현실 기술의 대표적인 콘텐츠나 제품으로 선택하였으며, 오가닉 유저 인터페이스가 주된 사용 체계를 지닌 사례가 아닌 현시점 혼합현실의 기반 기술을 사용자 측면에서 처리방식을 가장 이해하기 쉬운사례로 선정하였다. 메타버스 기술은 추후 높은 활용도를 기반으로 넓은 확장성을 갖출 것으로 예측되지만, 아직 높은 보급률과 활용성을 갖추지 않아 혼합현실 기술은 개념 형성 단계로 분류할 수 있기에, 본 연구에서는 가장 대표적인 사례를 통한 사용자 경험상의 보완점 파악을 중심으로 연구가 진행되었다. 설문 참여자는 메타버스 기술에 대한 경험이 있으며 가상현실, 증강현실, 그리고 혼합현실 기술에 대한이해와 사용이 활발한 디자인 전공 학생과 디자인 관련업 종사자로 선정하였다. 모든 참여자가 동시에 본연구의 사례를 활용하고 평가하는 방법이 아닌 기술사용 경험에 기반하여 현시점 사용상의 개선 항목을선택하는 방식으로 설문 조사가 이루어졌다. 연구 결과를 바탕으로 다음과 같은 사용자 관점에서의 가이드라인을 도출하였다. 첫째, 가상현실과 증강현실 환경 활용 시 협응 적인 연결 관계와 자유로운 전환 체계 개선을 위한 연결성의 특성이 도입되어야 하며, 혼합현실은 다양하고 범용적인 목적으로 활용될 가능성이 큰 분야이기에 유동적이고 직관적인입력 및 제어 체계를 구성하기 위하여 변형성의 특성이 우선으로 적용되어야 한다. 둘째, 확장 현실의 사용자 경험 향상을 위하여 명칭의 명확성과 인터페이스의 논리성, 순차적 구성과 조작의 직관성을 위하여연결성의 특성을 중점적으로 고려하여야 할 것이며, 사용자의 요구를... Metaverse is a technology that enables immersive experiences in virtual worlds or by blending virtual data with reality. The COVID-19 pandemic and the widespread use of smart devices have boosted the development of the metaverse. Metaverse technology builds on virtual reality (VR) and augmented reality (AR), which create realistic or enhanced virtual environments. Mixed reality (MR) combines VR and AR to reflect real-world activities in virtual settings. Extended reality (XR) aims to create more natural and interactive systems. Metaverse’s operation system is linked to the evolution of the user interface, which is moving from text and mouse to gestures and body information. The interface system is expected to improve interactivity and organicity. This study examines the relationship between Metaverse and MR technology. The research analyzed the organic interface, a non-linear system that adapts to the shape or form, and derived these characteristics: convertibility, deformability, connectivity, fluidity, immersion, and symbolism. A user experience survey was conducted with design students and professionals to improve the organic interaction system of extended reality. The survey selected and prioritized the organic user interface characteristics for VR, AR, and MR technologies, which are subtypes of XR. This study explores the user understanding of VR, AR, and MR technologies, with a focus on XR. Despite the potential of metaverse technology, its current low usage rate and penetration led to a study centered on its limitations. The survey participants were design students and workers experienced in these technologies. The study aimed to gather diverse responses, identify areas for improvement, and provide guidelines, rather than focusing solely on expert opinions. The research derived these user-oriented guidelines: First, VR and AR environments need connectivity to enhance cooperation and transition, and MR needs deformability to provide flexible and intuitive input and control. Second, XR needs connectivity and fluidity to improve clarity, logic, intuitiveness, and responsiveness of the interface, and thus usability. Lastly, XR needs immersion based on an intuitive and sensory use structure to reduce errors and increase realism. The study aimed to improve user experience by applying organic user interface characteristics to the organic interaction system of extended reality. The study found that organic user interface can enhance user experience in metaverse extended reality as an intuitive and natural system in a complex virtual environment. The study also suggested that the system should be more accessible and ethical, and that the evaluation questions based on the characteristics can be used as an evaluation tool or a design guideline for user experience in VR, AR, and MR fields of Metaverse.

확장현실(XR) 기술을 적용한 공연예술 관한 연구

이유석(Yoo seok Lee),김태완(Tai wan Kim) 한국디자인리서치학회 2023 한국디자인리서치 Vol.8 No.2

본 연구는 확장현실 공연의 국내외 사례를 분석하고, 이를 정체성, 매력성, 신규성, 상호작용성 요소를 중심으로 심층 인터뷰로 분석하여 확장현실 공연의 미래를 전망하였다. 국내에서는 라이브콘서트, 뮤직비디오 등에서 확장현실 기술을 활용한 공연이 진행되고 있으며, 해외에서는 주로 콘서트, 패션쇼 등에서 많이 사용되고 있다는 것을 알 수 있었다. 확장현실 공연의 특징을 기준으로 심층 인터뷰 분석 결과, 확장현실 공연의 정체성은 이전에는 볼 수 없었던 새로운 시각적 체험을 제공하며, 매력성은 실제 공간에서는 불가능했던 다양한 상상력을 현실적으로 구현할 수 있다는 점에서 발견되었다. 또한, 신규성 측면에서는 확장현실 기술이 발전함에 따라 공연의 퀄리티가 점차 향상되어 가는 것으로 나타났다. 마지막으로, 상호작용성 측면에서는 관객이 공연에 직접 참여하면서 차별화된 체험을 제공하며, 이를 통해 확장현실 공연이 새로운 예술 형태로 자리 잡을 것이라는 결론을 도출하였다. 이러한 결과는 확장현실 기술의 발전과 함께 공연 산업에 방향성을 제시할 것으로 전망된다. This study analyzed domestic and foreign cases of extended reality performances and analyzed them through in-depth interviews focusing on identity, attractiveness, novelty, and interaction factors to predict the future of extended reality performances. In Korea, performances using extended reality technology are being conducted in live concerts and music videos, and it can be seen that they are mainly used in concerts and fashion shows overseas. Based on the characteristics of extended reality performances, the identity of extended reality performances provides new visual experiences that have not been seen before, and attractiveness can realistically realize various imaginations that were impossible in real space. In addition, in terms of novelty, it was found that the quality of performances gradually improved as expanded reality technology developed. Finally, in terms of interaction, the audience directly participates in the performance, providing a differentiated experience, and through this, it was concluded that extended reality performance would become a new art form. These results are expected to present a direction for the performance industry along with the development of extended reality technology.

뮤지엄에 있어서 혼합현실과 확장현실 유형에 따른 전시연출에 관한 연구

김채은 ( Kim Chae-eun ),오선애 ( Oh Sun-ae ) 대한전시디자인학회 2021 전시디자인연구 Vol.18 No.2

혼합현실과 확장현실은 의료, 교육, 전시, 제조 등 다양한 분야에서 활발하게 사용되고 있다. 갈수록 커져가는 혼합현실과 확장현실의 시장 속에서 이를 활용한 다양한 콘텐츠들이 개발되고 있다. 혼합현실과 확장현실 전용 디바이스, 플랫폼 등이 개발되었으나 증강현실, 가상현실에 비해 상용화가 덜 되어있는 실정이며 이에 대한 정의도 잘 구분되지 못하고 있다. 따라서 본 연구는 혼합현실과 확장현실의 정의가 혼용되고 있는 것을 구분하는 데 가치를 두며, 혼합현실과 확장현실 각각의 유형에 따라 전시연출에 대한 사례를 조사하고 분석하였다. Mixed reality and Extended reality are used actively in various fields such as medical care, education, exhibition, and manufacturing. In the growing market of Mixed reality and Extended reality, various contents using them are being developed. Although devices and platforms dedicated to Mixed reality and Extended reality have been developed, they are less commercialized than augmented reality and virtual reality, and definitions are not well differentiated. Therefore, this study puts value on distinguishing between mixed reality and extended reality definitions, and investigated and analyzed cases of exhibition directing according to each type of mixed reality and extended reality.

페인팅 기반의 확장현실(XR) 콘텐츠 활성화 방안 연구: 전남도립미술관 전시를 중심으로

양한빈 차세대컨버전스정보서비스학회 2023 디지털예술공학멀티미디어논문지 Vol.10 No.4

오늘날 디지털 미디어 매체와 기술의 발전은 예술 작품의 형태와 미술관의 전시 그리고 관람의 형태에도 많은 변화를 일으키고 있다. 단순히 감상을 넘어 몰입과 참여를 통해 감상의 영역을 확장하고 있다. 가상현실(VR), 증강현실(AR), 혼합현실(MR) 등을 모두 포함할 수 있는 확장현실(XR) 콘텐츠가 대표적이다. 하지만 확장현실 콘텐츠를 제작하기 위해서는 영상제작 기술과 하드웨어 연동을 위한 프로그래밍 능력, 그리고 많은 작업시간과 제작비용이 필요하다. 특히 수도권에 비해 지방 지역은 미디어 아트나 확장현실(XR) 콘텐츠의 활성화가 부족한 실정이다. 이와 같은 현상을 해소하기 위해 누구나 쉽게 확장현실(XR) 콘텐츠 제작에 접근할 수 있는 방안의 필요성이 대두된다. 이에 본 논문에서는 프로그래밍 언어나 미디어 아트에 대한 사전 지식이나 경험이 부족하여도 확장현실(XR) 콘텐츠를 제작할 수 있도록 솔루션을 개발하고 이를 실제 전시에 적용하는 과정을 살펴봄으로써 확장현실(XR) 콘텐츠 활성화 방안을 연구하고자 한다. 이를 통해 미디어 기술력의 보급이 열악한 지역 문화·예술 부분에 최첨단 기술이 접목된 확장현실(XR) 콘텐츠 활성화의 기반을 마련하고자 한다. Today, the advancement of digital media platforms and technology is bringing about significant changes not only in the form of artistic creations but also in the way art is exhibited and experienced in galleries. It is expanding the realm of appreciation beyond mere observation, fostering immersion and participation. The trend is toward the activation of Extended Reality (XR) content, encompassing Virtual Reality (VR), Augmented Reality (AR), Mixed Reality (MR), and more. To create Extended Reality (XR) content, however, demands proficiency in video production, programming for hardware integration, as well as considerable time and production costs. In particular, compared to the metropolitan area, local areas lack the activation of media art and extended reality (XR) content. To resolve this phenomenon, it is essential to provide a way for anyone to easily access extended reality (XR) content production, Accordingly, in this paper, we develop a solution that allows people to create extended reality (XR) content even if they lack knowledge of programming languages or media art, and examine the process of applying it to actual exhibitions to explore ways to activate extended reality (XR) content. Through this, we aim to lay the foundation for revitalizing extended reality (XR) content that incorporates cutting-edge technology in local culture and arts sectors where media technology is poorly distributed.