모바일HMD기반 VR체험 콘텐츠디자인 특성연구

한정엽 ( Jungyeob Han ) 한국공간디자인학회 2015 한국공간디자인학회논문집 Vol.10 No.5

(연구배경 및 목적) 미래 먹거리 개발품목으로 이명박 정부와 박근혜 정부는 산업엔진 및 미래성장동력 사업에서 가상훈련시스템, 실감형 콘텐츠와 착용형 스마트기기를 선정하였다. 권위 있는 리서치기관에서는 2020년 증강ㆍ가상현실 시장규모는 1500억 달러, 이중 가상현실은 게임, 영화, 테마파크, 엔터테인먼트 분야에서 약 300억 달러까지 성장할 것으로 예측하였다. 특히 전 세계의 주요 IT 업체들은 VR 시장에 뛰어 들고 있으며 민간시장 수요가 급속히 증대되는 시점에서 모바일 HMD를 기반한 다양한 유형의 콘텐츠디자인 특성 연구는 시급한 실정이다. 이에 VR체험형 콘텐츠디자인의 특성을 통한 개발 방향성을 제시 하는데 목적이 있다. (연구방법) 2015년 9월15일까지 오큘러스 리프트와 삼성 갤럭시 기어 어플리케이션 등록기준을 토대로 유형별 분석이 가능한 18개 체험콘텐츠를 선별하여 엔터테인먼트, 헤리티지, 지식기반 경험 콘텐츠로 유형을 분류하고 분석한다. 분석방법은 기술부분과 내용부분으로 제시한다. (결과) 첫째, 엔터테인먼트 VR콘텐츠는 영화나 공연을 관람하는 형태로 제작되었다. 실행 후 인터페이스의 조작형태는 비교적 단순하고 가상증강현실 실감정도 역시 낮게 나타난다. 콘텐츠 주제에 따라 태양의 서커스 등의 공연은 몰입과 만족도가 우수한 반면 특별한 인터랙션이 없어 추가적인 정보를 받을 수 없는 것이 단점이다. 두 번째, 헤리티지 VR콘텐츠는 유네스코 자연경관 및 문화유산으로 총 4편 콘텐츠가 제시되었다. 특히 경주VR, 옥연정사는 UI 조작성과 가상공간의 표현력이 좋아 실감성이 우수하다. 콘텐츠의 내용적인 측면에서도 문화재를 다양한 관점에서 설명하여 몰입과 만족도가 우수한 반면 로딩시간 및 약간의 멀미가 있는 것이 단점이다. 마지막으로 경험 지식기반 VR콘텐츠는 우주공간, 요리, 과학탐험 등 다양한 주제로 총 5편이 제시되었다. 콘텐츠의 주제적인 측면에서 특수한 환경의 전문가 경험지식 기반으로 제작되어 콘텐츠의 내용에 따라 몰임도 및 만족도가 좋은 반면 인터페이스의 조작성 및 실감정도가 낮게 나타나고 인터랙션이 없는 단점이 있다. (결론) 모바일HMD 기반 VR콘텐츠 디자인 특성은 먼저 기술적인 조작부분에서 미흡한 실정이다. 특히 로딩 이나 사이버멀미부분은 근본적인 연구를 통한 대안방향이 필요하다. 인터페이스의 UX UI부분에서도 가상공간의 사용자 경험에 대한 연구가 필요시 된다. 주제 및 내용적인 측면에서는 현재의 엔터테인먼트, 헤리티지, 지식기반 경험 콘텐츠 이외에도 공간적, 시간적, 정보적으로 제약 없이 체험가능 한 실감 체험형 콘텐츠로의 발전이 필요시 된다. 모바일HMD 기반 VR콘텐츠 개발방향은 저용량, 고해상도 디스플레이, GPS, 지자계(Geo-magnetic), 자이로스코프(Gyroscope)등 센서의 발전과 더불어 실시간으로 이미지를 렌더링 할 수 있는 데이터의 처리속도가 기술적으로 가장 필요한 부분이다. 내용적인 측면에서도 VR 콘텐츠의세 가지 유형에서 보다 다양한 주제의 실험이 필요하고 각 주제에 따라 조작이 편리한 운영방법과 몰임도 높은 3D 모델링으로발전 가능할 것이다. (Background and Purpose) Lee Myungbak and Park Geunhye administrations selected the virtual reality training system, tangible contents and wearable smart devices in the industrial engine and future growth engine projects as the food for the future. Renowned research agencies predicted that the market share of the augmented and virtual reality industries would take $150 billion and among them, the game, movie, theme park and entertainment sectors in the VR would reach almost $30 billion. In particular, global major IT companies jumped into the VR market and faced urgent challenges in studying features of various contents designs based on the mobile HMD when the demand for private markets surged. Here, the purpose of the study is to propose the development direction with features in the VR-experienced contents design. (Method) The study selected 18 hands-on contents with type analysis based on Oculus Rift and Samsung Galaxy Gear applications as of September 15, 2015, categorized and analyzed the contents based on the entertainment, heritage and knowledge-based hands-on contents. The analysis method was proposed as technical and contents aspects. (Results) First, the entertainment VR contents were manufactured for watching a movie or performance. The interface manipulation was relatively simple and the virtual augmented reality level was low as well after the performance. Performances like Cirque du Soleil showed excellent concentration and satisfaction depending on contents themes but the disadvantage was that it failed providing additional contents without special interactions. Second, a total of 4 heritage VR contents were provided including UNESCO natural landscape and cultural heritage. In particular, the Gyeongju VR and Ogyeonjeongsa Temple UI held excellent reality for good UI operation and expression in the virtual space. The contents showed excellent concentration and satisfaction in explaining cultural heritage from various viewpoints but disadvantages included the slow loading time and feeling vomited a little bit. Lastly, a total of 5 knowledge-based VR contents including the universe, cooking and science exploration were suggested. The contents held excellent concentration and satisfaction for hands-on experience among specialists in special environment from the theme aspect but disadvantages included low interface operation and reality and no interactions. (Conclusions) It may be said that the mobile HMD-based VR contents showed poor technical operation in the design aspect. In particular, alternatives were required through fundamental researches to solve loading and cyber vomiting issues. Researches are required to focus on the user experience in the virtual space from the viewpoint of the interface UX and UI. Not only current entertainment, heritage and knowledge-based contents, but also reality experience contents without spatial, time and information limitations shall be developed from the thematic and contents viewpoints. The development direction of the mobile HMD-based VR contents shall focus on sensor development like the low capacity and high resolution display, GPS, geo-magnetic and gyroscope, as well as technical issues like handling the data for real time image rendering. Experiments with various themes including 3 types of VR contents above are required in terms of contents to develop 3D modeling with convenient operation and highly concentrated contents.

혼합현실기반 디바이스 유형과 콘텐츠 디자인 특성

한정엽 ( Jungyeob Han ) 한국공간디자인학회 2015 한국공간디자인학회논문집 Vol.10 No.2

(연구배경 및 목적) 정부가 선도산업기술 개발을 통한 미래 먹거리 개발 품목으로 가상훈련시스템을 제안하였다. 가상훈련시스템 영역에 대한 민간시장 수요가 급속히 증대되는 시점에서 혼합현실을 기반 한 다양한 디바이스의 유형과 이에 따른 콘텐츠디자인의 특성연구가 시급한 실정이다. 본 연구의 목적은 폴 밀그램과 후미오 키시노가 제시한 혼합현실(MR) 이론을 기반으로 하여 현실세계와 증강현실, 증강가상, 가상세계, 네 개의 미디어환경으로 분류하고 이에 따른 디바이스의 유형 과 콘텐츠디자인 특성을 연구하여 향후 개발될 가상증강 기술에 의한 통합 공간 구성에 있어서 중요한 요소인 체험형 콘텐츠디자인의 개발 방향성을 제시하는데 목적이 있다. (연구방법) 혼합현실의 현실공간, 증강현실공간, 증강가상공간, 가상공간을 기반으로 각 환경에 맞게 개발된 디바이스 특성과 구현가능 한 콘텐츠디자인을 기술, 내용적으로 분석 제안하였다. 현재 혼합현실 공간의 디바이스적용사례는 보편적이기 보다는 실험실 수준에 머물러 있으며 혼합현실을 기반 한 콘텐츠 연구에 대한 사례 역시 부족한 실정이다. 따라서 본 연구에서는 대표적인 몇 가지 사례로만 한정할 수밖에 없다. 한정된 연구임에도 불구하고 혼합현실에 적용가능 한콘텐츠의 특성을 분석하는 것은 향후 통합형 디바이스 적용과 이에 따른 콘텐츠 방향성을 제안 한다는 점에서 기초자료로서 유용할 것이다. (결과)본 연구는 혼합현실에 의한 미디어환경을 현실공간, 증강현실공간, 증강가상공간, 가상현실공간이라는 네 개의 환경으로 분류하고 이에 따른 각 환경을 구현하는데 최적화된 적용가능 한 디바이스를 제안하고자 하였다. 또한 콘텐츠디자인 특성을 분석함으로서 향후 새로운 산업생태계 창출을 위한 디자인적 관점에서의 혼합현실기반 다양한 콘텐츠의 활용 방향성을 제시하는데 의미가 있다. 이러한 관점에서 분석결과를 크게 네 가지로 제시할 수 있다. 현실환경의 콘텐츠디자인 특성은 실감형 인터렉티브 디바이스를 적용하여 최적의 환경구현을 위한 대표적콘텐츠로 경험지식기반 교육, 안전교육 등 다양한 체험형 콘텐츠로 활용 가능하다. 증강현실환경은 공간 내에서 사물이나 공간에 대한 정보를 제공하거나 마커를 통한 다양한 추가정보를 제공, 이미지를 형상화 하는 다양한 정보 제공을 필요로 하는 기업 마케팅형 콘텐츠로 활용가능하다. 증강가상현실환경은 2D, 3D로 표현되는 가상의 형태에 따라서 가상공간과의 다양한 혼합이 가능하다. 가상현실환경은 VR 게임 및 VR 헤르티지 등 높은 몰입도를 요구하는 다양한 장르의 공간구성에서 콘텐츠로 활용가능하다. (결론) 혼합현실의 네 가지 환경에 따른 디바이스는 융합형 지능형 정보 공간으로 통합되고 있으며 체험의 목적에 따라 융합, 혼합, 조합되어 공간적, 시간적, 정보적으로 제약 없이 체험가능 한 실감 체험형 콘텐츠로의 발전이 예측된다. (Background and Purpose) The government suggested a virtual training system as a futuristic food development program through developing a leading industrial technology. At the time when non-official demand for virtual training system area gets dramatically increasing, it is urgent to study the features of various devices based on mixed reality and following content design. The purpose of this study was to classify four media environments of real world, reinforced reality, reinforced virtuality and virtual world based on the mixed reality theory presented by Paul Milgram and Fumio Kishino and to study the features of device types and content design according to them so that it would present a developing orientation of experience-content design that is an important element in composing an integral space according to the virtual reinforced technology that would be developed in the future.(Method) The features of devices developed to be suitable for each environment based on real, reinforced-virtual and virtual spaces have been stated, analyzed and suggested, as well as content designs that can be realized. Currently, the cases of adopting the device of mixed reality space are on laboratory level, rather than common; and the cases of content study based on mixed reality are also not enough. Therefore, this study cannot help but limiting to a few representative cases. The reason why this study is to analyze the features of content that can be applied for mixed reality although those studies are limited is because it would be a useful database in that it suggests to adopt integral device in the future and directions of the content following which.(Results)This study is to classify the media environment through mixed reality into four environments that are real, reinforced real, reinforced virtual and virtual reality spaces, and to suggest a device that can be optimally applied in realizing each environment. In addition to that, this study is meaningful in that it presents a direction to use various content based on mixed reality from the perspective of design to creative new industrial eco-system in the future. From this point of view, the analysis can be presented as the following four large conclusions. Content design of real environment can characteristically be used for many experience-type content such as experience-based education or safety education by adopting for realistic interactive device. Reinforced-realistic environment offers information on objects or space within a place or various additional information through marker, so it can be used as company-marketing content that needs various information to give shapes to images. Reinforced-virtual reality environment can be mixed with various virtual space according to virtuality types that are expressed in 2D or 3D. Virtual reality environment can be used for the content for composing spaces of various genres that require intensive concentration such as VR game or VR heritage. (Conclusions) Devices according to the four environments of the mixed reality are being integrated into a space of integral and intelligent information, and are estimated to develop into a realistic-experience content which is available with no restrict in time, space and information, by fusing, combining and harmonizing with each other according to the purposes of experiences.

가상현실기반 HMD 체험형 콘텐츠 개발 연구 -남서울대학교 캠퍼스 투어를 중심으로-

한정엽 ( Jungyeob Han ) 한국공간디자인학회 2016 한국공간디자인학회논문집 Vol.11 No.2

(연구배경 및 목적) 2016년은 가상현실(VR) 생태계 성장의 원년으로 VR 콘텐츠 영역에 대한 시장수요가 급속히 증대되고 있다. 그러나 우리나라의 VR 콘텐츠 개발은 중소기업 중심으로 개발이 이루어져 질과 양에서 턱없이 미흡한 실정이다. 이에 VR의 실용화를 목적으로 신입생을 대상한 남서울대학 캠퍼스 VR콘텐츠의 개발에 대한 프로듀싱과 세부 워크플로어를 체계적으로 제시하는데 목적이 있다. (연구방법) 1)가상현실(VR)이론을 기반으로 HMD의 유형, VR 환경구성의 조건을 제시한다. 2)VR공동 플랫폼의 콘텐츠를 대상으로 적용가능 한 제작기법 및 시나리오를 도출할 수 있도록 각 콘텐츠별 제목 및 제작사, 콘텐츠의 제작기법 및 특성을 분석한다. 3)N대학 캠퍼스에 대한 체험형 VR 콘텐츠 개발에 있어서 사례분석을 기반으로 적합한 방향으로 프로듀싱 및 세부 워크플로어를 체계적으로 제시한다.(결과) N대학 캠퍼스 VR 콘텐츠 프로듀싱에 대한 시스템과 체계적 단계는 다음과 같다. 1) VR 콘텐츠 개발 의도는 N대학 신입생을 대상으로 가상의 캠퍼스투어를 선행적으로 체험하게 함으로서 건물위치, 명칭, 용도 등에 대한 많은 체험정보를 제공하였다. 2) 촬영장비는 4K까지 출력이 가능한 고프로 7대와 홀더, 리모콘, 배터리충전기, SD카드, 트라이포트 삼각대 등을 준비하고 360°VR 촬영 시 피사체는 최소 2미터 이상 떨어져 촬영해야 후반편집 작업이 쉽고 스텝들은 영상에 나오지 않도록 엄폐하는 것이 중요하다. 3)360°스티칭 및 특수효과(VFX)는 7개 영상을 스티칭 과정을 거쳐 하나의 360°영상으로 만드는 과정으로서 네 개의 프로그램을 활용하여 제작하는 전문성이 요구되므로 이에 대한 지속적인 연구가 필요하다. 4) 360°VR영상을 HMD로 체험할 수 있게 하는 후반과정은 유니티(unity)나 언리얼(unreal)등의 엔진으로 제작하였다. (결론) 연구결과를 바탕으로 VR 콘텐츠의 발전방향성을 제시하면 다음과 같다. 1)위치기반서비스(Location Based Service, LBS)와 모션인식기술( Kinect)등을 이용하여 가상의 콘텐츠와 현실공간과의 정합을 이루는 체험공간디자인으로의 발전 방향성이 제시된다. 2)360°영상은 360°실사촬영, 360°선택형, 360° 이동형 콘텐츠로 발전하고 있으며 360°영상+3D 모델링, 360°영상+인터랙션 등 혼합형콘텐츠로 발전하고 있다. 3)360°로 촬영된 영상은 여러 종류의 VR디바이스 및 360°웹 등 다양한 용도로 사용할 수 있다. 이를 종합하면 HMD기반 VR 체험 콘텐츠는 360° 영상촬영, VR기술, 디바이스의 발전을 통하여 현실공간과 정합된 체험형 정보공간으로서 진화하고 있다. 따라서 가상훈련 공간디자인, 가상 엔터테인먼트 공간디자인, 가상체험 놀이공간디자인, 가상체험 교육공간디자인 등으로 발전이 예기되며 이에 대한 연구가 필요시 된다. (Background and Purpose)There has been a soaring demand in the market for VR content area in 2016, the starting year of growth in VR(Virtual Reality) ecosystem. However, there is a lack of contents in terms of both quantity and quality as VR content development in Korea has been led primarily by small and medium-sized enterprises. Under those circumstances, the purpose of this study was to present production and detailed workflow systematically in connection with development of Namseoul University campus VR contents targeting freshmen for the purpose of VR commercialization. (Method)1) Types of HMD and VR environment configuration conditions were presented on the basis of virtual reality(VR) theory. 2) The researcher analyzed subjects of each content, producers, content production techniques and characteristics in order to derive production techniques and scenario applicable to contents of VR common platform. 3) The production and detailed workflow were presented systematically based on case analysis in relation to development of interactive VR contents for campus of N University. (Results)The system and systematic stages for production of N University campus VR contents were as follows: 1) The intention of VR content development was to allow freshmen of N University to gain proactive experience with virtual campus tour. For that, a lot of experience-related information was provided regarding the location, names, purposes, etc., of buildings. 2) For shooting equipments, the researcher prepared 7 units of GoPro with an output of up to 4K, holders, remote controllers, battery chargers, SD cards, tripods, etc. Edition in latter part of process can be facilitated when subjects are at least 2m apart from each other in the case of 360° VR shooting. It is important to ensure that staffs are hidden so as to prevent them from being captured by camera. 3) 360° stitching and special effect(VFX) is a process to convert 7 images into single 360° image through stitching procedure. It requires special technique involving the use of 4 programs and therefore constant research is needed. 4) The latter part of process enabling the experience of 360° VR image through HMD was designed with engines such as unity or unreal, etc. (Conclusions) Based on the results of this study, the course of VR content development can be presented as below: 1) Interactive space design which combines virtual contents and real space can be created by using LBS(Location Based Service) and motion recognition technology(Kinect), etc. 2) 360° image has been evolving into 360° real-life shooting, 360° selective and 360° mobile contents, and also developing into converged contents such as 360° image + 3D modeling, 360° image + interaction, etc. 3) Images shoot at 360° can find various applications such as many different VR devices, 360° web, etc. Based on overall consideration of aforesaid results, HMD-based VR interactive contents are evolving into interactive information space combined with real space through development of image shooting technology, VR technology, and devices. Thus, HMD-based VR interactive contents are expected to develop into virtual training spatial design, virtual entertainment spatial design, virtual interactive entertainment spatial design, virtual interactive education spatial design, etc., and researches need to be carried out on those spatial designs.

VR콘텐츠의 재현적 공간 연출 사례 연구 - Google Spotlight Stories VR를 중심으로 -

김종민 ( Kim Jongmin ),한정엽 ( Han Jungyeob ) 한국공간디자인학회 2020 한국공간디자인학회논문집 Vol.15 No.8

(연구배경 및 목적) VR은 다양한 종류의 콘텐츠와 산업으로 범위를 확장시키고 있다. VR은 프레임으로 화면을 분할, 제한, 연출하는 기존의 콘텐츠와는 다르게 프레임이 없는 360 °공간을 모두 제작, 체험해야하는 특성을 가지고 있어 새로운 연출방법이 필요하지만 VR콘텐츠의 연출에 대한 연구는 부족한 상황이다. 이를 위해 본 연구에서는 VR의 기술적 특성과 선행 연구 분석을 통해 VR의 서사를 진행하기 위한 주요 요소로 재현적 공간 연출로 한정하고 재현적 공간 연출을 위한 주요 요소를 세가지로 도출하였다. 도출된 주요 요소를 중심으로 VR콘텐츠의 몰입감 연구를 위해 제작된 Google Spotlight VR를 분석하여 VR의 재현적 공간 연출방법을 도출하였다. (연구방법) 본 연구는 사례를 분석하여 특성을 도출하는 사례분석연구로 이루어진다. 본 연구자는 VR의 서사를 진행하기 위한 재현적 공간 연출의 주요 요소를 장소이동연출, 시선유도 연출, 사이버 멀미 방지 연출의 세가지 요소로 도출하였다. 장소이동연출은 VR공간 안에 체험자를 위치시키는 카메라의 공간 내 이동 및 고정 여부에 따른 장소 이동 연출을 뜻한다. 시선유도 연출은 360° 공간 안에서 체험자의 시선을 유도하여 VR의 서사를 따라갈 수 있도록 하는 연출이다. 사이버 멀미 방지 연출은 체험자가 VR공간을 체험하면서 사이버 멀미를 느끼지 않거나 적게 느끼게 할 수 있는 연출을 뜻한다. 사이버 멀미가 발생하게 되면 체험자는 VR콘텐츠에 집중하기 어려워지며 이는 몰입감 저하를 발생시킨다. 도출된 주요 요소를 중심으로 Google Spotlight VR 7편의 콘텐츠를 분석하고 VR콘텐츠의 재현적 공간 연출특성을 확인한다. (결과) 장소 이동 연출은 장소고정 및 이동, 컷, 디졸브, 와이프 등의 연출사례를 도출하였다. 이를 통해 VR콘텐츠의 재현적 공간이 확장되며 체험자가 위치하는 공간을 다양하게 제공하여 서사를 확장, 발전시키는 모습을 확인할 수 있었다. 시선 유도 연출은 보면 음영에 의한 밝기 차이, 팔로우, 채도 등을 통해 체험자의 시선이 이야기의 주체인 등장인물을 따라 효과적으로 서사를 체험하도록 유도하는 모습을 볼 수 있었다. 사이버 멀미 방지 연출로는 장소 고정, 정지좌표계, 주변 요소 제거 등의 연출사례를 통해 감각갈등에 의한 사이버 멀미 발생을 감소시키는 모습을 확인할 수 있었다. 또, Son of Jaguar에선 감각갈등을 일부러 발생시켜 서사를 위한 연출방법으로 사용하는 모습 또한 확인할 수 있었다. (결론) Google Spotlight Stories VR의 재현적 공간 연출 사례분석을 통해 각 연출요소별로 다양한 방법의 연출방법이 존재하며 단일 연출방법을 사용하는 경우는 적은 것을 확인할 수 있었다. 본 연구를 통해 VR콘텐츠의 효과적인 재현적 공간 연출을 위해선 하나의 방법이 아닌 다양한 형태의 연출 방법을 사용하여야 하며 콘텐츠의 스토리에 맞게 효과적, 복합적으로 사용해야 한다는 것을 확인하였다. (Background and Purpose) Unlike the existing content that divides, limits, and directing screens with frames, VR has the characteristics of producing and experiencing 360° space without frames, which requires a new method of Directing, but there is a lack of research on the Directing of VR content. Based on the main elements derived, Google Spotlight VR produced for the study of immersion of VR contents was analyzed to derive the Diegesis spatial Directing method of VR. (Methodology) This study is conducted as a case-analysis study. This researcher derived the main elements of Diegesis spatial Directing for VR Storytelling into three elements: location movement directing, gaze leading directing, and cyber motion sickness prevention directing. In VR spatial, cameras and experienced people have the same location. Location Movement Directing is the location movement depending on the movement and fixation of the camera in VR spatial. Gaze leading directing is designed to attract the eyes of experienced people within a 360° space so that they can follow the VR Narrative. Cyber motion sickness prevention directing is that allows people to experience VR spatial without cyber motion sickness. When cyber motion sickness occurs, it becomes difficult for people to focus on VR content, which causes a decrease in immersion. It analyzes the contents of seven Google Spotlight VR based on the main elements derived Diegesis spatial Directing characteristics of VR contents. (Results) The location movement directing was found to have the cases of directing such as fixation and movement of place, cut, dissolve, and wipe. Based on that, it was found that the narratives were expanded and developed through the expansion of the Diegesis spatial. The gaze leading directing showed that the gaze of the people experiencing the VR contents induced the experience with narratives, tracking the characters, the subjects of the story, through Contrast, follow, and saturation. The cyber sickness prevention directing included the directing cases such as fixation of place, stationary coordinate system, and removal of surrounding elements, and, in specific content, the sensory conflicts were found to be used for narrative directing. (Conclusion) Based on the analyses of the cases of representational spatial directing of Google Spotlight Stories VR, it was found that various types of directing methods should be used in combination for VR content directing in a way suited for story of the contents, rather than using single method. Finally, additional study would need to be conducted to investigate the effect of representational spatial directing of VR contents on the users experiencing the VR contents, given that the experiment in this study was not aimed to determine the effect of directing, derived through the analyses of concerned cases, on the users experiencing the VR contents.

실감 콘텐츠 윤리적 부작용 대표사례 및 규정 연구 - 유형 분류 및 세부 요소를 중심으로 -

이상욱 ( Lee¸ Sangwook ),한정엽 ( Han¸ Jungyeob ) 한국공간디자인학회 2021 한국공간디자인학회논문집 Vol.16 No.7

(연구배경 및 목적) 과학기술정보통신부는 최근 빠르게 확산되어 경제, 문화, 산업 전반에 악영향을 주고 있는‘코로나19’를 계기로 디지털 전환이 가속화될 것으로 보고 비대면 서비스에 대한 관심요구가 증가함에 따라 몰입감ㆍ현장감을 높일 수 있는 실감 콘텐츠(VRㆍAR)를 활용한 서비스의 성장 가능성에 주목하고 있다. 4차 산업혁명 기술 중 한 분야인 실감 콘텐츠 기술 은 빠르게 발전하고 있으며 윤리기준의 부재는‘윤리적 공백’을 유발할 우려를 낳고 있다. 인터넷, 게임 및 인공지능 등 유사 기술과 관련한 다양한 연구 활동에 반해 이제 막 성장하고 있는 실감 콘텐츠 기술의 윤리적 부작용 사례 및 규정 연구는 매우 부족한 현실이다. 이 연구는 실감 콘텐츠에 적용 가능한 윤리적 부작용에 대한 대표사례와 규정을 조사, 분석하여 향후 연구에 필요한 기초 자료를 제공하는데 목적이 있다. 연구의 조사 및 분석범위는 실감 콘텐츠 윤리적 부작용 관련 국내외 관련 규정 사례를 살펴 보고 실감 콘텐츠의 부작용 사례의 유형을 규정한다. 규정을 토대로 실감 콘텐츠 윤리적 부작용 대표적인 사례를 분석하여 세부적인 특성 및 요소를 도출한다. (연구의 방법) 연구방법은 크게 두가지로 제시한다. 첫째, 문헌조사(학술지, 프로젝트 보고서)와 인터넷 기사 검색 등을 통해 관련규정 및 대표 관련 규정을 사례를 조사했다. 두 번째 분석된 실감 콘텐츠의 부작용 유형을 근거로 국내외 윤리적 부작용 대표사례 조사를 통해 확인된 윤리적 부작용 사례 특성 및 요소를 분석 정리하였다. (결과) 코로나 19로 비대면 산업이 주목받으면서 실감 콘텐츠(VR·AR) 산업은 과학기술, 국방, 재난, 안전, 의료, 교육 등 생활 전반에 다양한 분야에서 높은 현실감을 제공하는 경험의 확장하는 기술로 폭 넓게 활용될 실감 콘텐츠 기술은 비대면 산업의 발전과 함께 빠르게 성장할 가능성이 큰 산업이다. 하지만 기술의 발전이 가져다 줄 다양한 혜택에 반해, 가상의 공간에서 경험해 보지 못한 심각한 사회적, 윤리적 문제를 대비하기에는 기초연구가 매우 부족한 현실이다. (결론) 본 연구를 시작으로 향후 실감형 콘텐츠의 발전으로 현실과 같은 가상의 공간에서 현실의 법과 제도를 한계를 벗어난 복잡하고 다양한 새로운 사회적 문제 및 윤리적 부작용에 대해 예방적 측면에서 연구가 지속되어야 할 것이다. (Background and Purpose) The Ministry of Science and ICT have paid attention to the growth potential of services using realistic contents (VR, AR) that can increase immersion and reality amid the heightened interest and demand for contactless services; this is based on the belief that the COVID-19 pandemic, which has rapidly spread and adversely affected economic, cultural, and industrial areas, is expected to spur the digital conversion. The realistic content technology is developing rapidly, and the absence of an ethical standard has created an ethical vacuum. Currently, there is little research on the ethical fallout of realistic content technology, which is at an inchoate stage of development; Similarly, there is a lack of work examining related regulations, which is in stark contrast to the many studies that exist for similar technologies such as internet, game, and artificial intelligence. The purpose of this study was to provide the basic data necessary for future studies by investigating and analyzing the most typical cases and regulations related to ethical fallout, which would be applicable to realistic contents. The scope of investigation and analysis in this study was limited to the examination of domestic and overseas related regulations on the ethical fallout of realistic contents and the specification of the types of cases of fallout of realistic contents. Based on the regulations, the most typical cases of ethical fallout of realistic contents were analyzed to identify specific characteristics and elements. (Method) The methodology was largely based on 2 types. First, related regulations and most typical related regulations were investigated through literature (e.g., academic journals, project reports) and articles published on the internet. Second, the characteristics and elements of ethical fallout cases were analyzed and summarized, after being identified through the examination of the most typical cases of domestic and overseas ethical fallout based on the types of fallout from the analyzed realistic contents. (Conclusions) The outlook for fast and robust growth is anticipated for the realistic content technology, which would have wide-ranging applications as the technology expands to provide a high degree of reality across many different fields of life, including science and technology, national defense, natural disasters, safety, medicine, and education. This is especially relevant now that there is a heightened interest in the contactless industry given the outbreak and spread of COVID-19. (Result) Based on this study, constant research can be conducted to prevent a variety of complex and new social issues and ethical fallout cases that go beyond the boundary of current laws and institutions in the midst of developing realistic contents.

에너지 산업분야 Digital Twin 기술기반 VR콘텐츠 특성연구

김현철 ( Kim Hyeoncheol ),한정엽 ( Han Jungyeob ) 한국공간디자인학회 2021 한국공간디자인학회논문집 Vol.16 No.4

(연구배경 및 목적) 물리적 사물을 가상공간에 유기적으로 복제하는 디지털 트윈(Digital Twin)기술은 중요한 미래기술 중 하나로 주목받고 있다. 산업분야를 중심으로 디지털 트윈 기술과 IoT(센서 및 네트워크), VR/AR(가상현실/증강현실), AI(인공지능)기술이 융합된 사례가 등장하고 있으며, 특히 전통 산업분야에서 이러한 기술융합 시도가 적극적으로 이루어지고 있다. (연구방법) 본 연구는 디지털 트윈 기술과 VR콘텐츠의 융합이 활발히 진행되는 에너지 산업분야를 선정하여 대표사례 연구를 진행하였다. 선정된 대표사례를 유형별로 분류한 후, 유형별 대표 사례를 일반적 특성과 콘텐츠적 특성 그리고 디지털 트윈 기술의 완성도를 평가하는 종합분석 순서로 연구를 진행하였다. 분석을 위한 분석기준은 VR환경에서 체험자가 느끼는 감각적 측면을 구성하는 현장감ᆞ몰입감, 활용적 측면을 구성하는 연결성ᆞ활용성 이렇게 네 가지 특성요소를 평가 기준으로 삼았다. (결과) 대표사례 분석결과, 디지털 트윈 기술발전 단계에서 대표사례 모두 1단계(모사, Mirroring)내지 2단계(관제, Monitoring)에 해당하는 초기 단계 디지털 트윈 구현이 이루어지고 있음을 확인할 수 있었다. 그리고, 분석사례 모두 활용성에 높은 비중을 두고 있었으며, 연결성은 원격운영을 위한 VR콘텐츠에서, 현장감과 몰입감은 교육ᆞ관람을 위한 VR콘텐츠에서 각각 상대적으로 두드러지는 특징이 나타났다. (결론) 결과의 원인과 연구의 한계를 분석해보면, 대용량의 사물복제를 위해 필요한 하드웨어와 소프트웨어 등 관련 기술의 미성숙으로 디지털 트윈 기술이 초기 단계에 머무르고 있음을 알 수 있었다. 그리고, 분석요소를 기준으로 VR콘텐츠 유형별 차이점과 사용된 요소기술을 알아볼 수 있었지만, 특성을 정의하기에는 부족함이 있었다. 체험자의 실감도를 높이기 위해 무엇이 필요한지 VR콘텐츠에 다양한 요소를 적용해보는 실험단계였기 때문이다. 결론적으로 디지털 트윈 기반 VR콘텐츠의 프로젝트 세부내용을 분석하기는 했지만, 명확한 특성을 정의할 수는 없었다. 미래기술인 디지털 트윈과 가상현실의 융합에 대해 깊이 있는 연구가 되지 못한 점은 아쉬움으로 남는다. 그러나, 인공지능, 정보기술, 센서기술, 로봇기술 등 미래기술은 꾸준한 발전을 이루고 있으므로, 현재의 기술적 제약사항들도 머지않은 미래에 해결될 것이다. 미래기술에 대한 지속적인 탐색과 연구를 통해 완성된 형태의 디지털 트윈 기반 VR콘텐츠의 등장을 기대해 본다. (Background and Purpose) The digital twin technology that organically replicating physical objects in virtual space has attracted attention as one of the important future technologies. There are cases in which digital twin technology, IoT (sensor and network), VR/AR (virtual reality/augmented reality), and AI (artificial intelligence) technology are fused in the industrial field. In particular, such technology convergence attempts are being actively made in traditional industries. (Method) In this study, a representative case study was conducted by selecting the energy industry where the convergence of digital twin technology and VR contents is actively carried out. After classifying the selected representative cases by type, representative cases by type were studied in the order of general characteristics, content characteristics, and digital twin technology comprehensive analysis. The analysis criterion for the analysis was based on four characteristic factors: a sense of presence and immersion that constitutes the sensory aspect that the experiencer feels in the VR environment, and the connection and utilization that constitute the practical aspect. (Results) Representative case analysis results, in the digital twin technology development stage, it was confirmed that the initial stage digital twin implementation, which corresponds to the first stage(mirroring) to the second stage(monitoring), is being implemented in all of the representative cases. In addition, all of the analysis cases put a high weight on usability, and connectivity was relatively prominent in VR content for remote operation, and realism and immersion in VR content for education and viewing, respectively. (Conclusion) Analyzing the causes of the results and limitations of the study,It was found that the digital twin technology is still in its infancy due to the immaturity of related technologies such as hardware and software necessary for large-scale replication of objects. And, based on the analysis elements, it was possible to identify the differences by VR content type and the element technology used, but it was insufficient to define the characteristics. This is because it was an experimental stage where various elements were applied to VR content to see what was needed to increase the realism of the experiencer. In conclusion, although we analyzed the project details of digital twin-based VR content, we could not define clear characteristics. It is regrettable that in-depth research on the convergence of digital twin and virtual reality, a future technology, has not been conducted. However, as future technologies such as artificial intelligence, information technology, sensor technology, and robot technology are making steady progress, current technological limitations will be resolved in the not too distant future. We look forward to the emergence of digital twin-based VR contents that have been completed through continuous exploration and research on future technologies.

어포던스 이론 기반 인터렉티브 VR 영화의 특성 및 요소 연구

백승범 ( Baek Seungbeom ),한정엽 ( Han Jungyeob ) 한국공간디자인학회 2020 한국공간디자인학회논문집 Vol.15 No.8

(연구배경 및 목적) 국내외 영화제를 중심으로 VR 영화의 상영이 많아지고 있으며, 최근에는 VR 영화 내에서 사용자의 상호 작용이 가능한 인터렉티브 VR 영화가 주목받고 있다. 인터렉티브 VR 영화는 스토리 경험 내에서 사용자의 상호작용이 실시간으로 반영되기 때문에 영화 내에서 행해지는 사용자의 자연스러운 행동을 유도하는 어포던스를 효과적으로 설계하는 것이 필요하다. 이에 본 연구는 어포던스 이론을 인터렉티브 VR 영화에 적용하여 어포던스 기반 인터렉티브 VR 영화의 특성 및 요소에 관해 연구하고자 한다. (연구방법) 어포던스 이론은 연구자의 관점에 따라 그 개념 및 특성이 다양하게 정의되어왔다. 본 연구는 인터렉티브 VR 영화 사용자의 행위 유도를 위한 어포던스를 연구하는 것이므로 사용자의 행위 단계와 어포던스를 연계하고 분류를 세분화한 하슨의 이론을 중심으로 논의한다. 또한 하슨의 이론을 적용한 선행연구 분석을 토대로 VR 영화의 특성을 반영하여 분석 틀을 도출하고 사례에 적용하여 그 특성 및 요소를 연구한다. (결과) 이론적 고찰을 통해 인터렉티브 VR 영화의 어포던스를 인지적, 물리적, 감각적, 기능적 어포던스로 분류하였고, 4편의 사례를 선정하여 분석하였다. 사례를 통해 분석된 인지적 어포던스 요소로는 아이콘 배치, 사용자 앞으로의 객체 이동 및 동적 개체 이용, 캐릭터 연출, 조명 표현 등이 있으며 주로 사용자의 발견 가능성, 구별성, 주목성 등을 높여 스토리 내용에 대해 쉽게 인지할 수 있도록 돕는 특성이 있었다. 물리적 어포던스 요소로는 사용자의 위치 이동 안내 및 조절, 가상 손, 가상 신체 행동 강화 등이 있었으며 사용자의 위치 접근성을 높여 객체 조작 및 물리적 행위를 돕는 특성이 있었다. 감각적 어포던스 요소로는 크기가 큰 텍스트, 색상, 햅틱 효과, 동적 및 실시간 그래픽 요소 등이 있었으며 주로 인지적 어포던스와 물리적 어포던스를 감각적으로 강화하는 특성이 있었다. 마지막으로 기능적 어포던스요소로는 시스템 경고 안내 및 메뉴, 체험 모드 및 환경 조절 등이 있었으며 사용자의 체험 환경을 시스템 기능으로 쉽게 조절할 수 있는 특성이 있었다. (결론) 인터렉티브 VR 영화는 어포던스를 적극적으로 활용하여 영화 내에서 행해지는 사용자의 상호작용을 유도하거나 돕는 것을 확인할 수 있었으며, 이는 인터렉티브 VR 영화 제작 시 어포던스를 설계하는 것이 매우 중요하다는 점을 시사한다. 또한, 하나의 작품 내에서 일관성 있게 어포던스를 디자인하는 것이 중요하다는 점도 확인되었다, 마지막으로 인터렉티브 VR 영화의 특성을 반영한 어포던스 이론 연구가 필요한 후속 과제로 도출되었다. (Background and Purpose) The number of VR films has been increasing steadily, as well as the number of domestic and overseas film festivals. In addition, interactive VR films that allow the user interaction have recently attracted attention. As interactive VR films reflect user's interaction in real time within the story experience, the affordance that induces user’s natural behavior in the film needs to be effectively designed. Thus, this study aimed to investigate characteristics and elements of affordance-based interactive VR films by applying affordance theory to interactive VR films. (Methodology) The concept and characteristics of affordance theory have been defined differently by different researchers. This study aimed to investigate the affordance for inducing the behaviors of interactive VR films users, thus placing the focus of discussion on Hartson's theory, which links user's behavior stages with affordance and subdivides the classification. Moreover, this study derived an analysis frame by reflecting the characteristics of VR films based on the analyses from preceding studies that incorporated Hartson’s theory, and it applied the derived frame to each case to examine the characteristics and elements. (Results) Based on theoretical consideration, affordance of interactive VR films was classified into cognitive, physical, sensory, and functional affordance, and a total of four cases were selected and analyzed. Cognitive affordance factors, analyzed through representative examples, included icon arrangement, object movement, and event arrangement in front of user, dynamic object movement, character directing, and lighting representation, and had the characteristics of strengthening mainly the discoverability, distinction, and attention of user to increase the ease of recognizing the story contents. Physical affordance factors included guidance and control of user’s position movement, virtual hand, and reinforcement of virtual body behavior, and it had the characteristics of increasing the position accessibility of user to aid in the object manipulation and physical behavior. Sensory affordance factors included large text, color, haptic effects, dynamics, and real-time graphic elements, and showed the characteristics of strengthening mainly cognitive affordance and physical affordance through the senses. Finally, functional affordance factors included system warning information and menus, as well as the experience mode and environment control, and they had the characteristics of adjusting user’s experience environment easily through system functions. (Conclusion) Interactive VR films utilized the affordance actively to induce or facilitate users' interactions within films, suggesting that affordance designing is crucial for production of interactive VR films. Furthermore, consistent affordance designing in each work was found to be important. Finally, further research into affordance theories, reflecting the characteristics of interactive VR films, will be required.

VR 콘텐츠의 공간 오디오 상호작용 사례 연구

황수민 ( Hwang Sumin ),한정엽 ( Han Jungyeob ) 한국공간디자인학회 2020 한국공간디자인학회논문집 Vol.15 No.8

(연구배경 및 목적) 최근 5G 기술의 상용화로 몰입감과 실시간으로 체험 가능한 환경 구축에 따라 인간의 감각 기관을 통하여 정보와 경험을 제공하는 실감 콘텐츠가 주목 받고 있다. 이러한 경험을 위해서는 시각 경험 못지않게 청각 경험도 중요한데, 대부분의 연구는 시각 중심의 상호작용 방식에 머물러 있다. 따라서 본 연구는 VR 콘텐츠에서 공간 오디오의 상호작용 사례를 분석하여 기존에 시각 중심으로 이루어졌던 상호작용 방식을 벗어나 공간 음향을 이용한 새로운 상호작용 방식의 가능성과 방향성을 제안하는 데 목적이 있다. (연구방법) 문헌 고찰을 기반으로 노먼의 상호작용 사이클의 단계별 모형을 근거하여 VR 콘텐츠에서 공간 오디오를 통해 체험자와 상호작용하는 과정의 행위적 특성을 도출한다. (결과) 공간 오디오의 상호작용 사례들은 다음과 같은 특징을 가지고 있다. 첫째, 공간 오디오의 방향성 유형은 어떠한 사건에서 오브제가 세상에 처음 나오는 위치를 알리거나 체험자에게 스토리 전개의 위치를 알리기 위해 사용되는 것을 확인할 수 있었다. 둘째, 공간 오디오의 거리감 유형은 체험자와 오브제의 거리가 근접하는 것을 고지하는 방법으로 사용하거나 오디오와 체험자의 위치 변화에 따른 행동 유도의 방법으로 사용됨을 확인할 수 있다. 셋째, 공간 오디오의 예측성 유형은 가상현실에서 마찬가지로 오브제가 가진 소리만으로 대상을 예측 가능한 것을 확인하였다. 이 밖에도 오브제가 추상적인 형태를 지니고 있어도 소리를 통해 오브제의 유형을 예측함을 확인하였다. 넷째, 공간 오디오의 주목성 유형은 짧고 강한 소리는 단시간에 체험자의 시선을 유도했고, 콘텐츠와 어우러진 소리는 이야기 전개의 시작을 알리는 서사의 역할을 하였다. 다섯째, 공간 오디오의 커뮤니케이션 유형은 체험자는 이야기를 하는 캐릭터를 응시하거나 대화의 내용을 명확하게 듣기 위하여 가까이 다가가는 행동을 취하는 등 현실과 같은 대화가 가능하다. (결론) VR콘텐츠에서 공간 오디오는 상호작용 도구 개발에 있어 적합한 인터랙션 디자인의 중요한 요소임을 확인하였다. VR 콘텐츠는 실제와 유사한 감각 정보를 통해 체험자와 상호작용하는데, 평면 디스플레이에서 이루어졌던 기존 미디어의 상호작용 방식을 적용하는 데 한계가 있다. 본 연구를 통해 제시된 공간 오디오의 상호작용 특성은 향후 오디오 UI의 디자인 방향성에 기반이 되어 VR 콘텐츠에서 청각 경험의 활용을 기대해 본다. (Background and Purpose) There has been a heightened interest in realistic contents that provide information and experiences through human sensory organs amid the recent commercialization of 5G technology that enables creation of environment for immersive and real-time experiences. For such experiences, auditory experience, as well as visual experience, is important, and most of the studies thus far have focused on the modes of visual-centered interactions. Thus, the purpose of this study was to analyze actual cases of spatial audio interaction in VR contents so as to propose the possibility and courses for novel modes of interaction made by using the spatial sound, shifting away from conventional modes of visual-centered interaction. (Method) Based on literature review and Norman's model of interaction cycle by phase, we derived the behavioral characteristics of the process of interaction with user, experiencing the VR contents, through Spatial Audio in VR contents. (Results) The cases of Spatial Audio interaction showed the following characteristics. First, it was found that the directional type of Spatial Audio was used to indicate the location of the initial emergence of objets into the world from certain incident or to inform the user, experiencing the VR contents, of the position of storytelling. Second, it was found that the distance sense type of Spatial Audio was used as a method for alerting the user to the narrowing distance between the user himself/herself and the objets, or as a method for inducing certain behaviors according to the variation of the location of the audio and the user. Third, the predictability type of Spatial Audio was found to allow the objects to be predicted only with the sound that objets had in the same way as in virtual reality. Fourth, the attention type of Spatial Audio was short and the intensive led the user to avert the gaze of user instantly. Fifth, the communication type of Spatial Audio allowed the user, experiencing the virtual contents, to stare at the character telling the story or to be engaged in realistic conversation. (Conclusions) In VR contents, spatial audio was found to be an important element of suitable interaction design in developing the interactive tools. VR contents interact with participants who are using VR contents through sensory information similar to that of reality, but have limitation to their application of the existing modes of media interaction occurring on flat displays. This researcher hopes that the characteristics of spatial audio interaction, presented through this study, would help create a basis for designing the course for audio UIs in the period ahead and be utilized for auditory experience in VR contents.

메타버스 기반 알파세대의 조형예술 교육 사례 연구 및 활용 방안

김영아 ( Kim Yeongah ),한정엽 ( Han Jungyeob ) 한국공간디자인학회 2022 한국공간디자인학회논문집 Vol.17 No.7

(연구배경 및 목적) 국내 교육 영역에서 온라인 교육과 에듀테크는 정보화 시대에 이어 4차 산업혁명에 이르기까지 강력한 교육정책과 지원을 기반으로 성장해왔다. 그러나 조형예술 교육은 그 성장 대열에 적극적으로 합류하지 못하고 대면 교육 위주로 진행되었다. 코로나 시대 이후에 에듀테크의 성장 속도가 빨라짐에 따라 비대면 교육의 중요성이 대두되면서 온라인 및 메타버스에서 조형예술 교육의 확산이 일어나고 있지만, 소극적 접근으로 인해 기초연구 및 기초자료가 부족한 현실이다. 특히 디지털온니 세대인 알파세대에게 제공할 수 있는 메타버스와 조형예술 교육이 융합된 학술적 접근은 매우 부족하다. 본 연구자는 메타버스 기반 알파세대의 조형예술 교육을 위한 사례를 연구하고 활용 방안을 제시하여, 흥미와 재미, 보상이라는 알파세대의 심리적 성향을 반영하여 메타버스 조형예술 교육의 확장을 위한 기초자료 제공을 목적으로 한다. (연구방법) 메타버스의 개념을 알고 예술영역이 반영될 수 있는 창작과 체험적 도구를 규정하고 조형예술 교육의 영역과 교육적 범위를 규정한다. 규정된 영역과 범위에 적합한 메타버스 대표플랫폼의 콘텐츠를 분석하고, 이에 따른 활용 방안을 대표 사례 연구를 통해 결과를 제시할 수 있도록 조형예술 창작교육과 조형예술 체험교육으로 분류한다. (결과) 본 연구에서는 메타버스 기반 조형예술 교육 사례 연구 및 활용 방안을 대표사례 중심으로 분석하였다. 첫 번째, 조형예술 창작교육은 메타버스에서 2d, 3d 창작물을 직접, 가공, 재창조가 가능하다. 교육적 활용 측면은 예술적 흥미와 재미, 보상을 통한 직접 창작 교육이 가능하다. 두 번째, 조형예술 체험교육은 메타버스에서 공간적 감상과 가상 상호작용을 통한 체험 감상이 가능하다. 교육적 활용 측면은 미디어아트 등 다양한 장르와 게임적 요소를 도입한 실시간 시뮬레이션 경험 교육이 가능하다. (결론) 메타버스 기반 조형예술 교육은 다중감각과 몰입감을 통해 현실 공간에서 체험할 수 없는 새로운 창작과 감상, 체험이 가능하다. 특히 디지털에 익숙한 알파세대에게 메타버스를 통한 조형예술 교육은 새로운 예술교육의 방향성을 제시한다. 본 연구는 알파세대에게 메타버스를 활용한 조형예술 교육이 미래에 새로운 교육 영역으로 자리 잡게 된다고 전망한다. (Background and Purpose) In the education field in Korea, online education and EdTech have grown due to strong education policies and support from the Information Age to the Fourth Industrial Revolution era. However, as formative arts education was mainly conducted traditionally face-to-face, it was not possible for this education sector to actively participate in this growth. As the growth rate of EdTech accelerated after the coronavirus pandemic, the importance of non-face-to-face education has emerged; consequently, formative arts education has been spreading online and on the metaverse; however, basic research and data are not enough due to a passive approach. Specifically, the academic approach that converges metaverse and formative arts education for Generation Alpha, the digital-only generation, is highly insufficient. The author studied cases of formative arts education for Generation Alpha based on the metaverse to suggest ways to use them. The purpose of this study is to provide basic data for the expansion of formative arts education on the metaverse by reflecting the psychological tendencies of Generation Alpha, which include pursuing interest, fun, and rewards. (Method) This study discusses the metaverse concept, defines the creative and experiential tools that can reflect the artistic field, and specifies the area and scope of formative arts education. It analyzes the contents on representative metaverse platforms suitable for the specified area and scope and classifies them into creative formative arts education and experiential formative arts education so that the utilization plan can be presented through the case study on representative cases. (Results) This study conducts a case study of formative arts education based on the metaverse, and the utilization plan was suggested by analyzing representative cases. First, this study showed that it is possible for the creative formative arts to directly process and recreate 2D and 3D creations on the metaverse. In terms of educational use, direct creative education through sparking artistic interest, fun, and rewards is possible. Second, it is possible for experiential formative arts education to conduct spatial appreciation and experiential appreciation through virtual interaction. In terms of educational use, real-time simulation experiential education that introduces various genres, such as media art and game elements, is possible. (Conclusions) The formative arts education based on the metaverse enables new creation, appreciation, and experience that cannot be experienced in real space through multisensory interaction and immersion. Specifically, the formative arts education through the metaverse suggests a new direction of arts education for Generation Alpha, who are only familiar with the digital. This study predicts that the formative arts education for Generation Alpha using the metaverse will be established as a new educational field in the near future.

이미지생성 인공지능의 유형 및 이미지 활용 분석 - 이미지 전이, 변형, 확장 대표사례 중심으로 -

박인평 ( Park Inpyung ),한정엽 ( Han Jungyeob ) 한국공간디자인학회 2023 한국공간디자인학회논문집 Vol.18 No.8

(연구 배경 및 목적) 최근 이미지생성 인공지능(AI)은 디지털 아트 분야에서 높은 관심을 받고 있다. 미국에서 열린 한 미술전에서 인공지능이 생성한 그림이 우승을 차지하면서 논란이 일고 있다. 하지만 이미지생성 인공지능에 대한 연구는 여전히 제한적이며 콘텐츠 개발과 같은 기술적인 측면에 주로 중점을 두고 있다. 이에 본 연구는 현재 사용이 가능한 온라인 플랫폼에서 이미지생성 인공지능의 유형을 살펴보고 활용 방안을 분석하여 향후 이미지생성 인공지능의 활용 방법에 대한 기초자료를 제공하고 활용 방향을 제시하는데 목적이 있다. (연구 방법) 본 연구는 먼저 문헌 조사를 통해 뉴럴네트워크 딥러닝(Neural Network Deep Learning) 의 개념과 이미지 생성 인공지능의 유형 및 활용 사례를 고찰한 다음, 이미지생성 인공지능의 유형별 대표 사례를 찾아 활용적 특성을 분석한다. 대표 사례는 2022년 10월 31일 기준으로 온라인에서 사용 가능한 이미지생성 인공지능 중 전이, 변형, 확장의 사례가 명확한 인공지능을 사례분석 대상으로 선정하였다. 대표 사례의 활용적 분석을 위해서는 입력 방법, 이미지 스타일, 샘플 제안, 그리고 활용 총 4가지 세부 정보를 척도로 활용했다. 이후 각 대표 사례에 세부 척도를 대입해 특성을 분석한다. (결과) 첫째, 이미지 생성 인공지능 이미지 전이 유형의 대표 사례인 미드저니(Midjourney)에서는 text to image 방식으로 이미지를 생성하는 특성이 있으며 회화적인 이미지 스타일로 이미지를 만드는데 활용되고 있다. 둘째, 이미지 생성 인공지능 이미지 변형 유형의 대표 사례인 아트브리더(Artbreeder)에서는 기존의 이미지를 업로드 하거나 이미 만들어진 이미지에 슬라이더를 조정하여 새로운 변형을 제작하는 특성이 있으며 사진이나 반실사풍 이미지 스타일로 활용되고 있다. 셋째, 이미지 생성 인공지능 이미지 확장 유형의 대표 사례인 달리2(DALL-E 2)에서는 아웃페인팅, 인페인팅 기능을 사용하여 이미지를 확장하거나 이미지 속 내용물을 수정하는 특성이 있으며 사진 이미지 스타일로 활용이 용이하다. 이미지 생성 인공지능의 활용 특성으로는 입력 방법에 따라 편의성이 달라지고 툴에서 제공하는 효과에 따라 이미지의 다양한 변형이 가능하다. 제공하는 샘플의 수량과 차이로 원하는 이미지를 찾기가 수월해진다. (결론) 이미지생성 인공지능은 전이, 변형, 확장유형에 따라 입력방식과 이미지 스타일에 차이가 있다. 따라서 사용자들은 이미지를 활용하는 목적에 따라 알맞은 이미지 전이, 변형, 확장 인공지능을 선별하여 사용해야 한다. (Background and Purpose)Recently, image-generative artificial intelligence (AI) has received considerable attention in the digital arts field. An AI artwork won an award and caused controversy at an art exhibition held in the United States. However, research on image-generative AI is still limited and mainly focuses on technical aspects, such as content development. Therefore, the purpose of this study was to provide basic data on how to use image-generative AI in the future and to suggest directions for its use by examining the types of image-generative AI currently available on online platforms and analyzing ways to utilize them. (Method) This study first examined the concept of neural network deep learning and the types and utilization cases of image-generative AI through a literature review, and then found representative cases of each type of image-generative AI to analyze its utilization characteristics. Among the image-generative AIs available online as of October 31, 2022, those with clear cases of transfer, translation, and extension were selected as representative cases. To analyze the utilization of the representative cases, four types of detailed information were used as scales: input method, image style, sample suggestion, and utilization. Subsequently, detailed scales were applied to each representative case to analyze its characteristics. (Results) First, Midjourney, a representative AI image generator that uses image transfer, generates images using a text-to-image method and is used to create images in a pictorial style. Second, Artbreeder, a representative AI image generator that uses image translation, creates a new translation by uploading an existing image or adjusting a slider on an already created image and is used for a photo-realistic or semi-realistic image style. Third, Dall-E 2, a representative AI image generator that uses image extension, extends the image or modifies its contents using inpainting and outpainting techniques, and is easy to use for photo-style images. Regarding the utilization characteristics of image-generative AI, the convenience varies depending on the input method and various translations of images are possible depending on the effects provided by the tool. The difference in the number of samples makes it easier to obtain the desired image. (Conclusions) Image-generative AIs use different input methods and image styles based on transfer, translation, and extension. Therefore, users must select and use appropriate image transfer, translation, and extension AIs depending on the purpose of image utilization.