디지털 물을 이용한 퍼포먼스의 안무 및 공연 기법에 관한 연구

김주섭(Kim, Jusub) 한국디지털디자인협의회 2013 디지털디자인학연구 Vol.13 No.3

본 논문은 실시간 공감각적 영상 생성을 위한 대체 플랫폼의 탐구를 그 내용으로 한다. 실시간으로 생성되는 공감각적 영상은 일반적으로 추상적이며, 미리 정의된 알고리즘에 따라 생성되는 것이 대부분이다. 본 프로젝트에서는 공감각적 영상 생성을 위해 디지털 방식으로 창조된 사실적인 가상의 댄서를 도입하고 그들의 안무와 공연을 사람이 직접 음악적 인터페이스를 이용하여 행하는 방법의 가능성을 살펴본다. 가상의 댄서의 팔과 손은 디지털로 창조된 물(water)을 이용하여 은유적으로 표현되며 자연의 물이 가지는 아름다움을 재창조해 내기 위해 사실적으로 표현되어 진다. 움직임의 안무를 위하여 루돌프 라반(Rudolf Laban)의 움직임 분석(LMA)을 바탕으로 물의 패턴을 디자인하였으며, 각 움직임 패턴은 비슷한 감정을 이끌어 내는 음악 코드와 연관 지었다. 영상의 생성은 음악적 인터페이스인 음악 코드와 미디 키보드를 이용하여 이루어지게 된다. 비주얼 연주자는 음악적 코드와 피아노 연주 행위라는 친숙한 인터페이스를 통해 개개인이 가지는 음악적 정서를 영상으로 쉽게 매핑 할 수 있으며, 또한 라이브 공연에서 음악의 템포 및 강약의 변화를 영상에 쉽게 반영할 수 있을 뿐 아니라 즉흥 연주에 상응하는 즉흥 영상의 생성도 가능하다. 비주얼 뮤직(visual music)을 위한 이러한 자연스럽고 직관적인 영상 생성 인터페이스의 제안이 본 연구가 지니는 의의라고 할 수 있다. This paper documents explorations into an alter native platform for creating live synesthetic imagery. Real-time synesthetic imagery is typically abstract and generated according to some predefined rules. In this project, we explore the possibility of using digitally created dancers for synesthesia and employing musical interfaces for choreographing and performing the digitally created beings. Digitally created water is explored as a metaphoric extension of the virtual dancers’ arms and hands, and implemented such that it resembles the natural properties of real water. For choreography, we designed water’s movement patterns based on Rudolf Laban’s Movement Analysis, and assigned a musical chord to each pattern carefully so that both can be related to each other in causing similar emotion. Creating imagery is done by familiar musical interfaces: musical chords and the action of playing the piano. Thus, the visual performer can easily map his unique musical emotions into imagery, and reflect each live music performance’s tempo and dynamics into imagery as well. We believe that such natural and intuitive interface for creating real-time imagery can be useful for many applications. This work suggests that having a musician create imagery by directing representational visual elements through familiar musical interfaces has potential to be used as an alternative live synesthetic imagery generative method.

LED를 이용한 체적형 3D 디스플레이 디자인에 관한 연구

김주섭(Kim, Jusub),이중재(E, Joong Jae) 한국디지털디자인협의회 2013 디지털디자인학연구 Vol.13 No.3

현재 널리 쓰이고 있는 프로젝터 기반의 디스플레이 방식의 한계는 영상의 투사가 본질적으로 2차원 물리 공간에 이루어진다는 점이라고 할 수 있다. 이것은 개별관객이 감상 방향을 정할 수 없고 모든 관객이 동일한 영상을 수동적으로 전달 받을 수밖에 없음을 의미한다. 체적형(volumetric) 3D 디스플레이는 그러한 단점을 극복하는 대안으로서 서로 다른 관람객들이 능동적으로 참여하여 360도의 다른 각도에서 동시에 시각적 경험을 하는 것이 가능하다. 미디어램프-에코루미나리는 LED를 이용한 체적형 3D 디스플레이로서 하드웨어와 콘텐츠 제작 측면 모두에서 기존의 시도와 몇 가지 구별되는 점들을 가진다. 첫째로, 하드웨어 측면에서 상시 실외 설치 용도로 1만여 개의 LED를 사용하여 제작 된 높이가 4m가 넘는 초대형 체적형 3D 디스플레이라는 점이다. LED 배치 디자인에 있어서 기기의 구조가 드러나지 않고 3차원 물리 공간과 좀 더 유기적으로 결합될 수 있도록 널리 쓰이는 정규 격자 구조대신 덜 정규적인 원통형 배열을 시도하였으며, 또한 상시 실외 설치라는 특성상 내구성과 관리성을 모두 만족시킬 수 있도록 프레임을 디자인 하였다. 둘째로, 물리적인 3차원 공간에서 디스플레이 될 디지털 볼륨 콘텐츠 제작을 위하여 물리 기반의 3D 컴퓨터 시뮬레이션과 하드웨어 디자인을 고려한 복셀(voxel) 샘플링을 도입하였다. 이러한 방법을 통하여 제한 된 해상도 내에서 최대한 사실적인 움직임을 보여주는 디지털 볼륨 시각 콘텐츠를 만들어 내려고 하였다. 본 논문에서는 유사한 사례로는 국내에서 최대 규모로 이루어진 미디어램프-에코루미나리 사례를 바탕으로 LED 체적형 3D 디스플레이의 배경과, 이러한 것을 디자인 할 때 고려해야 할 디자인 요소와, 현재 방식의 한계, 그리고 가능성에 대해서 조망해 본다. The widely used projector-based display system has the limitation that the image can only be projected on 2D physical space. It means that the audience can only passively experience the visual contents since the individual audience cannot choose the viewing angle. A volumetric display can become an alternative display that allows more active audience participation since it allows viewers to choose the viewing angle independently from other viewers participating at the same time. Medialamp-Echolu minari is a LED-based volumetric 3D display that has several distinct features. Firstly, it is a very large outdoor volumetric display of which height is over 4 meters and that comprises over 10,000 LEDs. In order to make the structure of the display less revealed, we used a more irregular cylindrical coordinates based LED layout instead of the widely used regular cartesian coordinates based layout. The frame was also designed so that it can provide durability and easy maintenance since it is a permanent outdoor installation. For creating digital volume contents displayed in the hardware, we employed physics-based 3D computer simulations and also the voxel-sampling that takes the LED layouts into account. Both contributed to making the most of the low-resolution LED display for creating realistic visual contents. In this paper, we share our experience of creating a LED based very large volumetric display and digital volume contents for the device and discuss the design elements to consider, the limitations of the current approach, and the possibilities of such devices.

디지털 물을 이용한 실시간 비쥬얼 뮤직 기법

김주섭(Jusub Kim) 한국컴퓨터그래픽스학회 2013 한국컴퓨터그래픽스학회 학술대회 Vol.2013 No.6

알고리즘 기반 모델링을 이용한 시 시각화 방법 연구

김주섭(Kim, Jusub),de Fremery, Wayne 한국디지털디자인협의회 2013 디지털디자인학연구 Vol.13 No.4

본 논문은 컴퓨터 알고리즘을 사용하여 한국 시의 패턴을 분석하고 분석된 패턴을 알고리즘 기반 모델링을 이용하여 기능적이면서 동시에 예술적 이미지로 시각화하는 한 방법을 제안하고 실험적 연구 결과를 보고한다. 한편의 시는 그 시의 특징을 잘 드러내는 한 그루의 나무로 표현되며 이 때 나무는 L-System을 사용하여 컴퓨터 알고리즘에 의해 자동으로 생성되어 진다. 이렇게 한국 시의 언어적 코드를 디지털 공간으로 매핑 하여 창조된 그림은 시를 다른 공간에서 변형하여 바라봄으로써 감상하는 데 도움을 주면서도 동시에 또 다른 예술작품의 원천으로 사용되는 것을 보는 즐거움을 준다. 한국의 대표 시인 김소월과 이상의 시를 대상으로 한 시각화 실험 결과는 제안하는 방법이 정보 전달 면에서 기능적이고 동시에 심미적인 결과를 만들어 낼 수 있음을 보여주었다. 텍스트를 비평적으로 읽는 기존의 방법과 더불어 이러한 텍스트의 예술적 시각화 변형 방법은 그 엔터테인먼트적 요소 때문에 더 많은 독자의 관심을 불러 일으켜 한국 시에 대한 더 깊은 담론이 이루어지게 할 수 있으며 기존의 친숙한 한국 시를 재 조망하게 해 주며 또한 한국어를 모르는 외국인이나 시를 어려워하는 이들이 쉽게 한국 시에 다가갈 수 있게 할 수 있는 가능성을 열어 준다는 면에서 의의가 있다고 하겠다. This paper details experiments to algorithmically detect patterns in vernacular Korean poetic texts and programmatically manifest those patterns imitatively in digital environments. Utilizing the performative / deformative processes of computing, these experiments map the linguistic codes of Korean poems into digital spaces so as to “paint” by means of poetry. Using a morphological analysis program and L-System-based procedural modeling, we “sketch” trees based six poetic compositions by two well-known Korean poets from the early twentieth century, Kim So-w?l and Yi Sang. The images conjured by our algorithmic means are meant to instruct and delight; the results are educative and aesthetically interesting. Our aspiration is to deepen the discussion of Korean poetry by enabling engagements with Korean poems that forsake discourse for image, if only temporarily. The aim is to see what Korean poetic texts can be in order to deepen discussions of what they are or might mean. The form of algorithmic reading we investigate here is not meant to supplant traditional modes of critical close reading, or, for that matter, newer forms of so-called distant reading. It may, we hope, be an entertaining tool that usefully compliments other ways of engaging with Korean poetic texts.

신경망 기반 눈 영역 추정에 의한 실시간 얼굴 검출 기법

김주섭(Jusub Kim),김재희(Jaihie Kim) 대한전자공학회 2001 대한전자공학회 학술대회 Vol.2001 No.6

비대면 수업 상황 시각장애인 얼굴 위치 인식 프로그램 〈Zoom Helper〉

김시준(Kim Sijoon),김주섭(Kim Jusub) 한국HCI학회 2022 한국HCI학회 학술대회 Vol.2022 No.2

많은 대학교는 코로나19 상황 속에서 줌(ZOOM)서비스를 활용하여 비대면 수업을 진행하고 있다. 그러나, 시각장애인의 경우 화면 속 자신의 얼굴이 제대로 송출되고 있는지 확인할 수 있는 방법이 없어 수업에 불편을 겪는 상황이 발생하고 있었다. 리서치 결과 줌(ZOOM), 그리고 다른 화상 강의 플랫폼 모두 시각장애인이 자신의 얼굴을 확인할 수 있는 시스템을 제공하고 있지 않았다. 따라서 본 프로젝트는 위와 같은 불편을 개선하기 위해 시각장애인이 시각적 정보 없이 청각적 피드백을 통해 화상 강의 플랫폼에서 얼굴 위치를 확인할 수 있는 〈Zoom Helper〉프로그램을 개발하였다.

인터랙티브 스토리텔링 기반 디지털 아카이브 검색 서비스 UX 디자인

김신효(Shinhyo Kim),채현경(Hyun-kyung Chae),김주섭(Jusub Kim) 한국HCI학회 2017 한국HCI학회 학술대회 Vol.2017 No.2

웹을 통한 데이터베이스 검색 서비스에서 개인의 취향을 분석하거나, 다른 사람들의 검색 데이터를 바탕으로 관련 데이터를 큐레이션 하여 제공하는 검색서비스가 늘고 있다. 디지털 아카이브는 역사적인 기록물을 보관하고 있는 데이터베이스로서 그 특수성으로 인해 상품을 위한 데이터베이스 큐레이션 방법과 다른 방식으로 주제에 대한 이해도를 높이고 새로운 지식을 발굴할 수 있도록 독려하는 새로운 큐레이션 방식의 도입이 필요하다. 본 연구에서는 인터랙티브 스토리텔링이 흥미와 몰입감을 높인다는 점에 주목하여 이를 적용한 큐레이션 서비스를 제안한다. 한중일 근현대 음악 자료를 가지고 있는 동아시아 음악 아카이브에 적용하여 프로토타입을 제작하였으며 모의 사용성 평가 결과 인터랙티브 스토리텔링이 실제로 주제에 대한 이해도를 높이고 새로운 정보를 발견하게 도와주고 흥미도를 높이는 데 기여하는 것으로 가능성을 나타냈다.

VR 를 활용한 생태 교육 콘텐츠 개발 연구: "VR 생태탐험대 맹꽁이편" 제작 사례를 중심으로

김휘성(Wheesung Kim),배주형(Jhoohyung Bhae),이원우(Wonwoo Lee),이화영(Hwayoung Lee),조한결(Hangyeol Jo),김주섭(Jusub Kim) 한국HCI학회 2022 한국HCI학회 학술대회 Vol.2022 No.2

〈VR 생태탐험대 맹꽁이 편〉은 안양천 실개천 생태공원에 서식하는 맹꽁이의 시점을 통해 도시에서 소동물의 생태적 적응 사례를 경험하게 해주는 아이들을 위한 가상현실 생태 교육 콘텐츠이다. 본 사례를 통해 생태소양 함양을 위한 스캐폴딩 형성 전략으로 다른 종의 시점을 통한 가상현실 경험을 아이들의 일상 경험으로 연결 지을 수 있는 가상현실 스토리텔링이 유효할 수 있음을 제안한다.

Butterfly Effect : 멸종위기동물 보호에 관한 에듀테인먼트 AR(증강현실) 보드게임 개발

김다솜(Dasom Kim),프란체스카 그랍스(Francesca Graps),김주섭(Jusub Kim) 한국HCI학회 2024 한국HCI학회 학술대회 Vol.2024 No.1

본 프로젝트는 만 7 ~10 세 아동청소년을 대상으로 지구 생태계 위기와 멸종위기동물 보호에 대한 모바일 증강 현실 활용 에듀테인먼트 콘텐츠 〈Butterfly Effect〉 기획 및 제작을 다루었다. 보드게임이라는 쉽고 재미있는 매체와 증강현실을 접목하여 증강현실 콘텐츠의 어포던스와 몰 입감을 증진시키고자 했다. 본 콘텐츠는 환경교육을 위한 새로운 방향의 에듀테인먼트를 제시하며 아동청소년들과 지속 가능한 환경에 대해 탐구하고자 한다.

홀로렌즈 기반 몰입적 인터랙티브 스토리텔링 디자인

김신효(Shinhyo Kim),한소영(So Young Han),김주섭(Jusub Kim) 한국HCI학회 2017 한국HCI학회 학술대회 Vol.2017 No.2

최근 개발된 HMD 형태 증강현실 기기 홀로렌즈는 증강현실 콘텐츠 개발에 있어서 다양한 가능성을 시사한다. 본 연구에서는 그 중에서도 스토리텔링에 주목하여 홀로렌즈로 대표되는 HMD 형태 증강현실 기기를 활용한 새로운 몰입적 인터렉티브 스토리텔링 방식을 디자인시 고려해야 할 요소들과 함께 제안한다. 이를 통해 기존의 책이나 영화 매체 등을 통한 앉아서 보는 스토리에서 걸으며 경험하는 스토리로서의 전환을 추구한다. 프로토타입 콘텐츠를 제작하여 모의 사용성 평가 결과 증강현실 기반 스토리텔링이 흥미도와 이야기에 대한 몰입감을 증대시키는 것으로 나타났다.