치환 텍스트를 이용한 스토리의 변형 구현

김형기(Kim Hyunggi),백수희(Baek Soohee),한혜정(Han Hyejeong),김규정(Kim Kyujung) 한국디지털디자인학회 2008 디지털디자인학연구 Vol.8 No.1

The text losses its meaning by face to face conversation and communicates against its intension. The "signifier(=signifiant[F])" of text is generated independently. However the "signified(=signifi [F])" of text is modified and distorted by variable relationship. The first step of this work record a video file after spectator's answers about intentioned questions. The video file will be composed and edited with a video file of replaced questions. The meanings in the final video file are transformed to unexpected meanings. Flowing of whole storytelling modifies and transmits through the replaced texts. The purpose of this study is to feel a cognitive interest to spectator. 텍스트는 인간과 인간 사이의 대면대화에 의해 본연의 뜻을 상실하고 의도와 다르게 타인에게 전달되기도 한다. 텍스트는 독자적인 기표(signifier=signifiant[F])로 생성되지만 주변과의 복합적이고 다양한 관계 속에서 그 기의(signified=signifi [F])가 수정되고 변형된다. 본 연구의 프로세스는 준비된 질문 영상에 관객이 대답 하도록 하여 그 영상을 저장한 뒤 다르게 준비한 질문 영상과 합성한다. 그 대답이 관객이 예상하지 못한 의미로 변형되도록 처음 질문과 다른 텍스트의 질문으로 치환시킨다. 치환 텍스트에 의해 텍스트의 의미를 바꾸어 전달함으로써 관객에게 인지적 재미를 느끼게 하는데 연구의 목적이 있다.

디지털미디어 패러다임을 통한 인터랙티브 융합 공연에 관한 연구 : 마리오네트의 꿈(기계식물 쟈스민과의 교감)사례를 중심으로

김혜경(Kim Hyekyung),김동조(Kim Dongjo),권향아(Kwon hyanga),김형기(Kim Hyunggi) 한국디지털디자인학회 2010 디지털디자인학연구 Vol.10 No.1

In general a technology is designated as industrial applications of science and a relationship between media and technology may be an integral in these days. When the changes are being severed in these days the convergence of art and technology can be appeared strongly. Moreover this convergence phenomenon has expanded the area of expression in term of performance art. In this paper we mainly consider the expansion of area of expression in performance art through the performance art,'Marionette's Dream'. For the expansion of area of expression this paper considers how the sensibility mechanic robot,'Jasmine' which is utilized in this performance art is implemented with visual art (screen art). And this paper also considers how the interaction between the performance and the audiences can be maximized for further development of new media. Through the work which presented in this paper we were able to bring a new cutting-edge content of'Human and Robot' by presenting the convergence of the human and the robot in a communal stage. 테크놀로지는 과학의 산업적 응용을 지칭하는 용어로 미디어와 과학은 불가분의 관계이다. 오늘과 같이 변화가 심한 때에 예술과 테크놀로지의 융합 현상은 강하게 나타난다. 이러한 융합 현상은 공연 예술에서도 표현 영역의 확대를 가져 왔다. 본 논문의 작품'마리오네트의 꿈(기계식물 쟈스민과의 교감)' 공연을 통하여 공연 예술에서 표현 영역의 확대에 대해 고찰해 보았다. 이를 위해 <마리오네트의 꿈(기계식물 쟈스민과의 교감)>공연에서 활용된 뉴매틱 감성기계장치'쟈스민' 로봇이 영상 예술과 구현되는 것을 고찰해 보고 뉴미디어의 발전으로 공연과 관객사이의 상호작용성의 극대화를 분석하였다. 이러한 분석을 위하여 공연 예술의 개념의 변화에 대해 고찰하였으며 로봇이 공연 예술에 미치는 영향과 영상 디지털 디자인의 표현 영역의 확대에 대해 고찰 하였다. 본 연구자의 작품을 통하여 인간과 로봇이 하나의 공동체적 무대에서 융합 공연을 함으로서'인간과 로봇'이라는 새로운 첨단 콘텐츠를 가져왔다. 융합 공연이 앞으로 공연에서 뉴미디어 매체의 공연 예술 작품에 대한 적용과 첨단콘텐츠 활성화 및 공학적 기술과 인문 예술 등을 융합하여 기존 영역과는 차별될 수 있는 새로운 모듈을 연구하는데 융합 공연 콘텐츠의 해석에 새로운 비전을 제시 할 수 있을 것이다.

20세기 초“지각 Wahrnehmung”의 등장 양상에 관한 연구 -벤야민, 아도르노, 크라카우어를 중심으로-

김병규 ( Byungkyu Kim ),김병철 ( Byungchul Kim ),김형기 ( Hyunggi Kim ) 한국영상미디어협회 2009 예술과 미디어 Vol.8 No.2

매체를 통해 미학으로 들어간다는 것은 결국 대상을 순수한 지각으로 이해한다는 것이다." 모든 매체는 심리적이든 육체적이든 간에 특정한 인간 구조의 확장 이다."라는 맥루언의 명제는 예술의 주체와 대상이 지 각을 중심으로 이루어졌다는 말과 다르지 않다. 디지털미디어가 촉발시킨 21세기 매체 전환 물결은 미학을 지각 중심으로 분광하는 것인데, 우리는 그 지각의 복권을 20세기 초에서부터 찾을 수 있다. 영화를 비롯한 시각매체가 문자매체를 압도하면서 등장하게 되자 20세기 초 미학자들은 이 새로운 경험을 기술하고 평가하기 시작했다. 벤야민 미학의 핵심인 아우라의 붕괴는 분산 (Zerstreuung)을 수용의 방식으로, 그리고 대중적인 수용 방식을 현대 예술의 특징으로 보는 미학이다. 아도르노는 파편적이고 분산적인 미적 체험이 오히려 관객들의 경험과 지각을 원자화시킨다고 비판했다. 크라카우어의 논의는 현대의 경험, 또는 대중문화는 그 자체로 긍정적이거나 부정적인 것이라기보다 현실을 포착하는 힘을 가지고 있기에 양자의 계기를 모두 포함한다는 것이다. 크라카우어의 중심 개념 중 하나 인``표피``는 깊지 않지만 안과 밖을 모두 포함하며, 왜곡하지 않는다는 것이 크라카우어의 논리이다. 이 논문은 20세기 초 변화된 미학의 지평 위에서 새로운 미디어를 어떻게 수용하려 했는가에 대하여 분석함으로써 지각이라는 개념이 미학의 중요한 키워드로 자리 잡을 수 있는 것인지를 확인하려 하였다. What the aesthetic deals with media that the object is eventually understood as a pure perception. McLuhan`s proposition, "All media is the expansion of a specific human structure even though it is psychological or physical" is not different from the meaning which the object and the subject of art has discussed with the perception. The wave of media conversion triggered in the 21st century by the digital media is that the aesthetic radiates from the concept of the perception. We can notice the reinstatement of the perception from the theories in the 20th century. When the visual media including a film overwhelmed the written media, the theorists in the early 20th century have begun to analyze and depict it. As the collapse of an aura in contexts of the aesthetic in Walter Benjamin regards dispersal (Zerstreuung) with embrace, the way of public embrace is an aesthetic considered as a distinct in modern art. Adorno criticized that the fragmental, dispersal aesthetic experience atomizes the spectators` perception. Kracauer discussed that the experience in modern society and public culture is not a matter of denial or affirmation, but it contains the both matter, because it has a power to seize a reality. One of his central concepts, ``surface`` contains the outside and inside and does not distort, even though it is not deep. As this paper analyzes how accepts the new media on a changed prospect in the early 20th century, it makes sure that the concept of perception can be positioned as a keyword at the center of aesthetic.

비사실 렌더링을 이용한 감성기반 스토리보드에 대한 연구

김두범(Dubeom Kim),김형기(Hyunggi Kim) 한국HCI학회 2007 한국HCI학회 학술대회 Vol.2007 No.2

인터랙티비티(interactivity)를 이용한 시의 확장 : Golan Levin의 <Dialtones : A Telesymphony>를 중심으로

김동조(Dongjo Kim),강창구(Changkoo Kang),김형기(Hyunggi Kim) 한국HCI학회 2008 한국HCI학회 학술대회 Vol.2008 No.2

최근 미디어믹스(media mix)나 폴리시믹스(policy mix), 마케팅믹스(marketing mix)처럼 서로 다른 성격의 여러 가지 매체를 적절하게 혼용하여 효과를 극대화 하는 인터렉티브에 대한 관심도가 높아졌다. 이는 시대적으로 제약적인 기존의 표현영역에 인터랙티비티(interactivity)를 추가하거나, 재생산하여 사용자와의 관계성을 부각하고, 확장시켜 새로운 대안을 찾고 있는 것으로, 본 논문은 이러한 인터랙티비티의 요소를 시에 적용하여 시의 영역을 확장하고자 한다. 작가만이 작품개념의 시에 의미를 부여하는 관점에서 벗어나 시를 통해 작가의 의도 표현과 동시에 감상자가 작품 내에서 주관적 의미를 부여할 수 있게 만드는 방법을 모색한다. 따라서 작품상에서 작가는 인터렉티비티한 다양한 방법으로 독자와 소통하게 되며, 관계성의 상승효과를 일으킨다. 본 논문에서는 시에 인터렉티비티를 활용하는 세 가지 방법을 제시하고 작품 안에서 작가와 감상자가 얻는 심상의 영역을 넓힌다. 첫째, 형식을 바탕으로 한 관조적으로 감상하는 시에 인터랙티비티(interactivity)를 추가하여 시의 표현영역을 확장하고, 둘째, 감상자의 능동적인 인터랙션을 통하여 기존형식에서 벗어나 주관적으로 다양한 해석을 가능케 하며, 셋째로 작가와 감상자의 상호작용을 통해 시의 새로운 표현 방식을 확립한다. Recently, media mix, or mix Policy, the marketing mix, as several different personalities mixed media, as appropriate to maximize the effectiveness of interactive for the increased interest. This is the era of constrained expression of the existing inter-rack area or add to interactivity, the reproduction of the emerging relationship with the user, and extend it by looking for a new alternative, in this thesis is that the elements of these interactivity When applied to the area of the city would be extended. Only the concept of a writer at work that gives meaning to the poem from the perspective of the author's intent at the same time, and enjoy self-representation within the subjective meaning of work and how to seek grant. Therefore, work on the readers and writers are interactivity variety of ways to communication and effect relationship sincerity rise causes. This thesis at the interactivity are three ways to take advantage of the present work in the area of the author and sentimental self-image gain. First, the type of sentimental survey based on the rack at the interactivity to expand the city's area of representation, and second, through user existing types of active interaction in a variety of subjective interpretations allow us to escape, and Third, the interaction between the author and user way through the city to establish new forms of expression.

3개의 광 마우스를 이용한 강건한 광학식 거래주행계

김성복(Sungbok Kim),김형기(Hyunggi Kim) 제어로봇시스템학회 2006 제어·로봇·시스템학회 논문지 Vol.12 No.9

유아를 위한 다수 참여형 미디어 인터페이스 연구

장윤제(Chang, Yoon Je),김형기(Kim, Hyunggi) 한국디지털디자인협의회 2013 디지털디자인학연구 Vol.13 No.2

미디어 기술의 혁신과 교육열을 바탕으로 최근에는 유아를 위한 체험형 미디어 콘텐츠에 대한 관심이 증가하고 있다. 이는 무엇보다도 감각과 체험이 어느 시기보다도 중요한 유아의 특성상 인터랙티브 미디어가 멀티미디어 교육의 요구를 충족시켜줄 수 있는 부분들이 많기 때문이다. 인터랙티브 미디어의 체험형(hand-on) 전시는 관객이 작품에 참여하며 완성한다는 특징을 가지고 있다. 인터랙티브 미디어의 인터페이스는 체험의 과정에서 중요한 역할을 담당한다. 유아들이 개인용 미디어를 통해서 콘텐츠와 상호작용하는 것을 체험형 전시와 비교하면 그 체험의 방식에서 새로운 특성을 발견할 수 있다. 체험형 인터랙티브 미디어 아트 전시의 경우, 콘텐츠와 유아의 상호작용 이외에도 작품에 함께 참여하는 또래집단 간의 상호작용 관계가 발생하게 된다. 기존의 교육용 미디어 프로그램이나 관련 연구는 주로 웹기반이거나 개인 미디어 중심이었기 때문에, 다수를 대상으로 하는 작품에서의 상호작용과 인터페이스에 대한 연구가 필요하다. 본 연구에서는 어린이 체험 전시에 출품되었던 작품 10점을 분석의 사례로 선정하고, 다수 유아가 작품에 참여 할 때 발생되는 다양한 감정들과 인터페이스를 각각 여섯 가지로 분류했다. 그 중에서 긍정적 상호작용으로 간주할 수 있는 ‘협동(collaboration)’에 관련된 인터페이스의 특성을 분석하는데 연구의 목적을 두었다. 이를 위해서 선행 연구들을 참조하며 인터페이스를 물리적, 정신적인 측면으로 분류하여 분석했다. 체험형 미디어 전시가 다수의 참여를 전제로 한다는 점과 다른 한편으로는 유희적인 측면이 강조된다는 점에서 컴퓨터 게임의 상호작용성에 비교하여 연구를 발전시켰다. 본 연구는 결론적으로, 다수 참여 인터페이스의 물리적 특징과 유아 놀이의 심리적 특징을 연결하여 협동의 효과를 극대화하는 방안을 탐색한 결과이다. Today, the great interest of hand-on multi media contents for child is increasing. The child is important time required to meet diverse experiences and developing senses. Hand-on multi media contents will give satisfaction to child. An interactive art work is completed through user"s participation and interactive communication. We focus on multi-user"s interaction. That"s why the child learn many things playing with a peer group. The interface is important tool sharing physical and mental interaction. This paper analyzed emotional exchange among specific participants aimed at children. It appears six different psychological relations among children participating in artwork, those are characterized in words of competition, intervention, observation, isolation, improvisation, and collaboration. Above all, this paper tried to figure out interface factors connecting to physical and psychological characteristics for the purpose of collaboration with a peer group in artwork.

피지컬 컴퓨팅을 활용한 확장된 피아노 퍼포먼스의 구현 방법에 관한 연구 - 본인 작품 < Err_Connection >을 중심으로 -

이상원 ( Lee Sangwon ),김형기 ( Kim Hyunggi ) 한국영상미디어협회 예술과미디어학회 2021 예술과 미디어 Vol.20 No.1

본 논문은 피지컬 컴퓨팅(Physical Computing) 기술을 통해 확장된 피아노 퍼포먼스를 시도한 본인 작품 < Err_Connection >의 실제적인 구현 방법 중심으로 진행된다. 피아노 연주자의 관점에서 자신이 연주하는 악기의 소리와 표현 요소의 확장은 새로운 음악적 창작과 직결될 수 있는 중요한 부분이다. 20세기에 선행된 존 케이지(John Cage)의 장치 피아노(Prepared Piano)는 현과 현 사이에 다양한 물체를 장치하는 방법으로 피아노 소리를 확장하려는 시도였고, 피아노 한 대 안에서 피아노 고유의 소리, 타악기적인 소리, 소음에 가까운 소리 등 다양한 음색(Timbre)을 연주할 수 있었다. 최근 디지털 기술의 급속한 발전으로 새로운 타입의 전자악기들이 등장하며 기존의 악기들을 대체하기도 하지만 작품 < Err_Connection >에서는 여전히 어쿠스틱 피아노가 중심에 있고, 컴퓨터가 보내는 디지털 신호에 의해 솔레노이드(Solenoid)가 직접 현을 때리는 물리적인 방법을 사용한다. 실제 세계와 디지털 세계를 연결하는 피지컬 컴퓨팅 기술을 사용해 소리와 그것을 발생시키는 피아노 내부의 시각성과 일치하려는 의도는 관객의 감각인지 부조화를 막기 위함이다. 또한 피아노 내부에서 만들어 낼 수 있는 불규칙한 소음들은 다른 어떤 것으로 대체되기가 어렵기 때문에 여전히 응용되며 융합적으로 연구할 필요성이 있다. 본문에서는 실제적인 구현을 위한 하드웨어/소프트웨어의 준비와 제작에 관한 내용을 담았다. 아두이노(Arduino)와 에이블톤 라이브(Ableton Live)를 연동시켜서 본 작품의 음악적 구상과 목적에 맞게 활용한 방법이 구체적으로 담겨 있으며 결론에서는 공학기술을 적용한 융합적인 공연에서 발생할 수 있는 문제와 그것에 대비하는 연습과 노력의 필요성을 강조했다. This paper studies about my work < Err_Connection >, which tried to combine with physical computing technology and acoustic piano performance. From the pianist’s point of view, the expansion of the sound and expression elements of instruments is an important part that can be directly connected to new musical creation. The prepared piano of John Cage in the twentieth century, was a new attempt to expand piano sound by using various objects between piano strings, therefore, the piano was enable to play various timbres like piano’s own sound, percussion sounds, and noisy sounds. New types of electronic instruments have appeared by rapid development recently in digital technologies, so they replace existing instruments. However, the main instrument of the piece < Err_Connection > is still an acoustic piano, and it uses a physical method by which the solenoid valve hits the strings directly through the digital signal sent by the computer. The sound using physical computing technology that connects between the real world and the digital world is intended to match the visuality inside the piano that generates it to prevent the disharmony of the audience’s sense recognition. In addition, irregular noises that are produced inside the piano are still hard to replace with other things, so it is still applicable and needs amalgamative studies. The paper contains the preparation and production of hardware/software for practical implementation. The body contains more specific methods of linking Arduino and Ableton Live to apply the musical idea and purpose of the composition. The conclusion explains about the problems that can be occurred by convergent performances with engineering techniques and the need for practice and effort to prepare them.

AI 기술을 이용한 관객 상호작용 노화현상 생성 미디어아트 - 연구자의 미디어아트 작품 〈Chemistry〉를 중심으로 -

마적 ( Ma¸ Di ),김형기 ( Kim¸ Hyunggi ) 한국영상미디어협회 2020 예술과 미디어 Vol.19 No.1

본 논문은 상호주관성의 철학적 사유에 입각하여 인간과 인공지능의 의식과 감정 사이의 관계를 탐구한다. 제2장에서는 국내외 미디어아트와 생성적 대립 신경망(Generative Adversarial Network)의 기술 개발 현황, 그리고 작품 〈Chemistry〉의 예술성과 기술성에 대해 자세히 설명했다. 제3장에서는 작품 〈Chemistry〉가 주는 영감과 사고를 바탕으로 한 상호주관성 사유의 관점에서 인공지능이 ‘인간 의식과 감정의 확장’이라는 점을 철학적으로 증명하고자 시도했다. 인공지능이란, 인간의 지능을 기술적으로 모방하여 ‘사물화’시킨 것이다. 본 작품에서는 이러한 인공지능을 활용하여 감상하는 관객이 공감하도록 유도했다. 대략적으로 설명하자면, 우선 인공지능으로 사람의 얼굴을 인식하여 안면 노화를 진행시킨다. 그리고 사계절의 변화와 꽃이 시드는 과정을 함께 보여줌으로써 관객은 마음 깊은 곳에서 작품과 상호작용 할 수 있도록 했다. 이러한 과정을 통해 ‘인간의 의식’에서는 확장이 일어난다. 제3장에서는 인공지능의 단점을 보완하기 위한 해법을 제시했다. 왜냐하면 오늘날 아무리 빠르게 발전하고 있는 인공지능이라고 해도 인간의 깊은 감정적 욕구까지 충족하지 못하기 때문이다. 이때 예술이 인간과 기계 사이에서 일어나는 상호작용의 매개체로 매우 중요한 역할을 한다. 인공지능은 인간의 심층적인 감정과 그 울림을 정확하게 식별하지 못한다. 이에 반해 예술은 가장 인간적인 요소이다. 인간이 창조한 예술은 무형의 형태로 모든 사람들에게 지속적인 영향을 미치고 있다. 예술은 매우 간단해 보이는 방식으로도 사람의 마음을 감동시킬 수 있다. 필자의 작품에서는 예술을 인간과 인공지능 간의 소통을 가능케 하는 ‘다리’ 역할을 한다. 과학 연구에 대한 사회적 관심이 날로 높아지는 가운데, 우리는 철학적 관점에서 인간과 인공지능 사이의 관계를 깊이 고찰해야 하며 매개체 역할을 하는 인공지능의 능동성에 주목해야 한다. This article uses the philosophy of intersubjectivity to examine the connection between artificial intelligence and human emotional awareness. It first analyzes Korea and overseas new media art along with technological development based on generative adversarial networks, and then provides a detailed explanation of the artistry and techniques used in the new media artwork Chemistry. while the third chapter, on the foundation of our grouped artwork as inspirational thinking and based on intersubjective thinking, elaborates on artificial intelligence as a philosophical viewpoint of the extension of human emotional awareness. Artificial intelligence is a simulated technological phase of awareness and the ‘objectification’ of intelligence. People create a sense of empathy when they view artwork. In addition, artificial intelligence can distinguish between human faces, and can detect signs of aging, seasonal changes, as well as when flowers wilt. Artwork causes people to react with profound emotional responses that expand their human awareness. The third chapter finally proposes, in today’s era of rapidly developing artificial intelligence, how artificial intelligence can fulfill humanity’s defects displayed through their deep emotions. The following chapter proposes a solution for this problem, which is to turn art into an emotion- based medium that can enable communication between human beings and artificial intelligence. Artificial intelligence is incapable of precisely and effectively differentiating between humans’ deep emotional fluctuations. In contrast, art is one of the most humanized things. Humanity creates art, but at the same time, art’s intangible thinking constantly influences each person. It can even use what seems like the simplest methods to touch people’s soul. Therefore, our artwork will view art as an ‘intermediary’ to enable people to communicate with artificial intelligence, and in today’s era in which all of society focuses more on scientific research, this article tries to emphasize the importance of art’s development in artificial intelligence.

Sound에 반응하는 LED 라이트아트에 관한 연구

한정화(Junghwa Han),김형기(Hyunggi Kim) 한국HCI학회 2009 한국HCI학회 학술대회 Vol.2009 No.2

1960 년대에는 키네틱아트와 함께, 네온, 형광등 등을 이용한 라이트아트가 등장했다. 빛과 공간예술(light and space art)도 더불어 함께 등장했다. 키네틱아트 연장선상에 있다고 할 수 있는 라이트아트가 예술의 전자화 경향을 보여주고 움직임을 중시하고 있다면, 빛과 공간예술은 좀 더 심리적인 측면을 강조하고 움직임 그 자체보다는 현상적 경험을 중시하고 있다. 일반적으로 라이트아트는 시각적인 유희성으로 끝날 수 있는 반면, 빛과 공간예술은 유희성과 함께 빛과 공간을 시각으로 경험하며 많은 심리 변화를 느끼게 해준다. 본 논문에서는 이러한 라이트아트의 단점을 보완한 본인의 작품을 바탕으로 LED 의 색 변화가 사람의 심리에 미치는 영향과 사운드를 이용한 LED 컨트롤 방법을 연구하였다. 자칫 라이트아트에서 느껴질 수 있는 기계적 느낌과 차가운 느낌을 염두 하여 관객이 자신으로 인해 변화하는 빛을 시각으로 경험하여 작품과 하나됨을 느끼게 하는 것이 본 작업의 목적이며, 그러한 본인의 작품을 기반으로 관객이 생성하는 사운드와 함께 이루어지는 상호작용적 요소와 색채심리를 접목시킴으로써 사람의 감성에 자극을 줄 수 있는 방법을 모색하고자 한다. 그 결과 기존의 빛과 공간예술의 개념에 상호작용적 요소를 접목하여 관객의 심리에 영향을 주는 미디어 아트의 또 다른 형태를 제시하였다. In the 1960s, light art using neon or fluorescent lamp, etc and 'light and space art' appeared with kinetic art. Light art that is an extension of kinetic art tends to be digitalized art and focus on movement, while light and space art emphasizes psychological side and focuses more on phenomenal experience than movement itself. Light art generally tends to offer visual play, but light and space art offers not only visual play but also deep impression on audience's mind. In this paper, LED control method using sound and how color change influences people's mind are studied based on my works try to supplement shortcoming of light art. The main goal of my work is to make more effective and empathic interaction between audience and light in order to avoid cold and mechanical impressions that light art has. Based on its contents, this study seeks method to stimulate people's emotion, and suggests applying mentality on the color and sound interaction together to media art. In conclusion, it is believed that new model of media art is suggested through this study.