가상환경의 인터랙티브 사운드를 위한 'EVE-Sound^TM' 툴킷

남양희,성숙정,Nam, Yang-Hee,Sung, Suk-Jeong 한국정보처리학회 2007 정보처리학회논문지B Vol.14 No.4

본 논문은 2D/3D 가상환경에서 실감 사운드의 실시간 합성을 위한 $EVE-Sound^{TM}$ 툴킷의 설계와 개발결과를 제시한다. $EVE-Sound^{TM}$는 사운드 효과 계산에 필요한 장면요소를 간추리는 전처리 도구와 실시간 렌더링 API들로 구성되며, 다중 모달리티의 실감 재현을 필요로 하는 가상현실, 게임 등의 각종 인터랙티브 콘텐츠에서 사용자에게 고급 그래픽 환경을 허용하면서 동시에 사운드의 실시간 재현을 가능하게 함을 목표로 하였다. 3차원 사운드 계산이 매우 복잡하기 때문에 기존의 사운드 API들이 간단한 사운드 효과와 재생을 제공하는 것과 달리, 복잡한 가상환경에서 3차원 사운드의 원리를 반영하되 그 렌더링을 실시간화하는 데 초점을 두었고, 이를 위해 새로운 장면 간략화 및 공간사운드 계산 방법이 제시되었다. 응용 사례 및 실험, 알고리즘 분석을 통해 제시된 툴킷의 활용성 및 향상된 실시간성을 확인하였다. This paper presents a new 3D sound toolkit called $EVE-Sound^{TM}$ that consists of pre-processing tool for environment simplification preserving sound effect and 3D sound API for real-time rendering. It is designed so that it can allow users to interact with complex 3D virtual environments by audio-visual modalities. $EVE-Sound^{TM}$ toolkit would serve two different types of users: high-level programmers who need an easy-to-use sound API for developing realistic 3D audio-visually rendered applications, and the researchers in 3D sound field who need to experiment with or develop new algorithms while not wanting to re-write all the required code from scratch. An interactive virtual environment application is created with the sound engine constructed using $EVE-Sound^{TM}$ toolkit, and it shows the real-time audio-visual rendering performance and the applicability of proposed $EVE-Sound^{TM}$ for building interactive applications with complex 3D environments.

비디오 객체 정의에 의한 동적 증강 정보 저작

남양희(Yang-Hee Nam),이서진(Seo-Jin Lee) 한국콘텐츠학회 2013 한국콘텐츠학회논문지 Vol.13 No.6

증강현실에서 움직이는 가상 모델을 증강물로 활용하려면 대개 별도의 모델링이나 애니메이션 도구 사용이 필요하며 이는 매우 전문적이고 복잡한 작업이다. 본 논문에서는 그러한 과정 없이 동적 가상 객체를 증강 환경에 삽입할 수 있는 방법으로 비디오 객체 기반 저작 방법을 제시한다. 그랩컷과 그로컷을 통합 적용하여 대상물의 초기 영역을 분리한 후, 스냅컷을 이용해 프레임간 경계선 변화를 자동 추적하여 동작이 담긴 연속 프레임을 실사 비디오에 증강하는 방식이다. 실험결과로, 몇 단계의 메뉴 선택과 경계선 오류 정정 스케치만으로 특정 비디오 객체 컷아웃 및 증강 객체 저작이 가능함을 보였다. It is generally required to use modeling or animation tools for inserting dynamic objects into augmented reality, and this process demands high expertise and complexity. This paper proposes a video object based authoring method that enables augmentation with dynamic video objects without such process. Integrated grab-cut and grow-cut method strips initial area of video target off the existing video clips, and snap-cut method is then applied to track objects’ boundaries over frames so as to augment real world with continuous motion frames. Experiment shows video cut-out and authoring results achieved by only a few menu selections and simple correcting sketch.

정보통신 업체 설문을 통한 대학 인력 양성 요구 방향

남양희(Yang Hee Nam) 한국정보과학회 2001 정보과학회지 Vol.19 No.12

충돌음 합성에 의한 가상환경의 청각적 인터랙션 디자인

남양희(Yang-Hee Nam) 한국콘텐츠학회 2013 한국콘텐츠학회논문지 Vol.13 No.5

본 논문에서는 객체 간 충돌음과 같이 가상환경의 발생 상황을 전달할 수 있는 중요한 감각 채널 중 하나인 소리를 통해 청각적 인터랙션을 디자인할 수 있는 방법을 제시하였다. 철, 고무, 유리 등 물질별 기본음 샘플에 대해 각각의 고유음을 특징짓는 모드 게인 값의 스케일 변경을 허용함으로써 디자인적 변형이 가능 하도록 하고, 충돌 상황에 대한 인지적 속성인 충돌체의 크기, 딱딱한 정도, 접촉면적, 충돌 속도 차이에의한 충돌음의 변화를 실시간에 재현할 수 있게 하는 계산적 알고리즘을 사용한 방법이다. 소리를 통한 충돌물체의 물질 및 충돌 상황 인지 실험을 통해 제안된 방법이 가상환경 청각적 인터랙션 디자인에 사용될 수 있음을 보였다. Focused on the fact that sound is one of the important sensory cues delivering situations such as impact, this paper proposes an auditory interaction design approach for virtual environment. Based on a few sampling of basic material sound for various materials such as steel, rubber, and glass, the proposed method enables design transformations of the basic sound by allowing modification of mode gains that characterize natural sound for the material. In real-time virtual environment, it also provides simulation of modified sound according to the change of impact situation’s perceptual properties such as colliding objects’ size, hardness, contacting area, and speed. The test results on cognition experiment for discriminating objects’ materials and impact situation by sound showed the feasibility of proposed auditory interaction design method.

가상환경의 인터랙티브 사운드를 위한EVE-Sound(TM)툴킷

남양희 ( Yang Hee Nam ),성숙정 ( Suk Jeong Sung ) 한국정보처리학회 2007 정보처리학회논문지B Vol.14 No.4

This paper presents a new 3D sound toolkit called EVE-SoundTM that consists of pre-processing tool for environment simplification preserving sound effect and 3D sound API for real-time rendering. It is designed so that it can allow users to interact with complex 3D virtual environments by audio-visual modalities. EVE-SoundTM toolkit would serve two different types of users: high-level programmers who need an easy-to-use sound API for developing realistic 3D audio-visually rendered applications, and the researchers in 3D sound field who need to experiment with or develop new algorithms while not wanting to re-write all the required code from scratch. An interactive virtual environment application is created with the sound engine constructed using EVE-SoundTM toolkit, and it shows the real-time audio-visual rendering performance and the applicability of proposed EVE-SoundTM for building interactive applications with complex 3D environments.

3D 롤러코스터 게임을 위한 상호대화적 실시간 저작도구

남양희(Yang-Hee Nam),이상곤(Sang-Kon Lee) 한국정보과학회 2001 한국정보과학회 학술발표논문집 Vol.28 No.2Ⅱ

본 논문은 3차원 롤러코스터 시뮬레이션 게임기를 제작함에 있어서 사용자가 단순히 고정된 트랙 및 배경을 대상으로 롤러코스터를 타는 것이 아니라 자신이 원하는 게임환경을 구축할 수 있도록 하는 상호대화적 실시간 저작도구의 개발 내용을 제시한다. 트랙의 모양이나 경로, 배경장면이 미리 구성되거나 고정되는 것이 아니므로, 실시간으로 사용자와의 상호작용을 통해 트랙 데이터를 생성하고 트랙에 잘 융합되는 배경을 생성하기 위한 트랙구성 방법 및 자동 배경생성 알고리즘을 중심으로 소개한다.

가상캐릭터의 디지털 한복 모델링을 위한 지식기반 접근법

이보란,오수정,남양희,Lee Bo-Ran,Oh Sue-Jung,Nam Yang-Hee 한국정보처리학회 2004 정보처리학회논문지B Vol.11 No.6

Garment modeling and simulation is now one of the important elements in broad range of digital contents. Though there have been recent products on garment simulation, general users do not know well enough how to design a virtual costume that meets some requirements about its specific clothing pattern. In particular, Hanbok - the Korean traditional costume - has many different characteristics against western ones in the aspect of its pattern design and of draping. This paper presents a knowledge-driven approach for virtual Hanbok modeling without knowing how to make real Hanbok. First, parameterized knowledge for several fabric types art solicited using visual similarity assessment from simulated and real cloth. Secondly, based on the analysis of designer's knowledge, we defined multi-level adjustment processes of Hanbok measurements with regard to body shape features for different virtual actors. An experimental system is developed as the form of a Maya plug-in and the result shows the applicability of the proposed method. 3차원 의상 모델링과 시뮬레이션은. 디지털 콘텐츠에서 중요한 요소가 되었다. 이를 위한 여러 도구들이 개발되었으나, 고유한 의복을 표현하는 가상 의상의 디자인은 그래픽 디자이너에게 어려운 작업이며 의상에 대한 전문지식을 필요로 한다. 특히, 한복의 경우는 옷감, 재단방식, 착용법 등에서 양복과는 구성학적 차이점을 지니므로 모델링이 더욱 어렵다. 본 연구에서는 한복 제작에 대한 전문성이 없이도 한복을 쉽게 모델링 할 수 있도록 하는 지식 기반 접근법을 제안한다. 특히, 실사 및 가상 옷감의 시각적 유사성 판단 방법에 의해 옷감 소재 특성 규칙베이스를 구축하고, 신체 특성이 다른 캐릭터들의 체형 특성을 반영한 한복 사이즈의 부분별 다단계 조정 방법을 지식베이스 화하였다. 제안된 지식 기반 모델링 방법은 마야의 플러그-인으로서 제작되었고 다양한 신체형에 대한 드레이핑(착용 시뮬레이션) 실험을 통해 적용 가능성을 보였다.

아바타 모션제어를 위한 종이인형 굽힘 메타포어

이은우(Eun-Woo Lee),남양희(Yang-Hee Nam) 한국정보과학회 2003 한국정보과학회 학술발표논문집 Vol.30 No.1B

본 논문에서는 사용자가 제공하는 2차원의 캐릭터 스케치를 3차원의 시각적 이야기 저작 시스템의 아바타로 활용하기 위해, 어린이들이 종이 인형을 가지고 굽히거나 펴서 동작을 만들며 놀이를 하던 방법을 입력 메타포어로 사용하는 것을 제안하였다. 2차원 영상을 3차원화하는 기존의 연구들은 카메라 파라미터의 복원 등 복잡한 시스템을 필요로 하며 일반 사용자가 이야기 저작시 쉽게 적용하기 어려운 데 반해, 본 메타포어를 기반으로 한 시스템은 정교하지는 않으나 일반인이 쉽게 이해할 수 있는 아바타 제어 방법을 제공한다.

일반화된 모델의 변형에 의한 실내 통로공간 추적

이서진(Seo-Jin Lee),남양희(Yang-Hee Nam) 한국콘텐츠학회 2010 한국콘텐츠학회논문지 Vol.10 No.4

증강현실에서 3차원적 증강은 입력 비디오나 이미지로부터 3차원 구조 복원 및 추적을 필요로 한다. 이를 위해 제안된 기존의 방법들은 대개 정확한 3차원 모델을 사전에 구축해두고 실시간에 대조하는 방식을 취하였는데, 이 방식은 정확한 측정에 기반한 모델이 있어야 한다는 점과 대상물을 일일이 모델링해야하는 문제점이 있다. 본 논문은 각 대상물별 정밀한 모델 없이 유형별로 일반화된(generic) 모델만을 사용하는 방식을 제안함으로써 층간 이동 등을 허용하는 광범위 이동형 실내 증강현실 응용 가능성을 제시하고자 하였다. 제안한 방법은 일반화된(generic) 모델을 변형(affine transformation)하여 주어진 장면에서 오류 임계치 이내의 정합을 이루는 모델 변형 값인 스케일, 위치, 회전 값을 찾아냄으로써, 그에 따라 정합된 3차원 공간구조에 관해 일관성 있게 증강객체가 배치될 수 있도록 하는 것이다. 이 방법은 정밀 모델링에 드는 시간과 노력 비용을 줄이며, 실험을 통해 크기나 디테일은 다르지만 유사 패턴이 반복되는 통로구조의 복원과 추적에 사용될 수 있음을 보였다. In Augmented Reality, it needs restoration and tracking of a real-time scene structure for the augmented 3D model from input video or images. Most of the previous approaches construct accurate 3D models in advance and try to fit them in real-time. However, it is difficult to measure 3D model accurately and requires long pre-processing time to construct exact 3D model specifically. In this research, we suggest a real-time scene structure analysis method for the wide indoor mobile augmented reality, using only generic models without exact pre-constructed models. Our approach reduces cost and time by removing exact modeling process and demonstrates the method for restoration and tracking of the indoor repetitive scene structure such as corridors and stairways in different scales and details.

데스크톱 3D 홀로그램 피라미드에서 피라미드 단면 사이 사용자 이동에 따른 끊김 없는(seamless viewing control) 뷰 생성

황선주(Sun-Ju Hwang),남양희(Yang-Hee Nam) 한국콘텐츠학회 2021 한국콘텐츠학회논문지 Vol.21 No.3

홀로그램 피라미드는 플로팅 홀로그램의 응용으로, 착용형 장비 없이 다각도에서 3D 홀로그램을 감상할 수 있게 하는 장치이다. 저렴하고 제작이 간단하다는 장점으로 교육, 프로토타이핑, 쇼케이스 등 다양한 분야에서 사용되고 있다. 그 중에서도 데스크톱형 홀로그램은 기존의 홀로그램 피라미드의 크기를 키워 더욱 선명하고 크게 홀로그램을 감상할 수 있게 하였다. 하지만 다각도에서 홀로그램 피라미드를 감상할 수 있음에도 불구하고, 피라미드의 각각의 면이 이어지는 곳에서 홀로그램을 감상할 경우, 홀로그램이 끊기거나 왜곡되는 현상이 있다. 뿐만 아니라, 기존 홀로그램 피라미드에 투사되는 영상은 단순히 각각의 면에 홀로그램을 90도씩 회전시킨 4개의 뷰를 투사하도록 제작되어 있기 때문에, 사용자가 다양한 각도에서 홀로그램을 감상하더라도 4개의 각도에서 바라본 뷰 밖에 보지 못한다. 본 논문에서는 이러한 문제를 해결하기 위해 사용자의 위치를 추적하여 사용자의 시선 각도에 해당하는 홀로그램 영상을 생성 후, 역으로 왜곡하여 투영된 홀로그램이 왜곡되지 않는 방법을 제안하고, 기존의 홀로그램 피라미드 영상을 사용한 결과와 새롭게 제안한 방법을 적용한 결과를 비교 하였다. The hologram pyramid is an application of floating holograms, allowing the observer to see three-dimensional holograms from various angles without wearing wearable devices. Due to the low cost and ease of manufacturing, it has been used in a wide variety of fields as diverse as education, prototyping, showcase, and etc. But, when the observer looks at the hologram from the place where each side of the hologram pyramid is connected, the hologram looks cut and distorted. Also, the observer can see the only hologram of angles viewed head-on from each side. In this paper, we propose a method of generating a hologram image corresponding to the observer’s gaze angle by tracking the observers position and conducting reverse distortion. It provide a hologram of the angle viewed by the observer without cutting and distortion. In addition, the existing method and the proposed method were applied and compared in the hologram pyramid.