연속적인 이미지를 이용한 3차원 장면의 사실적인 복원

전희성,Jun, Hee-Sung 한국정보처리학회 2010 정보처리학회논문지B Vol.17 No.3

본 연구에서는 여러 이미지를 이용하여 사실적인 3차원 장면의 모델을 얻는 방법이 구현되었다. 이미지는 파라메터를 모르는 카메라를 이용하여 여러 위치에서 획득한 것을 사용하였다. 먼저 특징점 추출 및 추적 방법을 사용하여 모든 이미지에 대한 대응점들을 구하고 이 점들을 사용하여 사영복원을 구한다. 그 다음 사영 복원된 값에 여러 제약조건을 사용하여 유클리디언 복원을 하면 특징점들의 3차원 좌표값이 계산된다. 이 좌표값을 이용하여 삼각형 메쉬를 구한 후 이 면에 텍스처 맵핑을 하면 사실적인 복원이 완성된다. 전체 시스템은 C++언어로 구현하였으며, 사용자 인터페이스는 Qt 라이브러리로, 텍스처 맵핑과 모델 가시화 부분은 OpenGL 그래픽스 라이브러리로 구현하였다. 구현된 시스템의 효용성을 보이기 위해 모의 데이터와 실제 이미지 데이터를 이용하여 실험한 결과를 포함하였으며 만족할 만한 복원 결과를 얻을 수 있었다. A factorization-based 3D reconstruction system is realized to recover 3D scene from an image sequence. The image sequence is captured from uncalibrated perspective camera from several views. Many matched feature points over all images are obtained by feature tracking method. Then, these data are supplied to the 3D reconstruction module to obtain the projective reconstruction. Projective reconstruction is converted to Euclidean reconstruction by enforcing several metric constraints. After many triangular meshes are obtained, realistic reconstruction of 3D models are finished by texture mapping. The developed system is implemented in C++, and Qt library is used to implement the system user interface. OpenGL graphics library is used to realize the texture mapping routine and the model visualization program. Experimental results using synthetic and real image data are included to demonstrate the effectiveness of the developed system.

Baleen Whale Sound Synthesis using a Modified Spectral Modeling

전희성,파르나브 다르,김철홍,김종면,Jun, Hee-Sung,Dhar, Pranab K.,Kim, Cheol-Hong,Kim, Jong-Myon Korea Information Processing Society 2010 정보처리학회논문지B Vol.17 No.1

스펙트럴 모델링 합성 (Spectral Modeling Synthesis, SMS)은 뮤지컬 사운드 모델링을 위한 강력한 툴로써 사용되어 왔다. 이 기술은 사운드를 결정적 (deterministic) 성분과 통계적 (stochastic) 성분의 조합으로 간주한다. Deterministic 성분은 크기 (amplitude), 주파수 (frequency), 위상 (phase) 함수에 따른 사인파의 연속으로 표현되는 반면, stochastic 성분은 백색 잡음 (white noise)으로 자극된 시간 변화 필터로서 동작하는 크기 스펙트럼 엔블로프 (spectrum envelop)의 연속으로 표현된다. 이러한 표현들은 원음의 모든 지각적인 특징들을 활용해 합성된 사운드를 구현 가능케 한다. 하지만, 고래 소리와 같은 복잡한 사운드에 대해 기존의 SMS를 사용할 때 연속적인 프로임에 있는 부분 주파수가 다른 경우 결정적 성분에서 상당한 위상 변화가 발생한다. 왜냐하면 기존의 SMS는 사운드의 결정적 성분을 합성하기 위해서 계산된 위상을 이용하기 때문이다. 그 결과 기존의 SMS는 높은 주파수 영역에서 원래 스펙트럼과 합성된 스펙트럼 사이에서 좋은 스펙트럼 매칭을 제공하지 못한다. 이러한 문제를 해결하기 위해 본 논문은 수정된 SMS를 제안한다. 제안하는 SMS는 결정적 성분을 합성하기 위해 원래 주파수 정보를 이용할 뿐만 아니라 주파수 영역에서 복잡한 잔재 (residual) 스펙트럼을 계산함으로써 원음과 합성음 사이에서 좋은 스펙트럼 매칭을 제공한다. 다양한 고래 소리 합성을 모의 실험한 결과, 제안된 방법은 시간 및 주파수 영역에서 기존의 SMS와 유사한 성능을 보였다. 하지만, 제안된 방법은 기존의 SMS보다 스펙트럼 매칭에서 더 좋은 성능을 보였다. Spectral modeling synthesis (SMS) has been used as a powerful tool for musical sound modeling. This technique considers a sound as a combination of a deterministic plus a stochastic component. The deterministic component is represented by the series of sinusoids that are described by amplitude, frequency, and phase functions and the stochastic component is represented by a series of magnitude spectrum envelopes that functions as a time varying filter excited by white noise. These representations make it possible for a synthesized sound to attain all the perceptual characteristics of the original sound. However, sometimes considerable phase variations occur in the deterministic component by using the conventional SMS for the complex sound such as whale sounds when the partial frequencies in successive frames differ. This is because it utilizes the calculated phase to synthesize deterministic component of the sound. As a result, it does not provide a good spectrum matching between original and synthesized spectrum in higher frequency region. To overcome this problem, we propose a modified SMS that provides good spectrum matching of original and synthesized sound by calculating complex residual spectrum in frequency domain and utilizing original phase information to synthesize the deterministic component of the sound. Analysis and simulation results for synthesizing whale sounds suggest that the proposed method is comparable to the conventional SMS in both time and frequency domain. However, the proposed method outperforms the SMS in better spectrum matching.

AR-based Message Annotation System for Personalized Assistance

전희성,Vinh, Nguyen Van,Jun, Hee-Sung 한국정보처리학회 2009 정보처리학회논문지B Vol.16 No.6

본 연구에서는 특정개인에 맞춘 정황정보를 제공할 수 있는 개인화 메세지 주석시스템을 제안한다. 본 시스템에서 컨텍스트는 사용자의 신 분, 위치, 시간등을 포함하는 실체로 정의하며 사용자의 정체는 개인화된 메세지 생성의 주된 데이터이다. 컨텍스트를 감지하기 위해 증강현실 기술이 사용되며, 사용자의 위치를 추적하기 위해 실제 물체에 마커가 부착된다. 증강현실 기술은 인간의 지각과 상호작용을 강화시키는 아주 효과적인 주석 방법으로 사용될 수있다. 메시지는 가상 문자메세지 또는 3차원 가상물체일 수 있다. 실험결과는 제안된 시스템이 실시간으로 효과적으로 작동됨을 보여주며 또한 개인화 메시지를 제공하는 모바일 서비스로 사용될 수 있음을 보였다. We propose an annotation system, which allows users moving on an environment to receive personalized messages that are generated by exploiting contextual information. In the system, the context is defined as an entity including user's identity, location and time. Identity of user is a key data to enable personal aspect of generated message. For sensing the context, the proposed system uses AR(augmented reality) technology. Markers are attached to real objects for tracking user's location. AR can provide an effective annotating method to enhance human's perception and interaction abilities. The received message can be a virtual post-it or three-dimensional virtual model of object overlaid onto the real-world view. Experimental results show that the proposed system works well in real-time with high performance and it can be used as a mobile service for personalized messaging.

사진적 시각으로 본 근대건축공간의 낭만적 재현에 관한 연구

전희성(Jun, Hee-Sung),김문덕(Kim, Moon-Duck) 한국실내디자인학회 2014 한국실내디자인학회논문집 Vol.23 No.2

The purpose of this study is to elucidate that photo, which has been used as original photo`s purpose of information transfer in modern age, is now used as romantic reproduction which is the communication methods of architet`s idea and thought through photographic vision which is beyond photograph own capabilities. The photos of Mies van der Rohe and Le Corbusier`s architectural works are taken as an example for studying and analysing the way of deliverying the concept of creative work in the functional spaces in the modern era. It looked at the way of modern architecture configuration, which architects wanted to show by pictures, such as concurrency, movement, sense of exhibition and concept of time-space and planarity on photographic vision such as multiview, movement, daily life exclusion, scenography and perspective loss. Reflecting that, I presents Le Corbusier and Mies van der Rohe`s intention through photo by analyzing their picture of architecture by way of photograph techniques-camera position moving, over exposure, photomontage, silhouette technic and overlap technic. Mies van der Rohe and Le corbusier demonstrated the change and manipulation of the their architectural photos in different point of view. They express their architectural theories by photos of their works and overcome the limitation of expression of constructed building designed by them. The photos of architects`s works in the case study with photos and descriptions introduce to their design concept. The design concept of the architects have become ideal concept for many contemporary architects and keep reproducing through the photos of their architectural works.

PIE(Photo in education)를 활용한 창의적 공간디자인 교육에 관한 연구

전희성 ( Hee Sung Jun ),김문덕(교신저자) ( Moon Duck Kim ) 한국기초조형학회 2016 기초조형학연구 Vol.17 No.1

본 연구의 목적은 PIE를 활용하여 창의적인 공간디자인 교육방법을 제시하고 학생들의 창의력을 향상시키는 것이다. 공간디자인교육의 중요한 방향은 창의성 교육이다. 창의적인 사고를 하기 위해서는 학생들이 창의적인 발상과 적극적인 표현능력이 개발될 수 있도록 지원하는 교과목이 필요하다. 따라서 창의적 공간디자인 능력을 개발할 수 있는 체계적인 교육과정이 필요하다. 이제 시각적 소통과 반응이 더 친숙한 학생들을 위해 새로운 교육적 패러다임이 필요한 때가 되었다. 이 연구에서는 공간디자인 교육을 위한 기초조형교육에서 전통적인 교육방법인 그리기, 스케치 대신 사진을 활용하여 기초디자인 발상과 표현의 방법을 찾아보았다. 사진은 리얼리즘의 가장 대표적인 수단이지만 본래의 기능을 넘어 의미와 사상을 표현하는 도구가 되기도 한다. 연구의 방법은 세 가지 카테고리로 구성되어 있다. 첫째, 공간디자인 교육의 역사를 고찰하고 사진과의 연관성을 살펴본다. 둘째, PIE와 공간디자인 프로그램의 비교를 통해 공간디자인 교육의 방향성을 모색한다. 셋째, 기존 사례를 통하여 PIE를 활용한 창의적 공간디자인 교육 방법을 제시하고 수업의 결과물을 분석한다. 교육계획을 요약하면 아래와 같다. 점, 선, 면의 구성요소를 찾고 촬영하는 교육, 빛과 사물의 위치에 따라 실루엣이 형성되는 사진을 촬영하는 교육, 수평, 수직, 황금분할을 찾아내고 촬영하는 교육, 중첩되어 나타나는 형태의 질감과 패턴을 촬영하는 교육, 원근법을 찾아내어 촬영하는 교육, 포토몽타주의 제작 기법 교육, 스토리를 만들고 사진으로 촬영하는 교육, 사물을 색다른 시각으로 바라보는 사진적시각 교육을 제시한다. 수업 과정은 PIE 프로그램 별로 진행이 되었다. 이러한 과정을 실제 수업에 적용해 본 결과 학생들은 수업에 흥미를 가질 수 있었고, 유추, 창의력, 상상력, 시지각 능력, 관찰력뿐만 아니라 호기심 유발과 연상, 집중력을 높여 학생들의 창의력 향상과 긍정적인 영향을 주었다. 이와 같은 교육 방법은 공간디자인 교육과 연계하여 학생들이 자발적으로 참여하는 창조적인 사고를 키워 적극적인 수업 참여가 이루어질 것으로 기대된다. The purpose of this study is to present a teaching method of the creative space design education and to improve creativity of the students using the PIE. The important direction of the space design education is creative education. The subject of creative thinking may need which could support to creative thinking and positive expression. Therefore, systematic curriculum to develop creative space design is needed. It is time to prepare new educational paradigm for students who are mostly more familiar to visual communication and reaction. In this study, I looked into the ways of design based thinking and expressing using photographs instead of conventional drawing and sketching in basic plastic education for space design. Photos are the most mean of realism. but also a tool which presents the idea and meaning of the object beyond its original function. This method of study has three categories. First method of study is reviewing the history of the space design education and study the connection of the picture. Second method is sought of the direction of education through the compare of PIE with the space design program. The thirdly, it suggests the teaching method of creative space design using PIE through existing cases and the results of teaching will be analyzed. The teaching plan for each elements summarized are as follows. To teach how to find out the elements of an object such as points, lines and surfaces, and shooting. To teach a technique of shooting photos that show silhouette formed in accordance with light and position. To teach how to find and Shoot horizontal, vertical and golden sections. To teach how to shoot the patterns and textures of overlapped images. To teach how to shoot the perspective. To teach the technique of producing photomontages. To teach making a story and shooting it. It Suggests how to teach photographic vision different from optical vision. The courses were conducted by PIE program. As a result, applied this program to the classroom lessons, students are able to have more interest in learning, curiosity causes, association of idea, high levels of concentration as well as, analogy, creativity, imagination, visual perception ability, cognitive ability, which improved creativity of the students and their positive impact. It is expected that students will be keen to contribute the classes with growth of creative thinking which encourages voluntary attitudes, in conjunction with education of space design.

9/7텝을 갖는 정수 웨이브릿 변환을 이용한 무손실 정지영상 압축

추형석,서영천,전희성,이태호,안종구,Chu Hyung Suk,Seo Young Cheon,Jun Hee Sung,Lee Tae Ho,An Chong Koo 한국융합신호처리학회 2000 융합신호처리학회 논문지 (JISPS) Vol.1 No.1

In this paper, We compare the Harr wavelet of the S+P transform with various integer coefficient filter banks and apply 9/7 ICFB to the wavelet transform. In addition, we propose a entropy-coding method that exploits the multiresolution structure and the feedback of the prediction error, and can efficiently compress the transformed image for progressive transmission. Simulation results are included to compare to the compression ratio using the S+P transform with different types of images.

VRML과 EAI를 이용한 분산 가상환경 기반 교육 시스템의 설계 및 구현

이신걸(Shingeol Lee),전희성(Heesung Jun) 한국멀티미디어학회 2000 멀티미디어학회논문지 Vol.3 No.1

스마트폰을 이용한 실시간 영상처리와 증강현실의 구현

김재영 ( Jae-young Kim ),전희성 ( Heesung Jun ) 한국정보처리학회 2011 한국정보처리학회 학술대회논문집 Vol.18 No.1

애플의 아이폰4 스마트폰에 OpenCV 라이브러리를 활용하여 실시간 처리가 가능한 영상처리 프로그램을 구현하였다. 구현된 영상처리 프로그램은 이치화, 적응이치화, 에지 추출, 외곽선 추출 등이며 Objective-C 언어로 버튼 등의 인터페이스를 사용하는 아이폰 앱으로 구현되었다. 또한 증강현실을 구현하기 위해 Wagner가 개발한 ARToolKitPlus 라이브러리의 각 단계를 분석하였으며, 이 라이브러리를 이용해 Loulier가 아이폰에 구현한 VRToolKit을 이용하여 가상물체를 실시간으로 증강하는 실험을 진행하였다. 가상물체는 OpenGL ES 함수를 사용해 텍스처맵핑 기법으로 제작한 지구 모형으로 실시간 증강시에도 매끄럽게 정합되는 결과를 얻었다. 본 연구는 향후 스마트폰에서의 얼굴인식 등의 영상처리 프로그램 개발 및 멀티마커의 인식 등의 증강현실 프로그램 개발의 기본 토대로 사용될 수 있다.

다중 기술자를 이용한 잘못된 특징점 정합 제거

김재영(Jae-Young Kim),전희성(Heesung Jun) 한국컴퓨터정보학회 2014 韓國컴퓨터情報學會論文誌 Vol.19 No.1

이미지 기술자(descriptor)를 이용한 정합은 최근까지 컴퓨터 비전과 패턴인식 분야에서 사용되고 있는 강력한 정합 방법이다. 그러나 3차원 시점이 변화되거나 밝기가 변화된 이미지, 반복된 패턴이 포함된 이미지 등에서 잘못된 정합들이 발생한다. 본 논문에서는 반복된 패턴이 포함되어 있는 이미지에서 잘못된 정합들이 많이 발생하는 문제점에 대해 기술하고 이를 분석하여 잘못된 정합들을 제거할 수 있는 방법을 제안한다. MDMF(Multiple Descriptors-based Mismatch Filtering) 방법은 각 특징점에 대해 인접한 여러 개의 특징점들의 기술자들을 사용하여 다중 기술자를 생성한 후 이를 활용하여 잘못된 정합들을 제거한다. 실험에서는 크기 변환, 회전 변환, 어파인 변환에 대해 기존 SIFT와 ASIFT의 정합율을 MDMF를 이용해 제거한 정합율과 비교하여 MDMF가 잘못된 정합을 성공적으로 제거할 수 있음을 보였다. Feature matching using image descriptors is robust method used recently. However, mismatches occur in 3D transformed images, illumination-changed images and repetitive-pattern images. In this paper, we observe that there are a lot of mismatches in the images which have repetitive patterns. We analyze it and propose a method to eliminate these mismatches. MDMF(Multiple Descriptors-based Mismatch Filtering) eliminates mismatches by using descriptors of nearest several features of one specific feature point. In experiments, for geometrical transformation like scale, rotation, affine, we compare the match ratio among SIFT, ASIFT and MDMF, and we show that MDMF can eliminate mismatches successfully.

영어 듣기평가 신유형 문항개발의 타당도 연구

이병민 ( Lee Byungmin ),이영주 ( Lee Young-ju ),전희성 ( Jun Heesung ) 한국중등영어교육학회 2016 중등영어교육 Vol.9 No.4

This study investigates the validity of the new item types of the listening section of an English proficiency test. The agenda for developing new item types was stipulated through the needs analysis as well as the critical review of popular large-scale English proficiency tests. The tentative test specifications of the new item types were formulated in a way that the English proficiency test enhances validity as well as authenticity. The test instrument for the pilot test consisted of 20 items and the listening stimuli were presented to test takers only once. Students were asked to fill out the survey right after the test and they were also asked to elaborate on their survey responses through individual interviews. The results of item analysis, responses to survey items, and interviews provided future directions for the listening section as follows. First, picture/graph items are introduced in order to decrease overall difficulty of the listening section. Second, the new item types of the long monologue such as problem-solving and note-taking tasks are introduced in a way that they evaluate practical listening comprehension in authentic context. Third, in the case of dialogue completion items, it is advisable that options are not provided in the test booklet, which in turn contributes to construct validity. Results from the current study will feed back into the reformulation of the test specifications for the listening section of the English proficiency test.