착용형 양안 시선추적기와 기계학습을 이용한 시선 초점 거리 추정방법 평가

신춘성,이영호,이건,김영민,홍지수,홍성희,강훈종 (사)한국컴퓨터그래픽스학회 2018 컴퓨터그래픽스학회논문지 Vol.24 No.1

In this paper, we propose a gaze depth estimation method based on a binocular eye tracker for virtual reality and augmented reality applications. The proposed gaze depth estimation method collects a wide range information of each eye from the eye tracker such as the pupil center, gaze direction, inter pupil distance. It then builds gaze estimation models using Multilayer perceptron which infers gaze depth with respect to the eye tracking information. Finally, we evaluated the gaze depth estimation method with 13 participants in two ways: the performance based on their individual models and the performance based on the generalized model. Through the evaluation, we found that the proposed estimation method recognized gaze depth with 90.1% accuracy for 13 individual participants and with 89.7% accuracy for including all participants. 본 논문은 가상현실 및 증강현실을 위해 양안식 눈추적기 기반의 시선 깊이 추정 기법을 제안한다. 제안한 방법은 먼저 양안식 눈추적기로부터 안구 및 시선과 관련된 다양한 정보를 획득한다. 이후 획득된 정보를 바탕으로 다층퍼셉트론 알고리즘 기반의 시선 추적과 인식 모델을 통해 눈 시선 깊이를 추정한다. 제안한 방법을 검증하기 위해 13명의 참여자를 모집하고 개인별 시선 추적과 범용 시선 추적에 대한 성능을 분석하였다. 실험결과 개인별 모델에서는 90.1%, 그리고 전체 사용자를 대상으로 한 범용 모델에서는 89.7%의 정확도를 보였다.

CAMAR 2.0: 사용자 참여형 맥락 인식 모바일 증강현실

신춘성,이원우,오유수,서영정,최아영,윤효석,우운택,이영호,김혜진 에스케이텔레콤 (주) 2009 Telecommunications Review Vol.19 No.6

In this paper, we propose Context-Aware Mobile Augmented Reality (CAMAR) 2.0 platform which allows users to participate in creation and consumption of contents for a sustainable content ecosystem of community. For this purpose, the proposed CAMAR 2.0 platform augments the contents over the real world by recognizingand trackingreal objects with contextual information such as location and direction of a mobile device. It also allows users to author contents and mashup various types of services in mobile augmented reality environment. Therefore, users not only can freely consume and create the contents but also share them with community members. In order to validate the effectiveness of the proposed CAMAR 2.0 platform, we applied it to various mobile platforms and possible scenarios. Consequently, we expect that the proposed CAMAR 2.0 will play a vital role in creating and maintaining autonomous content ecosystem of community users for future computing environments. 본 논문에서는 사용자들이 모바일 증강현실 환경에서 자유롭게 콘텐츠를 소비하고 생산에 참여함으로써 자율적으 로 콘텐츠 생태계를 형성하고 유지하게 하는 사용자 참여형 맥락 인식 모바일 증강현실 통합 플랫폼을 제안한다. 제안 하는 사용자 참여형 맥락 인식 증강현실 플랫폼은 사용자 및 주변으로부터 센싱된 다양한 정보를 융합하여 얻어진 통 합 맥락 정보를 활용하여 영상내 대상물을 인식 및 추적하고 개인화된 콘텐츠를 현실공간에 이음매없이 증강한다. 그 리고 모바일 증강현실 환경에서 현장 저작과 매쉬업을 통해 사용자의 경험과 지식이 반영된 콘텐츠의 생성, 변형 및 확 장을 가능하게 한다. 이러한 통합 플랫폼을 통해 사용자들은 현실 공간에서 콘텐츠를 자유롭게 소비 및 생산하고 통합 맥락을 활용하여 커뮤니티 구성원들과 실시간으로 공유와 협업을 통해 지속적으로 유지되고 발전되는 콘텐츠 환경구 성이 가능해진다. 제안하는 통합 플랫폼을 모바일 단말기에 적용한 결과 실시간으로 증강 및 매쉬업이 가능하였음을 보였고 응용 시나리오를 통해 사용자가 참여하는 참여형 투어 가이드로써의 활용가능성을 제시하였다. 따라서 제안하 는 사용자 참여형 맥락 인식 모바일 증강현실 플랫폼은 사용자들이 참여해서 유비쿼터스 지능공간의 콘텐츠와 서비스 를 소비하고 지속적으로 생산하게 하여 콘텐츠와 서비스 생태계를 자율적으로 형성하고 유지하는데 기여할 것으로 기 대된다.

가상현실훈련 기술 및 응용 발전 동향

신춘성,박병하,정광모,Shin, Choonsung,Park, Byoung Ha,Jung, Gwang Mo 한국정보통신학회 2015 한국정보통신학회지 Vol.16 No.1

User-Centric Conflict Management for Media Services Using Personal Companions

신춘성,윤효석,우운택 한국전자통신연구원 2007 ETRI Journal Vol.29 No.3

In this paper, we propose a user-centric conflict management method for media services which exploits personal companions for the harmonious detection and resolution of service conflicts. To detect conflicts based on the varying characteristics of individual users, the proposed method exploits the unified context describing all users attempting to access media services. It recommends and mediates users’ preferred media contents through a shared screen and personal companions to resolve the detected conflicts. During the recommendation, a list of preferred media contents is displayed on the shared screen, and a personally preferred content list is shown on the user’s personal companion comprising the selection of media contents. Mediation assists the selection of a consensual service by gathering the users’ selections and highlighting the common media contents. In experiments carried out in a ubiHome, we observed that recommendations and mediation are useful in harmoniously resolving conflicts by encouraging user participation in conflict situations.

메타버스 기반의 문화콘텐츠 연구개발 동향

신춘성 한국통신학회 2022 정보와 통신 Vol.39 No.4

본고는 코로나19와 4차 산업혁명으로 인해 국내외에서 많은 관심과 주목을 받고 있는 메타버스 측면에서 문화콘텐츠 연구개발 동향을 살펴본다. 메타버스는 가상과 현실을 결합하여 시공간 경계를 허물고 현실에서의 문화 경험과 활동을 그대로 가상에서도 가능하게 하고 있어 게임 분야에서만 국한되어 있던 가상현실 중심의 활동이 이제 경제, 문화, 사회의 영역으로 확대 및 융합되고 있다. 문화산업에서의 메타버스의 활용은 게임, 문화콘텐츠, 공연 · 전시 분야까지 확대되고 있다. 이에 본고에서는 인공지능, 가상 · 증강현실, 빅데이터 등 첨단기술과 융합되는 메타버스 기반의 문화콘텐츠의 기술동향을 살펴보고 지속가능한 실체화 방향을 논의한다.

공간형 실감콘텐츠를 위한 공간과 상호작용 기반 비주얼 가이드 설계 및 구현

신춘성,최인영,정희용,조영준 한국디지털콘텐츠학회 2024 한국디지털콘텐츠학회논문지 Vol.25 No.9

공간형 콘텐츠를 위한 증강현실 기기의 성능이 우수해지고 있으나, 제한된 시야각으로 인한 사용자 경험 저하 문제를 여전히 갖고 있다. 이를 보완하기 위해 선행 연구를 통해 공간형 실감 콘텐츠를 위한 가이드를 조사 및 분류하였다. 이를 바탕으로 공간과 상호작용의 특성을 고려한 3가지 비주얼 가이드를 도출하였다. 도출된 가이드는 사용자의 객체 인지와 탐색을 목표로 한다. 단일 화살표 가이드는 화살표를 통한 직관적인 방향 지시, 라인 가이드는 점선을 이용한 명확한 위치 안내, 미니맵 가이드는 전체적인 공간 파악을 통한 사용자의 공간 이동과 객체 찾기를 돕는다. 이러한 가이드를 대표적인 공간형 단말기기인 홀로렌즈를 대상으로 공간형 콘텐츠에 구현 및 적용하였다. 제안한 가이드의 실제 적용을 통한 각 효과의 확인과 공간형 실감 콘텐츠의 사용자 경험을 향상 시키는 데 효과적일 것으로 사료된다. 공간형 실감 콘텐츠가 확대되고 있는 현시점에 본 연구를 통해 제안한 가이드 방식은 공간형 실감 콘텐츠의 효과적인 설계와 활용에 중요한 역할을 할 것으로 기대한다. Augmented Reality (AR) head-mounted display (HMD) devices are improving in performance, but still face user experience degradation due to limited field of view (FoV). To address this, previous studies were examined and classified to investigate guides for spatial immersive content. Based on this, three visual guides were derived, considering the characteristics of space and interaction. The derived guides aim to aid users' object perception and exploration. The single arrow guide provides intuitive directional instruction through arrows, the line guide offers clear location guidance using dotted lines, and the mini-map guide assists users in moving through space and finding objects by providing an overall spatial understanding. These guides were implemented and applied to spatial content targeting HoloLens, a representative spatial terminal device. It is expected that confirming the effects of each guide through practical application of the proposed guides will be effective in enhancing the user experience of spatial immersive content. At this point, where spatial immersive content is expanding, the guide methods proposed through this study are expected to play an important role in the effective design and utilization of spatial immersive content.

모션헤드셋의 동작분류기를 위한 사용자 머리동작 분석

신춘성,이영호,Shin, Choonsung,Lee, Youngho 한국사물인터넷학회 2016 한국사물인터넷학회 논문지 Vol.2 No.2

최근 다양한 형태의 착용형 컴퓨터가 연구되고 있다. 본 논문에서는 사용자가 음악을 들으며 사용할 수 있는 모션헤드셋의 동작분류기 제작을 위해 머리 움직임 정보의 특징을 분석한다. 모션헤드셋 프로토타입은 스마트폰과 블루투스 통신 방법을 이용하여 음악을 수신받으며, 가속도센서가 측정한 동작정보를 스마트폰으로 전송한다. 그리고 스마트폰에서는 모션 분류기를 통해 머리의 움직임을 분류한다. 실험을 위해 프로토타입을 제작하였다. 사용자 머리의 '위', '아래', '왼쪽', 그리고 '오른쪽' 머리 움직임을 베이지안 분류기를 이용하여 분류하였다. 그 결과 '위'와 '아래'의 머리 움직임의 경우 x, z축의 가속도 센서값이 큰 변화가 있었다. 추후에 사용성 평가를 통해 동작 분류기를 제작할 수 있는 적합한 변수를 찾아 낼 계획이다. Recently, various types of wearable computers have been studied. In this paper, we analyze the characteristics of head motion information for the operation of the motion classifier produced motion headset that the user can use while listening to music. The prototype receives music from smart phone over bluetooth communications, and transmits the motion information measured by the acceleration sensor to the smart phone. And the smartphone classifies the motion of the head through a motion classifier. we implemented a prototype for our experiment. The user's head motion "up", "down", "left" and "right" were classified using a Bayesian classifier. As a result, in case of the movement of the head "up" and "down", there are a large changes in the x, z-axis values. In future we have a plan to perform a user study to find suitable variables for creating motion classifier.

상황인지 응용서비스를 위한 다중사용자간 서비스 충돌 해결

신춘성(Choonsung Shin),우운택(Woontack Woo) 한국통신학회 2005 한국통신학회 학술대회 및 강연회 Vol.2005 No.4

스마트 교육을 위한 비가시적 마커 기반 모바일 증강현실 뷰어

신춘성(Choonsung Shin),박병하(Byoung-ha Park) 한국통신학회 2014 한국통신학회 학술대회논문집 Vol.2014 No.6

지속 가능한 콘텐츠 생태계 조성을 위한 유비쿼터스 가상현실 프레임워크 및 응용

신춘성(Choonsung Shin),하태진(Taejin Ha),김기영(Kiyoung Kim),이원우(Wonwoo Lee),이영호(Youngho Lee),우운택(Woontack Woo) 大韓電子工學會 2010 電子工學會論文誌-CI (Computer and Information) Vol.47 No.1

본 논문에서는 가상공간과 현실공간이 융합되는 지능형 환경에서 지속 가능한 콘텐츠 생태계 조성을 위한 유비쿼터스 가상현실 프레임워크 및 응용을 제안한다. 유비쿼터스 가상현실 프레임워크는 가상현실과 현실공간을 융합한 환경에서 사용자들이 지속적으로 콘텐츠를 생산하고 다른 사용자들과 공유할 수 있도록 하는 데스크톱 및 모바일 저작 플랫폼, 그리고 듀얼 공간 관리기로 구성된다. 데스크톱 저작 플랫폼은 서비스 제공자들이 콘텐츠를 저작하기 위한 환경을, 모바일 저작 플랫폼은 일반 사용자들이 콘텐츠를 소비, 생산 및 공유를 가능하게 하는 환경을 그리고 듀얼 공간 관리기는 이들이 생산하는 콘텐츠를 관리하는 환경을 사용자들에게 제공한다. 사용자들은 본 논문에서 제안하는 유비쿼터스 가상현실 프레임워크를 통해 현실공간과 가상공간이 융합된 환경에서 콘텐츠 생산, 소비, 공유 확대 및 재생산 등의 활동에 지속적으로 참여하여 콘텐츠 생태계를 형성하고 유지하는데 기여할 수 있다. 제안하는 유비쿼터스 가상현실 프레임워크의 유용함을 보이기 위해 모바일 플랫폼을 중심으로 실시간 처리 성능을 측정하였으며 응용 시나리오를 통해 활용 가능성을 제시하였다. 실험결과 그래픽 가속기와 부동소수점 연산이 가능한 모바일 단말기에서 실시간 콘텐츠 증강 및 저작이 가능함을 알 수 있었다. 결론적으로 본 논문에서 제안하는 유비쿼터스 가상현실 프레임워크는 가상과 현실이 융합되는 지능형 환경에서 사용자들의 참여에 의해 지속 발전 가능한 멀티미디어 서비스 환경 구축에 중요한 역할을 할 것으로 기대된다. In this paper we propose ubiquitous virtual reality framework and its application for fostering a sustainable content ecosystem in the convergence space of virtual reality and real space. The ubiquitous virtual reality framework supports fundamental infrastructure which consists of platforms for end-users and service providers and dual space management. The platform for the service provider allows experts to generate contents related to real objects while the platform for the end-users allows to consume, share and regenerate the contents contextually augmented over real objects. The dual space management stores, visualizes and provides the contents generated and extended by them for connecting different users and service providers. The proposed framework allows users to continuously generate, share and extend the contents and thus contribute to making multimedia service environment. We also implemented and evaluated the framework consisting of a desktop authoring platform, mobile authoring platform and a dual space management server. We then introduced a promising application scenario to show how the content ecosystem is empowered by ubiquitous virtual reality framework and is realized in our life. Consequently, we are expecting that the ubiquitous virtual reality technology will play a vital role in building continuously evolving multimedia service environment for the future computing environment.