EOG 기반 수평 시선 추적 경량형 딥러닝 알고리즘의 최적화를 위한 가상 환경 실험

진형우,우운택 한국정보과학회 2024 정보과학회논문지 Vol.51 No.2

본 연구는 매우 적은 수의 파라미터의 딥러닝 모델로 정확도를 높이고 이에 더하여 눈 깜빡임을 실시간으로 예측할 수 있는 알고리즘을 제안하고 실험한다. 기존의 시선 추적 알고리즘은 눈동자에서나오는 EOG 신호가 각도에 따라 선형성[1,2]을 띈다는 점에서 착안한 알고리즘에 기반하여 연구가 진행이 되어 왔다. 하지만 본 논문에서 제시하고자 하는 알고리즘은 유도 편향을 보이는 데이터이기에 1D CNN, Residual Block등과 같은 Layer들을 사용하여 경량형 딥러닝 네트워크를 구성하여 실시간 예측이 가능하다. 이 연구에서는 추가적으로 눈 깜빡임에 대한 딥러닝 모델 예측을 이용하여 가상 환경 전용 HMD를 착용한 상태에서도 안구 움직임을 예측할 수 있는 장치를 사용하여 실험을 진행하였다. 이 연구에서 진행한 EOG Data를 이용한 안구 복원을 상하 움직임과 극단적인 눈동자 움직임에 대한 연구를 추가하여 아바타 안구의 실시간성을 살려 사실감 있는 복원에 대한 구현이 가능하다.

VR 영상콘텐츠 제작을 위한 컨버전스 포인트 임의조절 구현

진형우,백광호,김미진,Jin, Hyung Woo,Baek, Gwang Ho,Kim, Mijin 한국스마트미디어학회 2015 스마트미디어저널 Vol.4 No.4

다양한 HMD(Head Mounted Display)의 등장으로 입체영상 제작은 VR(Virtual Reality)기술을 접목 가능하게 되었고 체감형, 몰입형 영상콘텐츠 제작의 활성화에 기여하고 있다. VR기반 영상콘텐츠는 애니메이션과 게임으로 시작하여 실사영상에 이르기까지 엔터테인먼트산업 전반으로 활용성을 넓혀가고 있으며 동시에 VR 영상콘텐츠 제작을 위한 솔루션 개발도 탄력을 받고 있다. 그러나 기존의 제작 솔루션 중 고정된 양안카메라 기반촬영은 사용자의 양안시차가 고정된다는 한계점을 가지고 있다. 이것은 제작자가 연출하고자 하는 표현을 제한할 뿐만 아니라 사용자입장에서의 시야조건이 고려되지 않아 입체감과 공간감을 충분히 느끼지 못할 수 있다. 본 논문은 실사 VR 영상콘텐츠 제작에서 발생하는 컨버전스 포인트(Convergence Point) 조절의 한계를 입체영상 제작의 후반작업 기술을 통하여 해결하고자 한다. 입체영상 후반작업에서 컨버전스 포인트 조절에 대한 유효성을 양안시차의 시각화를 통하여 분석하고 게임엔진에 적용하여 컨버전스 포인트가 사용자 임의로 조절 가능하도록 구현한다. As a variety of HMD(Head Mounted Display) has come out, the production of 3D images onto which VR(Virtual Reality) technologies are grafted has been contributed to activating the production of image contents depending on a tangible or immersing type. VR-based image contents have enlarged their applicability across the entertainment industry from animation and game to realistic images. At the same time, the solution development for producing VR image contents has also gained elasticity. However, among those production solutions which have been used until now, fixed stereo camera based photographing has a limit that the binocular disparity of a user is fixed. This does not only restrict a way of expression a producer intends to direct, but also may cause the effect of 3D or space not to be sensed enough as view condition is not considered enough in a user's side. This study is aimed at resolving with skills applying in the latter part of 3D image production the problem that convergence points may be adjusted with restriction, which tends to happen at the time of the production of VR image contents. The later stage of the 3D imaging work analyzes and applies to game engines the significance of adjusting convergence points through the visualization of binocular disparity so that it is available to implement a function that the points could be controlled at random by a user.

입력 이미지 수와 장면의 동적 특성에 기반한 Gaussian Splatting의 정량적 최적 학습 조건

진형우(HyungwooJin),정은희(Eunhee Jeong),송하일(Hail Song),우운택(Woontack Woo) 한국정보과학회 2023 한국정보과학회 학술발표논문집 Vol.2023 No.12

가상 환경 내 실시간 안구 복원을 위한 경량형 딥러닝 알고리즘 기반 좌우 시선 추적

진형우(Hyungwoo Jin),김시원(Siwon Kim),성동현(Donghyun Sung),신백록(Baekrok Shin),정재현(Jaehyun Joung),정훈규(Hoongyu Jung),우운택(Woontaek Woo) 한국정보과학회 2023 한국정보과학회 학술발표논문집 Vol.2023 No.6

공포게임에서 긴장감 형성을 위한 시공간 설정 분석 : ‘사일런트 힐2’를 중심으로

진형우(Hyung-Woo Jin),김미진(Mi-Jin Kim) 한국엔터테인먼트산업학회 2020 한국엔터테인먼트산업학회논문지 Vol.14 No.5

본 논문은 공포게임의 긴장감 형성을 위해 플레이어의 행동에 대한 기능적 제약이 아니라 심리적 반응 유도를 통해 긴장감을 극대화한 <사일런트 힐2>를 시공간 관점에서 분석하였다. 이를 위해 공포게임에서 긴장감을 유도하는 3가지 주요상황을 정리하고 시공간 분석 기준을 마련하였다. <사일런트 힐2>의 게임시간은 컷신이 연출될 때를 제외하면 비현실적인 게임자체의 순수 허구 시간이 적용되었으며 게임공간은 3가지의 공간유형을 다양한 조합으로 사용하였다. 이러한 분석결과는 플레이어의 동적/정적 긴장감과 일시적/지속적 긴장감을 조절하여 게임이벤트 및 맥락과 유연하게 연결시킬 수 있는 공포게임의 시공간 디자인 가이드라인을 모색하게 해준다. This paper analyzed 〈Silent Hill 2〉 maximized the tension not by functional restriction but by psychological response inducement to form the tension of the horror game from the point of space time view. In order that, We arranged three major situations inducing the tension in the horror game and prepared space time analysis base. Pure fiction time of game itself is applied on 〈Silent Hill 2〉 gam e time excluding the time creating the cut-scene and the game space is organized with various combi nation of three space types. This analysis result can help horror game design by discovering the relationship between space time structure and tension forming of the horror game. These analysis results allow us to find guidelines for the time and space design of horror games that can be flexibly linked to game events and contexts by controlling the player"s dynamic/static tension and temporary/continuo us tension.

FPS게임 레벨디자인에서 Choke Point유형과 Cover Pattern속성의 관계

최규혁,진형우,김미진 한국게임학회 2014 한국게임학회 논문지 Vol.14 No.4

사용자중심의 게임분석에 대한 과학적인 접근이 주목 받고 있는 게임개발 환경에서 플레이어에 대한 정확한 정보는 중요한 요소로 작용하고 있다. 본 논문에서는 플레이어의 행동과 게임레벨간의 상호작용이 타 장르에 비해 높은 FPS게임에서 주된 레벨디자인 요소인 Choke Point 유형과 Cover Pattern속성의 관계가 레벨난이도에 어떠한 영향을 주는지 살펴보았다. Choke Point는 목표달성을 위해 반드시 통과해야하는 주요 길목이며, Cover Pattern은 건물을 제외한 레벨상의 물체를 말한다. 두 요소는 레벨 난이도에 직 간접적으로 영향을 준다. 대표적인 10종의 FPS게임플레이를 분석하여 Choke Point유형을 분류하고 4종의 Cover Pattern속성을 배치하여 16개의 실험대상 레벨을 구성하였다. 10명 플레이어의 5회 반복플레이를 통해 800개의 플레이어 행동데이터를 수집, 분석하였다. 이러한 실증적 실험을 통한 분석결과는 게임레벨 디자인 단계에 구체적인 정보를 제공함으로써 체계적인 게임레벨 제작에 기여할 것이며 기존 학술적연구결과가 산업적으로 활용될 수 있는 방법을 제안하고 있어 의의를 갖는다. Accurate information on players, namely player analytics is one of the key factors in a game development environment where a scientific approach to user-oriented game analysis is in the spotlight. This study is intended to examine effects of relations between choke point types and cover pattern properties on level difficulties in FPS games. As for FPS games, interaction between players' behaviors and game levels is higher compared to other genres and choke point types as well as cover pattern properties are key factors of level design. Choke point is the main crossroad that must to pass for achieving the goal and Cover Pattern is the type of object on the level except buildings. Two elements directly or indirectly affect the level of difficulty. This study analyzed 10 types of representative FPS gameplays to classify choke point types and assigned 4 types of cover pattern properties to organize 16 target levels for the experiment. In addition, this study collected and analyzed players' 800 behavior data (video clips) from 5 repetitive plays performed by 10 players. In conclusion, analytical results obtained from the empirical study will contribute to realizing systematic game level development by providing specific information for a game level design phase. The findings are also meaningful in that they suggest efficient and effective methods of utilizing the existing academic study results for industrial applications.

게임연구에서 시선추적 기술의 적용사례

최규혁(GyuHyeok Choi),진형우(Hyungwoo Jin),김미진(Mijin Kim) 한국HCI학회 2020 한국HCI학회 학술대회 Vol.2020 No.2

게임분야에서 다양한 디바이스 활용은 단순한 재미 이상의 새로운 사용자 경험을 추구할 수 있는 형태로 변모해 왔다. 시선추적 기술은 사용자의 눈동자가 무엇을 주시하고 있는지를 추적해 시선이 머무는 지점, 시간, 경로 등에 대한 정보를 제공함으로써 다양한 게임연구에서 적용되고 있다. 본 논문은 시선추적 기술의 원리에 대해 고찰하고 게임연구에서의 적용 사례를 살펴봄으로써 게임분야에서 새로운 사용자 경험을 제공할 수 있는 확장 가능성을 모색해 보고자 한다.

어드벤처 게임에서 플레이이벤트별 게임공간의 시각적 환경요소

최규혁(GyuHyeok Choi),진형우(Hyungwoo Jin),김미진(Mijin Kim) 한국게임학회 2020 한국게임학회 논문지 Vol.20 No.1

본 논문은 어드벤처 게임에서 플레이이벤트별 게임공간의 시각적 환경요소를 분석하였다. 대표적인 어드벤처 게임 10종에서 공통 플레이이벤트 6종을 추출하고, 공간구조 3유형과 오브젝트 4유형을 분석기준으로 설정하였다. 이를 바탕으로 직접플레이 및 모니터링을 수행하여 시각적 환경요소의 특징을 구체화 하였다. 그 결과, 플레이이벤트에서 의도하는 스토리와 유도하는 게임플레이는 시각적 환경요소와 밀접한 연관성이 있음을 확인하였다. The purpose of this study is to analyze visual environmental elements of game space by play-event in adventure games. We extracted common six types of play-event through exploring ten representative adventure games and organized three types of space structure and four types of object as the criteria of analysis. Based on the criteria, we embodied the characteristics of visual environmental elements by performing direct playing and monitoring. As a result, we verified that the story intended and the gameplay induced by the play-event are closely related to visual environmental elements.

증강현실 안경을 사용한 맨손 인터랙션 기반의 상호작용 3D 복셀 드로잉 시스템

최세린(Selin Choi),백민주(Minju Beack),진형우(Hyungwoo Jin),하태욱(Taewook Ha),우운택(Woontack Woo) 한국정보과학회 2023 한국정보과학회 학술발표논문집 Vol.2023 No.12

메타버스 활용 고인 추모공간 콘텐츠 개발

최준영(Joonyoung Choi),홍계운(Kyewoon Hong),김기덕(Kideok Kim),최대길(Daekil Choi),진형우(HyungWoo Jin),최규혁(GyuHyeok Choi) 한국멀티미디어학회 2024 멀티미디어학회논문지 Vol.27 No.1

The development of the internet and media has accelerated efforts to replace measures such as nationwide lockdowns, social isolation, and the closure of public places in response to powerful infectious diseases like COVID-19. Families of the deceased find it challenging to overcome the shock caused by sudden accidents or illnesses. In this study, based on the development of virtual reality devices and the increased recognition of Extended Reality (XR) driven by the growth of the metaverse, we planned and developed metaverse content that enables families to remember the deceased through memorial services. This approach allows memories of the deceased to be stored online, providing users with an opportunity to restore the image they most want to remember. Moreover, it enables mourning without constraints of time and space, restoring various aspects of the deceased through AI features, offering emotional comfort and relief to the grieving families.