불의 애니메이션을 위한 복합적 기법

민경하(Min, Kyung-Ha) 한국게임학회 2007 한국게임학회 논문지 Vol.7 No.3

본 논문에서는 불을 애니메이션하고 가시화하는 새로운 방법을 제시한다. 불을 애니메이션하기 위해서 해결해야 하는 문제들 중에서 가장 어려운 문제는 불이 빛과 열을 주위로 방사하는 과정을 시뮬레이션하는 것이다. 이 방법을 해결하기 위해서 연료가 빛과 열을 발산하고 연소물이 되는 연소 과정을 유체 방정식이 구현되는 복셀화된 공간에서 시뮬레이션하는 복합적인 방법을 제안한다. 불의 움직임은 다른 유체의 경우와 같이 유체 방정식을 이용해서 시뮬레이션하며, 시뮬레이션의 각 단계마다 연소 과정에서 발생한 열이 유체의 온도를 높이고, 이렇게 높아진 온도가 불의 복잡한 움직임을 더욱 가중시키는 과정을 반복시키면서 불에 대한 애니메이션이 처리된다. 또한, 불과 불이 주변을 밝히는 효과를 처리하기 위해서 널리 알려진 포톤 매핑 알고리즘의 효율성을 개선한 새로운 가시화 알고리즘을 구현한다. In this paper, we present a new fire animation and visualization scheme. The most difficult problem in creating fire animation is how to simulate the mechanism of emitting lighting and heat of fire. We attack the difficulty by presenting a hybrid scheme that combines the simulation scheme and the combustion process in voxelized space where the numerical solution of the classical fluid equations is implemented. Therefore, the combustion process is simulated at each voxel and the amount of heat generated at the voxel is estimated. The generated heat will increase the temperature at the voxel, where results in the increase of turbulent motion of fire. We also propose a visualization scheme that modifies the photon mapping algorithm in order to render fire and various lighting effects of fire to the environments.

gABC: 게임패드를 이용한 문자 입력 방법

민경하(Min, Kyung-Ha) 한국게임학회 2007 한국게임학회 논문지 Vol.7 No.3

게임기의 성능은 나날이 발전하여, 최근에는 이를 이용해서 인터넷에 접속하는 등의 서비스가 가능하게 되었다. 따라서 게임기에 문자를 입력하는 방법에 대한 요구가 증가하는데, 본 논문에서는 게임기의 입력 장치인 게임패드를 이용해서 알파벳 문자 및 여러 가지 기호를 입력하는 방법을 제시한다. 이 방법에서는 지금까지 제시된 여러 방법들과 같이 사용자가 게임패드를 조작하여 화면상의 사용자 인터페이스를 통해서 문자를 입력하는데, 사용자 인터페이스로 휴대폰의 키패드와 유사한 화면 키패드를 제공한다. 이는 사용자들이 평소에 익숙하게 사용하는 문자 입력 도구에 대한 사용 경험이 비슷한 인터페이스를 가진 다른 문자 입력 도구에도 전이될 수 있다는 점을 이용한 것으로, 상하좌우의 방향 입력과 여러 개의 발사 버튼을 가진 게임패드의 특성상 복잡한 화면 키보드 형태의 사용자 인터페이스보다는 구조를 가진 단순한 키패드 형태의 인터페이스가 더 조작하기 쉽기 때문이다. 이러한 가정은 실험 결과를 통해서도 충분히 입증되는데, 본 논문에서 10명의 피실험자를 선발해서 2차에 걸친 실험을 진행해본 결과, 피실험자들은 평균 13 WPM 수준의 문자 입력이 가능하게 되었으며, 이는 기존의 화면 키보드 형태의 문자 입력 도구보다 훨씬 빠르고 정확하게 문자를 입력할 수 있게 되었다는 점을 입증한다. As the performance of game consoles is so highly progressed that services such as internet browsing become available on the consoles, the need for text input schemes on game consoles is rapidly raised. In this paper, we present a text input method of alphabet characters and several symbols using a gamepad, which is a widely used input device for most game consoles. Just like other text input methods using gamepad, our method allows users to enter texts by manipulating the gamepad with a user interface displayed on the screen of the console. A key idea of this paper is to present the user interface that is similar to the keypad on mobile phones. The motivation of this idea is a principle that the experience of using a text input tool can be transferred to another tool that has similar interface. Another motivation is that the keyboard-based interface is too complex to be easily manipulated by simple input from a keypad, which is four orthogonal directions and several fire signals. Since most of keys on keypad of keys are represented by a combination of two orthogonal directions, users feel easier in entering texts using keypad-based interface. We prove this argument in this paper by a user test of ten subjects. After about two experiment sessions, subjects reach 13 WPM in average, which proves that the proposed text input method enables much faster text input than the existing keyboard-based text input methods.

보호특징별 조작 가능한 잠재공간 기반의 알고리즘 편향성 감소 방법

민경하(Kyung-Ha Min),김진영(Jin-Young Kim),조성배(Sung-Bae Cho) 한국정보과학회 2019 한국정보과학회 학술발표논문집 Vol.2019 No.12

An Improvement of Deep Learning-based Object Detection Scheme for Game Scenes

정민지(Min Ji JUNG),양희경(Hee Kyung YANG),민경하(Kyung Ha MIN) 한국컴퓨터게임학회 2021 한국컴퓨터게임학회논문지 Vol.34 No.2

본 연구에서는 게임 영상과 같은 생성된 영상으로부터 물체를 인식하는 심층 학습 기반 모델의 성능을 향상시키는 방법을 제시한다. 특히, 실제 영상으로 훈련된 물체 인식 모델에 대해서 게임 영상으로 추가 훈련을 수행함으로써 물체 인식 성능이 향상됨을 검증한다. 본 연구에서는 심층 학습 기반의 물체 인식 모델들 중에서 가장 널리 사용되는 YoloV2 모델을 이용한다. 이 모델에 대해서 8 종류의 다양한 게임에서 샘플링한 160장의 게임 영상을 적용해서 물체 인식 모델을 다시 훈련하고, IoU와 정확도를 측정해서 본 연구에서 주장하는 게임영상을 이용한 훈련이 효과적임을 입증한다. We present a framework that improves the performance of deep learning-based object detection model for generated images including game scenes. In particular, we aim to verify that the additional training using images sampled from game scenes can improve the performance of the object detection model, which was pre-trained using photographs. Among the various object detection schemes including Yolo V1, Yolo V2 and SSD, we employ YoloV2 model, which is one of the most widely used deep learning-based object detection model. YoloV2 model is pretrained using diverse photographs. This model is further trained through 160 game scene images sampled from eight different kinds of games. We select the games that range from realistic scenes and highly deformed scenes. We measure IoU (intersection over union) and accuracy using this model. The comparison between our re-trained model and the original model demonstrates the effectiveness of our strategy.

Pastel Effect Simulation for Game Scenes

양희경(Hee kyung Yang),권혁민(Hyuk min Kwon),민경하(Kyung ha Min) 한국컴퓨터게임학회 2018 한국컴퓨터게임학회논문지 Vol.31 No.2

우리는 게임 렌더링을 위해 파스텔 드로잉 효과를 시뮬레이션 하는 회선기반 방법을 제안한다. 연구 동기는 굵고 진한 스트로크 패턴, 문지르기 효과, 스트로크 겹침 등 파스텔 드로잉의 속성을 모방하는 것이다. 굵고 진한 파스텔 스트로크 패턴을 위해 우리는 직사각형 모양의 스트로크 패턴과 유사한 굵은 노이즈를 사용한다. 문지르기 효과는 노이즈를 두 단계로 적분하는 회선 모델을 제안한다: 첫 단계로 회선 방향에 수직한 노이즈를 적분하고, 이를 두 번째 단계에서 회선 방향으로 적분한다. 스트로크 겹침 효과를 구현하기 위해 우리는 누적 노이즈 필드(ANF, accumulated noise field)를 제안한다. 이는 각 레이어에 노이즈가 분포되어 있다고 가정하고, 서로 다른 레이어에 있는 스트로크 패턴의 색을 섞는 모델을 의미한다. 이러한 세 가지 개념은 회선기반 프레임 웍으로 통합되며 시각적으로 만족스러운 게임 장면의 파스텔 드로잉 효과를 보인다. Many competitive games offer various special rendering effects on their game scenes. Non-photorealistic rendering (NPR) presents fundamental techniques for the special rendering effects. Among various NPR techniques, we focus on a rendering effect that mimics pastel style, which has been rarely studied. We present a convolution-based approach that simulates pastel drawing effects for rendering game scenes. Our motivation is to mimic the properties of pastel drawing artworks such as thick and bold stroke pattern, smearing effect and stroke overlaying. The thick and bold pastel stroke pattern is mimicked by introducing bold noise which resembles a rectangle-shaped stroke pattern. The smearing effect is simulated by devising a convolution model that integrates noise in two-stages: the noise lying in the orthogonal directions of the convolution direction is integrated in the first stage and the results in the first stage are integrated in the second stage. The stroke overlaying is implemented by considering an accumulated noise field (ANF) that considers the distribution of noise in each layer and mimics the blending of colors of the stroke patterns lying in different layer. These three concepts are integrated in a convolution-based framework to present visually pleasing pastel drawing effects for game scene.

예술적인 게임 동영상을 위한 연필 렌더링 기법

양희경(Hee kyung Yang),길소현(So hyun Gil),안정연(Jeong yeon Ahn),이신영(Shin young Lee),이재환(Jae Hwan Lee),임경돈(Kyung don Lim),민경하(Kyung ha Min) 한국컴퓨터게임학회 2013 한국컴퓨터게임학회논문지 Vol.26 No.4

In this paper, we present a technique for applying artistic effects to videos based on a pencil rendering technique. First of all, we propose a vectorized line generation method as a primary technique for solving temporal coherence problem which appears when applying some artistic effects to video. In addition, we propose progressive pencil rendering technique which controls detailed range of drawings from rough sketch to detailed drawing for video. Also, regarding that a real color pencil has a limited set of colors, we suggest limited color pencil rendering method. Furthermore we analyze hand drawing pencil drawings, compare them with rendering results and complement some weakness. A series of our works has a meaning of not only technological but also aesthetical consideration for pencil drawings.

2D+Gan: Generating 2D+ Images using GAN-based a Depth map and an Image Segmentation Estimation

오준영(Jun Young OH),민경하(Kyung Ha MIN),양희경(Hee Kyung YANG) 한국컴퓨터게임학회 2021 한국컴퓨터게임학회논문지 Vol.34 No.3

2D 퍼즐은 인기있는 보드게임이다. 2D 퍼즐을 완성하는 기술은 많이 연구되었다. 하지만 2D만으로는 대상을 효과적으로 표현하기 어렵다는 한계가 있다. 본 연구에서는 영상으로부터 높이를 가진 2D+ 레고 퍼즐을 생성하는 방법을 제안한다. 이를 위해서 본 연구에서는 영상의 높이 맵과 분할 맵의 정보를 활용한다. 우리는 2D+ 퍼즐에 적용하기위해 다양한 대상의 높이 및 영역 정보를 적절하게 처리해야한다. 이러한 이유로, 우리는 깊이 맵과 분할영역 맵을 추출하기 위해 모델에 심층 학습 모델을 적용한다. 높이 맵을 추출하기 위해 우리는 CelebAMask-HQ dataset으로 학습한 BiseNet을 채택했다. 그리고 분할 맵을 얻기 위해 NYU Depth V2 dataset으로 학습한 DenseDepth를 사용했다. 입력 영상에 대해서 저해상도 영상 및 높이 맵과 분할 맵을 추출하고, 저해상도 영상을 레고 브릭의 색 팔레트를 적용한 영상에 대해서 높이 맵과 분할 맵 정보를 적용해서 높이를 가진 2D+ 픽셀 아트 영상을 생성한다. 그리고, 이 픽셀 아트 영상에 대해서 같은 높이와 같은 색을 가진 픽셀들에 대해서 최대한 큰 브릭을 적용하는 그리디 알고리즘을 적용해서 2D+ 레고 퍼즐을 완성한다. 본 연구에서는 다양한 초상화를 대상으로 2D+ 레고 퍼즐을 완성하는 예를 제시하였으며, 그 중 하나를 직접 제작하여 그 결과를 제시한다. 2D puzzles are popular board games. The technique of completing a 2D puzzle has been studied a lot. However, there is a limitation in that it is difficult to effectively express objects only with 2D. We present a 2D+ Lego puzzle generation algorithm that converts an input image into a 2D Lego puzzle with several bricks that represent heights. We employ a depth map estimation scheme and a semantic segmentation scheme for our purpose. We need to properly process the depth and segmentation information of various objects to apply to the 2D+ puzzle. For this reason, we apply deep learning models to the model to extract a depth map and a segmentation map. To extract the segmentation map, we adopted BiseNet learned with CelebAMask-HQ dataset. And DenseDepth learned with NYU Depth V2 dataset was used to obtain the depth map. We downsample the input image to a low-resolutional image and arrange the color information of the image according to the color palette of the allowable Lego bricks. We build a 2D+ pixel art image by corporating the low-resolutional images with the depth map and segmentation map. 2D+ lego puzzle is constructed from this 2D+ pixel art image by applying a greedy algorithm that seeks a largest Lego brick that can fit the candidate space.

시간 분할 방식의 스테레오스코픽 디스플레이 장치를 이용한 스프링 시스템의 가시화

이상윤(Sangyoon Lee),민경하(Kyung-Ha Min),박찬모(Chan-Mo Park) 한국정보과학회 1995 한국정보과학회 학술발표논문집 Vol.22 No.2A

가상 현실 기술을 실세계에서 실험하기 곤란한 여러가지 경우에 있어서 가상 공간을 이용하여 보다 간편하게 실험할 수 있는 환경을 제공한다. 본 논문에서는 이러한, 실세계에서는 실험이 곤란하거나 복잡한 실험을 위한 가상 실험실의 구현에 앞서, 간단한 스프링 시스템의 수학적 모델링을 통해서 시간에 따른 추의 위치를 얻는 방법과 이것을 이용하여 실시간으로, 스프링과 추가 움직이는 모습을 시간 분할 방식의 스테레오스코픽 디스플레이 장치를 사용하여 입체적으로 보여지도록 구현해 봄으로써 가상 실험실 구현에 관련된 기반 기술을 제공한다.

키넥트를 이용한 손 인식 인터페이스 기반의 대화식 영상 클리핑 시스템

이고운(Ko woon Lee),민경하(Kyung ha Min) 한국컴퓨터게임학회 2013 한국컴퓨터게임학회논문지 Vol.26 No.4

We present a Microsoft Kinect-based hand recognition algorithm for an interactive image clipping system, which is widely used for environments such as public facilities and security environments where personal capturing devices including mobile phones are not allowed. User-friendly interface and accurate image capturing function are required for an image clipping system. We build the system by combining Microsoft Kinect, HD webcam and projector. The Kinect and webcam are used to capture the motions of users' hand and project is to display the user-selected area from the capturing material. Hand recognition is composed of three steps: (i) the region occupied by users' hand is extracted from an image, (ii) the fingertips of the extracted hand region are analyzed using k-curvature algorithm, and (iii) the height of the fingertip is estimated using the depth image from Kinect. The height of the fingertip informs whether users' finger touched the surface of the target. The region captured by the fingertip is clipped from the image and stored as the target image. The excellence of our hand recognition algorithm is proved through a user test.

Generating Pixel Art from Game Characters with Convolutional-Neural Network

박철성(Cheol seong Park),양희경(Hee kyung Yang),권혁민(Hyuk min Kwon),민경하(Kyung ha Min) 한국컴퓨터게임학회 2018 한국컴퓨터게임학회논문지 Vol.31 No.2

픽셀 아트는 낮은 해상도와 제한된 색 팔레트를 가지고 영상을 표현한다. 픽셀 아트는 낮은 연산 성능과 적은 저장 공간을 가지는 초기 컴퓨터 게임에서 주로 사용되었다. 현대에 이르러, 픽셀 아트는 예술이나 퍼즐, 게임과 같은 다양한 분야에서 찾아볼 수 있게 되었다. 본 논문에서는 게임 캐릭터 영상을 입력으로 받는 픽셀 아트 생성 모델을 제안한다. 기존 방법과는 달리, 합성곱 신경망(CNN:Convolutional-Neural Network)를 픽셀 아트 생성 목적에 맞게 변형하여 이를 이용하는 방법을 제시한다. 기존의 합성곱 연산 후에 upsampling 과정을 추가하여 픽셀 아트가 생성될 수 있도록 하였다. 네트워크는 ground truth와 생성된 픽셀 아트와의 평균 오차 제곱(MSE:Mean Squared Error)을 최소화해나가며 학습을 수행한다. Ground truth는 실제 아티스트가 생성하도록 하였고, 이미지 회전과 반전 기법을 이용하여 augumentation을 수행하였다. 생성된 데이터 집합은 학습, 검증, 시험 데이터로 나누었다. 이러한 데이터 집합을 기반으로 감독 학습을 실시하여 픽셀 아트 생성 네트워크를 학습하였다. 학습 모델의 학습 과정과 학습 정확도를 제시하고, 시험 데이터 뿐만 아니라 다양한 영상에 대한 픽셀아트 결과도 함께 제시한다. Pixel art, which presents low-resolutional images with restricted color palette, has been employed frequently in the early computer games played on low memory capacity and computational performance. Recently, pixel art wides its applications to the area such as puzzle and game. In this paper, we present a pixel art generator from images of game characters. Unlike traditional framework, we employ and modify a Convolutional-Neural Network(CNN) to generate pixel art by placing an up-convolution layer after convolution layers. The up-convolution layer increases the resolution of the result images to satisfy user-required resolution. The network is trained by minimizing the Mean Squared Error(MSE) between ground truth images and generated pixel art images from the input high-resolutional image. Also, we employ artists to produce the ground truth of pixel art for our network and augment the data by rotating and fliping. We partition the ground truth images into three datasets: a training, validation and test dataset. With this dataset, we perform a supervised learning and train our network as the pixel art generator. We show a training process and a training accuracy. Moreover, we test our architecture for a various images as well as the test dataset to prove the excellence of our architecture.