예술적인 게임 동영상을 위한 연필 렌더링 기법

양희경(Hee kyung Yang),길소현(So hyun Gil),안정연(Jeong yeon Ahn),이신영(Shin young Lee),이재환(Jae Hwan Lee),임경돈(Kyung don Lim),민경하(Kyung ha Min) 한국컴퓨터게임학회 2013 한국컴퓨터게임학회논문지 Vol.26 No.4

In this paper, we present a technique for applying artistic effects to videos based on a pencil rendering technique. First of all, we propose a vectorized line generation method as a primary technique for solving temporal coherence problem which appears when applying some artistic effects to video. In addition, we propose progressive pencil rendering technique which controls detailed range of drawings from rough sketch to detailed drawing for video. Also, regarding that a real color pencil has a limited set of colors, we suggest limited color pencil rendering method. Furthermore we analyze hand drawing pencil drawings, compare them with rendering results and complement some weakness. A series of our works has a meaning of not only technological but also aesthetical consideration for pencil drawings.

Pastel Effect Simulation for Game Scenes

양희경(Hee kyung Yang),권혁민(Hyuk min Kwon),민경하(Kyung ha Min) 한국컴퓨터게임학회 2018 한국컴퓨터게임학회논문지 Vol.31 No.2

우리는 게임 렌더링을 위해 파스텔 드로잉 효과를 시뮬레이션 하는 회선기반 방법을 제안한다. 연구 동기는 굵고 진한 스트로크 패턴, 문지르기 효과, 스트로크 겹침 등 파스텔 드로잉의 속성을 모방하는 것이다. 굵고 진한 파스텔 스트로크 패턴을 위해 우리는 직사각형 모양의 스트로크 패턴과 유사한 굵은 노이즈를 사용한다. 문지르기 효과는 노이즈를 두 단계로 적분하는 회선 모델을 제안한다: 첫 단계로 회선 방향에 수직한 노이즈를 적분하고, 이를 두 번째 단계에서 회선 방향으로 적분한다. 스트로크 겹침 효과를 구현하기 위해 우리는 누적 노이즈 필드(ANF, accumulated noise field)를 제안한다. 이는 각 레이어에 노이즈가 분포되어 있다고 가정하고, 서로 다른 레이어에 있는 스트로크 패턴의 색을 섞는 모델을 의미한다. 이러한 세 가지 개념은 회선기반 프레임 웍으로 통합되며 시각적으로 만족스러운 게임 장면의 파스텔 드로잉 효과를 보인다. Many competitive games offer various special rendering effects on their game scenes. Non-photorealistic rendering (NPR) presents fundamental techniques for the special rendering effects. Among various NPR techniques, we focus on a rendering effect that mimics pastel style, which has been rarely studied. We present a convolution-based approach that simulates pastel drawing effects for rendering game scenes. Our motivation is to mimic the properties of pastel drawing artworks such as thick and bold stroke pattern, smearing effect and stroke overlaying. The thick and bold pastel stroke pattern is mimicked by introducing bold noise which resembles a rectangle-shaped stroke pattern. The smearing effect is simulated by devising a convolution model that integrates noise in two-stages: the noise lying in the orthogonal directions of the convolution direction is integrated in the first stage and the results in the first stage are integrated in the second stage. The stroke overlaying is implemented by considering an accumulated noise field (ANF) that considers the distribution of noise in each layer and mimics the blending of colors of the stroke patterns lying in different layer. These three concepts are integrated in a convolution-based framework to present visually pleasing pastel drawing effects for game scene.

2D+Gan: Generating 2D+ Images using GAN-based a Depth map and an Image Segmentation Estimation

오준영(Jun Young OH),민경하(Kyung Ha MIN),양희경(Hee Kyung YANG) 한국컴퓨터게임학회 2021 한국컴퓨터게임학회논문지 Vol.34 No.3

2D 퍼즐은 인기있는 보드게임이다. 2D 퍼즐을 완성하는 기술은 많이 연구되었다. 하지만 2D만으로는 대상을 효과적으로 표현하기 어렵다는 한계가 있다. 본 연구에서는 영상으로부터 높이를 가진 2D+ 레고 퍼즐을 생성하는 방법을 제안한다. 이를 위해서 본 연구에서는 영상의 높이 맵과 분할 맵의 정보를 활용한다. 우리는 2D+ 퍼즐에 적용하기위해 다양한 대상의 높이 및 영역 정보를 적절하게 처리해야한다. 이러한 이유로, 우리는 깊이 맵과 분할영역 맵을 추출하기 위해 모델에 심층 학습 모델을 적용한다. 높이 맵을 추출하기 위해 우리는 CelebAMask-HQ dataset으로 학습한 BiseNet을 채택했다. 그리고 분할 맵을 얻기 위해 NYU Depth V2 dataset으로 학습한 DenseDepth를 사용했다. 입력 영상에 대해서 저해상도 영상 및 높이 맵과 분할 맵을 추출하고, 저해상도 영상을 레고 브릭의 색 팔레트를 적용한 영상에 대해서 높이 맵과 분할 맵 정보를 적용해서 높이를 가진 2D+ 픽셀 아트 영상을 생성한다. 그리고, 이 픽셀 아트 영상에 대해서 같은 높이와 같은 색을 가진 픽셀들에 대해서 최대한 큰 브릭을 적용하는 그리디 알고리즘을 적용해서 2D+ 레고 퍼즐을 완성한다. 본 연구에서는 다양한 초상화를 대상으로 2D+ 레고 퍼즐을 완성하는 예를 제시하였으며, 그 중 하나를 직접 제작하여 그 결과를 제시한다. 2D puzzles are popular board games. The technique of completing a 2D puzzle has been studied a lot. However, there is a limitation in that it is difficult to effectively express objects only with 2D. We present a 2D+ Lego puzzle generation algorithm that converts an input image into a 2D Lego puzzle with several bricks that represent heights. We employ a depth map estimation scheme and a semantic segmentation scheme for our purpose. We need to properly process the depth and segmentation information of various objects to apply to the 2D+ puzzle. For this reason, we apply deep learning models to the model to extract a depth map and a segmentation map. To extract the segmentation map, we adopted BiseNet learned with CelebAMask-HQ dataset. And DenseDepth learned with NYU Depth V2 dataset was used to obtain the depth map. We downsample the input image to a low-resolutional image and arrange the color information of the image according to the color palette of the allowable Lego bricks. We build a 2D+ pixel art image by corporating the low-resolutional images with the depth map and segmentation map. 2D+ lego puzzle is constructed from this 2D+ pixel art image by applying a greedy algorithm that seeks a largest Lego brick that can fit the candidate space.

An Improvement of Deep Learning-based Object Detection Scheme for Game Scenes

정민지(Min Ji JUNG),양희경(Hee Kyung YANG),민경하(Kyung Ha MIN) 한국컴퓨터게임학회 2021 한국컴퓨터게임학회논문지 Vol.34 No.2

본 연구에서는 게임 영상과 같은 생성된 영상으로부터 물체를 인식하는 심층 학습 기반 모델의 성능을 향상시키는 방법을 제시한다. 특히, 실제 영상으로 훈련된 물체 인식 모델에 대해서 게임 영상으로 추가 훈련을 수행함으로써 물체 인식 성능이 향상됨을 검증한다. 본 연구에서는 심층 학습 기반의 물체 인식 모델들 중에서 가장 널리 사용되는 YoloV2 모델을 이용한다. 이 모델에 대해서 8 종류의 다양한 게임에서 샘플링한 160장의 게임 영상을 적용해서 물체 인식 모델을 다시 훈련하고, IoU와 정확도를 측정해서 본 연구에서 주장하는 게임영상을 이용한 훈련이 효과적임을 입증한다. We present a framework that improves the performance of deep learning-based object detection model for generated images including game scenes. In particular, we aim to verify that the additional training using images sampled from game scenes can improve the performance of the object detection model, which was pre-trained using photographs. Among the various object detection schemes including Yolo V1, Yolo V2 and SSD, we employ YoloV2 model, which is one of the most widely used deep learning-based object detection model. YoloV2 model is pretrained using diverse photographs. This model is further trained through 160 game scene images sampled from eight different kinds of games. We select the games that range from realistic scenes and highly deformed scenes. We measure IoU (intersection over union) and accuracy using this model. The comparison between our re-trained model and the original model demonstrates the effectiveness of our strategy.

Generating Pixel Art from Game Characters with Convolutional-Neural Network

박철성(Cheol seong Park),양희경(Hee kyung Yang),권혁민(Hyuk min Kwon),민경하(Kyung ha Min) 한국컴퓨터게임학회 2018 한국컴퓨터게임학회논문지 Vol.31 No.2

픽셀 아트는 낮은 해상도와 제한된 색 팔레트를 가지고 영상을 표현한다. 픽셀 아트는 낮은 연산 성능과 적은 저장 공간을 가지는 초기 컴퓨터 게임에서 주로 사용되었다. 현대에 이르러, 픽셀 아트는 예술이나 퍼즐, 게임과 같은 다양한 분야에서 찾아볼 수 있게 되었다. 본 논문에서는 게임 캐릭터 영상을 입력으로 받는 픽셀 아트 생성 모델을 제안한다. 기존 방법과는 달리, 합성곱 신경망(CNN:Convolutional-Neural Network)를 픽셀 아트 생성 목적에 맞게 변형하여 이를 이용하는 방법을 제시한다. 기존의 합성곱 연산 후에 upsampling 과정을 추가하여 픽셀 아트가 생성될 수 있도록 하였다. 네트워크는 ground truth와 생성된 픽셀 아트와의 평균 오차 제곱(MSE:Mean Squared Error)을 최소화해나가며 학습을 수행한다. Ground truth는 실제 아티스트가 생성하도록 하였고, 이미지 회전과 반전 기법을 이용하여 augumentation을 수행하였다. 생성된 데이터 집합은 학습, 검증, 시험 데이터로 나누었다. 이러한 데이터 집합을 기반으로 감독 학습을 실시하여 픽셀 아트 생성 네트워크를 학습하였다. 학습 모델의 학습 과정과 학습 정확도를 제시하고, 시험 데이터 뿐만 아니라 다양한 영상에 대한 픽셀아트 결과도 함께 제시한다. Pixel art, which presents low-resolutional images with restricted color palette, has been employed frequently in the early computer games played on low memory capacity and computational performance. Recently, pixel art wides its applications to the area such as puzzle and game. In this paper, we present a pixel art generator from images of game characters. Unlike traditional framework, we employ and modify a Convolutional-Neural Network(CNN) to generate pixel art by placing an up-convolution layer after convolution layers. The up-convolution layer increases the resolution of the result images to satisfy user-required resolution. The network is trained by minimizing the Mean Squared Error(MSE) between ground truth images and generated pixel art images from the input high-resolutional image. Also, we employ artists to produce the ground truth of pixel art for our network and augment the data by rotating and fliping. We partition the ground truth images into three datasets: a training, validation and test dataset. With this dataset, we perform a supervised learning and train our network as the pixel art generator. We show a training process and a training accuracy. Moreover, we test our architecture for a various images as well as the test dataset to prove the excellence of our architecture.

효율적인 게임 제작을 위한 스케치 기반 영상 검색 기법

이정준(Jung jun Lee),양희경(Hee kyung Yang),민경하(Kyung ha Min) 한국컴퓨터게임학회 2013 한국컴퓨터게임학회논문지 Vol.26 No.4

We present an improved sketch-based image search technique through which users can search their target images from the images in database. This technique can be used in constructing an efficient game development framework. Our basic approach is to search the database by comparing the user-created sketch with the graph extracted from the images in the database and estimating the similarity. The images of high similarities are suggested as the candidates that match the target image. To improve the accuracy of the matching process, we substitute the graph-based representation of images with vectorized coherent lines, which are known as one of the most precise schemes in extracting and describing important features in an image. By the experiments on 820 images of 32 categories, we prove that our scheme shows higher matching accuracy than the existing schemes.

영상의 흐름을 기반으로 한 게임 영상 수채화 렌더링

안정연(Jeong Yeon Ahn),양희경(Hee kyoung Yang),민경하(Kyung ha Min) 한국컴퓨터게임학회 2017 한국컴퓨터게임학회논문지 Vol.30 No.2

We present a flow-based watercolor rendering scheme for game background images. Our scheme is composed of two stages: a flow-based abstraction stage, which is followed by a noise-based watercoloring stage. In the abstrction stage, we apply a 3D Sobel filter to accelerate the abstraction process. The abstracted image is then applied a Perlin noise-based watercoloring process to produce watercolor effects. Finally, we apply paper texture to improve the realism of the results. Among various categories of photographs, our scheme shows good results on portraits, which is a common background of game scene. We apply our scheme for several game backgrounds and produce visually pleasing watercolor effects from them.

Implementation of an efficient super resolution algorithm for game images using sparse matrix multiplication

김형범(Hyoung Bum KIM),양희경(Kyung Ha MIN),민경하(Hee Kyung YANG) 한국컴퓨터게임학회 2021 한국컴퓨터게임학회논문지 Vol.34 No.3

본 연구에서는 게임 동영상의 고화질 변환이 가능한 초해상화 알고리즘을 제시한다. 본 알고리즘은 오픈 소스 형태의 GPU에서 제공하는 MMU에서 구현될 수 있도록 희소 행렬 연산을 이용해서 설게된다. 이를 위해서 일반적인 영상 해상도 향상 방법인 이중 일차 및 이중 삼차 보간 법과 심층 학습에 기반한 초해상화 모델에서 사용하는 컨볼루션 연산을 희소 행렬 연산으로 변환하는 방법을 제시한다. 이는 각 픽셀에 적용되는 필터를 행렬 곱 형태로 표현하고, 이 행렬을 희소 행렬로 표현함으로써 수행되는데, 이러한 과정을 통해서 연산의 효율성을 추구함으로써 안정적인 초해상화 알고리즘을 제공한다. 이러한 희소행렬 연산 형태로 표현되는 초해상화 알고리즘은 기존의 라이브러리를 이용해서 구현된 초해상화 알고리즘과 유사한 PSNR과 FPS를 보인다. We present a super resolution algorithm that increases the resolution of game scenes. Since game scenes are required to be rendered in real time, rendering high-resolutional game scenes in real time is very challenging. Therefore, increasing the resolution of game scenes rendered in low resolution is very promising. In order to present a fast super resolution algorithm, we implement our super resolution algorithm using a sparse matrix operation that can be accelerated through a matrix multiplication unit (MMU). Since many open source GPUs present an acceleration environment, our MMU-based approach can be implemented in many open source GPUs. As a baseline of our approach, we present a sparse matrix multiplication formula of bilinear interpolation and bicubic interpolation. We furthermore present a sparse matrix multiplication form of a convolution operation, which is necessary for deep learning-based super resolution algorithms. The filters employed in the convolution operations are converted to a series of sparse matrices, which are multiplied to complete the deep learning-based super resolution model. We demonstrate the performance of our approach by measuring peak signal-to-noise ratio (PSNR) and mean opinion score (MOS) of the result images generated by our approach and by the existing methods.