http://chineseinput.net/에서 pinyin(병음)방식으로 중국어를 변환할 수 있습니다.
변환된 중국어를 복사하여 사용하시면 됩니다.
- 中文 을 입력하시려면 zhongwen을 입력하시고 space를누르시면됩니다.
- 北京 을 입력하시려면 beijing을 입력하시고 space를 누르시면 됩니다.
RISS 인기검색어
- 검색키워드
- 학과정보 : 게임영상공학과 게임영상학과 (검색결과 2 건)
-
MMPose 프레임워크의 비실사 이미지 포즈 추정을 위한 Unity 활용 학습 데이터 합성 및 성능평가 연구
오영욱 가천대학교 글로벌캠퍼스 일반대학원 2025 국내박사
MMPose 프레임워크의 비실사 이미지 포즈 추정을 위한 Unity 활용 학습 데이터 합성 및 성능평가 연구 가천대학교 일반대학원 게임영상공학과 게임공학전공 오 영 욱 지도교수 김 정 윤 본 연구는 게임엔진을 활용한 포즈 추정용 비실사 이미지 데이터의 합성 방법을 제안하고, 그 실효성을 검증하는 것을 목적으로 한다. 심층신경망 학습 기반의 컴퓨터 비전 기술 발전으로 인체 포즈 추정 기술의 성능이 크게 향상되었으나 실사 이미지 데이터셋으로 학습된 모델들이 2D 게임 스프라이트와 같은 비실사 도메인에서는 성능 제약을 보였다. 이를 해결하 기 위해 본 연구는 Unity 게임엔진을 이용하여 비실사 이미지 포즈 추정 을 위한 학습 데이터셋을 합성하고 이를 이용하여 모델을 학습하였으며 포즈 추정에 대한 성능 차이를 분석하였다. 연구 방법론으로 먼저 Unity의 휴머노이드 아바타 시스템에서 추출한 정 확한 관절 정보를 포함하는 다양한 2D 스프라이트 데이터셋을 자동으로 합성하였다. 이를 위해 게임엔진의 쉐이더 시스템을 활용하여 3D 모델을 2D 스프라이트 스타일로 변환하고, 동시에 정확한 관절 위치 정보를 자동 으로 추출한 후, 학습을 위해 데이터를 통합하는 파이프라인을 작성하였 다. 이렇게 합성한 데이터셋으로 MMPose 프레임워크에서 HRNet과 ResNet 모델을 학습하였다. 학습한 모델의 파라미터는 생성 데이터셋의 검증용 데이터로 평가하였다. 파라미터로부터 평균 정확도와 평균 재현율을 측정하였으며, 각 관절포인 트별 평균 오차거리를 구하여 각 모델의 파라미터별로 비교하였다. 또한 수치뿐만 아니라 검증용 데이터의 이미지 일부의 포즈 추정 값을 시각화 하고, 일반 게임에서 사용되는 스프라이트 역시 파라미터별로 포즈 추정을 하여 결과값을 시각화 하여 비교하였다. 평가한 결과, 포즈 추정에는 HRNet이 ResNet보다 우수하였으며, 기존 실제 사진 데이터셋으로 학습된 모델의 파라미터와 비교하여 2D 게임 스프라이트에서 포즈 추정도가 향상 되었음을 확인하였다. 본 연구는 사진에서 찾기 힘든 과장되고 양식화된 포즈들에 대해 실사기 반으로 학습된 모델의 파라미터가 가지고 있는 한계를 합성 데이터셋을 통해 극복할 수 있음을 확인하였다. 게임엔진을 통해 학습 데이터셋을 합 성하는 방법은 다양한 캐릭터 스타일과 애니메이션에서도 활용할 수 있다. 게임엔진을 통해 학습 데이터셋을 합성함으로써 비실사 이미지의 포즈 추 정 정확도의 향상뿐만 아니라 수작업이 필요한 주석 작성에 대한 의존도 를 크게 줄일 수 있었다. 데이터 합성 과정의 자동화를 통해 대규모 학습 데이터셋의 효율적인 구축은 향후 비실사 도메인에서의 포즈 추정 연구 방법뿐만 아니라 향후 게임, 애니메이션, 만화, 메타버스등 개성이 강한 분 야에서 활용할 수 있는 모델의 학습에도 이용할 수 있을 것으로 기대한다. This study proposes a novel method for synthesizing non-photorealistic image data for pose estimation using game engines and evaluates its effectiveness. While advances in computer vision technology powered by deep neural networks have significantly enhanced human pose estimation, models trained on realistic image datasets often struggle in non-photorealistic domains such as 2D game sprites. To address this issue, this study utilizes the Unity game engine to synthesize a training dataset tailored for non-photorealistic image pose estimation. The synthesized data was employed to train models, and their performance was analyzed comprehensively. The methodology involves automatically generating a diverse dataset of 2D sprites with accurate joint information extracted from Unity's humanoid avatar system. A specialized pipeline was developed to convert 3D models into 2D sprite styles using the game engine's shader system, extract precise joint position data, and integrate this information for model training. The dataset was used to train HRNet and ResNet models within the MMPose framework. The trained models were evaluated on validation data derived from the synthesized dataset. Key metrics including average accuracy, recall, and joint-specific error distances were calculated and compared. Additionally, qualitative analyses were conducted by visualizing pose estimation results on both validation data and 2D game sprites. The findings reveal that HRNet outperforms ResNet in pose recognition and demonstrates enhanced accuracy for 2D game sprites compared to models trained on real-world photographic datasets. This study highlights the potential of synthetic datasets to address the challenges posed by exaggerated and stylized poses that are rarely encountered in photographic data. The proposed methodology in this study for dataset synthesis by using Unity game engine is adaptable to various character styles and animations while offering a scalable solution for diverse applications. By utilizing game engines for data synthesis, this approach expects to reduce reliance on manual annotation and facilitate the efficient creation of large-scale training datasets. The findings of this study are expected to contribute to advancements in pose estimation within non-photorealistic domains, as well as in creative fields such as gaming, animation, comics, and the virtual space.
-
게이미피케이션을 통한 학습효과 증진 역학모델 : 교육용 게임의 학습효과 향상을 위한 4가지 핵심요소 시뮬레이션
김정태 중앙대학교 첨단영상대학원 2014 국내박사
본 논문은 게이미피케이션을 활용한 학습 환경에서의 역학적 모델을 제안하고자 한다. 이 모델의 주요 아이디어는, 컴퓨터게임을 이루는 4가지의 각각의 이론들 ; 1) 게이미피케이션의 이론적 배경인 MDA(기법, 역학, 미학) 프레임워크 2) 게임 디자인 특색들 ( GDF - 훌륭한 특질, 멋진 그래픽, 도전적인 퍼즐들, 흥미진진한 배경과 이야기) 3) 학습게임의 핵심 특징들 ( KCLG - 도전, 호기심, 환상, 조절) 4) 교육 환경 디자인 이론 ARCS 모델(주의집중, 관련성,자신감, 만족감) 로부터 도출해 낸, 4가지 핵심 요소(호기심, 도전, 환상, 그리고 조절)들의 상관관계에 기반으로 한다. 게이미피케이션을 활용한 교육효과 측정을 위한 방정식을 역학모델로, 4가지 핵심 요소는 각각 의미있는 상수로서 제시된다. 이 역학모델에 따르면, 도출된 4가지 핵심 요소들 간의 합리적 관계설정 하에서 적응시간이 어느 정도 경과하게 되면, 전통적인 방식에서 보다 게이미피케이션이 적용되었을 경우에 교육효과가 월등한 효과를 거둘 수 있다. 고안 된 역학모델의 시뮬레이션을 통해 4가지 핵심요소들 사이에서 , , , 등을 도출하였으며, 게이미피케이션을 통한 교육효과는 전통적인 방식의 학습을 어렵지 않게 뛰어넘을 수 있도록 설계가 가능함을 입증하였다. 시뮬레이션 초기에는 게이미피케이션이 적용된 환경에서의 학습효과는 전통방식에 비해 절반정도 낮았으나, 1시간 전체동안의 어휘 학습량은 게이미피케이션을 적용했을 경우가 전통학습 환경에 비해 25% 상승하였다. 나이와 성별까지를 고려한 경우에는, 게이미피케이션을 적용했을 때는 그렇지 않았을 때 보다 최저 –10.1%에서 최대 39.9% 의 범위를 나타냈다. 본 게이미피케이션 역학 모델은 이제 막 시작된 게이미피케이션 연구에 이론적 기반을 강화시킬 것이며, ‘디지털게임’의 양성화 및 순기능 확산에 일조할 것으로 기대한다. This paper proposes a dynamical model for the gamification of learning. The main idea of this model is based on the correlations of four primary factors (curiosity, challenge, fantasy and control ) which originating from digital games which are built on the foundations of separate theories : 1) the theoretical background of gamification labeled the MDA framework (mechanics, dynamics and aesthetics). 2) Game Design Features (GDF - cool features, fancy graphics, challenging puzzles, and an intriguing setting and story), 3) Key Characteristics of a Learning Game (KCLG - Challenge, Curiosity, Fantasy and Control), and 4) a theory of educational environment design known as the ARCS Model (attention, relevance, confidence and satisfaction). Through this dynamical model we will show that the effectiveness of the gamification of learning is educationally superior to traditional ways of learning in specific setting, after an elapsed adaptive time period with reasonable relationship of the four primary factors. The model presents the meaningful positions of four primary factors on the equation for educational effectiveness of gamification. When the four primary factors have profitable values such as , , and from simulations, the educational effectiveness through Gamification can easily exceed the educational effectiveness using the traditional way. The results of simulations shows that at the beginning, educational effectiveness through Gamification is just half of the traditional way but the total amount of vocabulary words that can be learned through Gamification during 1hr is 25% better than traditional way. Considering the different ages and genders start, the results are varied from above 39.9% to below 10.1% of traditional way. We posit that this dynamical model for the gamification of learning can strengthen the “theoretical foundation” of gamification as well as spread the idea of “the pure and right function of game”.
연관 검색어 추천
이 검색어로 많이 본 자료
활용도 높은 자료
