신경망 지능 캐릭터의 게임 환경 변화에 대한 적응 방법

조병헌,정성훈,성영락,오하령,Cho Byeong-heon,Jung Sung-hoon,Sung Yeong-rak,Oh Ha-ryoung 대한전자공학회 2005 電子工學會論文誌-CI (Computer and Information) Vol.42 No.3

최근 컴퓨터 게임에서 지능 캐릭터는 게이머들의 흥미를 계속 유발시킬 수 있기 때문에 더욱 더 중요한 요소로 부각되고 있다. 지능 캐릭터를 구현하는 대표적인 방법으로 신경망을 사용하여 상대 캐릭터의 행동패턴과 게임 규칙을 학습하는 방법이 연구되었다. 그러나 게임의 규칙은 갑자기 변경될 수 있으며 온라인 게임과 같은 상황에서는 게이머에 따라서 행동 특성이 크게 다를 수 있다. 본 논문에서는 지능 캐릭터가 이러한 환경의 변화에 적응하는 방법으로서 개체 수준 적응 알고리즘과 개체군 수준 적응 알고리즘을 제안한다. 개체 수준 적응 알고리즘에서 각 지능 캐릭터는 자신의 게임 점수의 변화를 계속해서 관찰하면서, 최종적으로 획득한 점수들을 고려하여 환경의 변화를 판단하고, 만약 변화가 감지된 경우에는 다시 새로운 학습을 시작한다. 대용량 온라인 게임과 같이 다수의 사용자가 있는 게임에서는 지능 캐릭터들이 다양한 행동 패턴과 전략을 가지고 있는 여러 상대 캐릭터들과 대전한다. 개체군 수준 적응 알고리즘은 유전자 알고리즘을 이용하여 지능 캐릭터들의 출현을 조절하여 게임 월드내의 균형이 유지되도록 한다. 제안한 알고리즘의 성능을 평가하기 위하여 간단한 대전 액션 게임을 구현하고 그 환경 상에서 게임 규칙과 상대 캐릭터들의 행동 패턴을 변화시키면서 실험하였다. 실험 결과 지능 캐릭터는 제안한 기법을 이용하여 환경 변화에 적응할 수 있음을 보였다. Recently intelligent characters in computer games have been an important element more and more because they continually stimulate gamers' interests. As a typical method for implementing such intelligent characters, neural networks have been used for training action patterns of opponent's characters and game rules. However, some of the game rules can be abruptly changed and action properties of garners in on-line game environments are quite different according to gamers. In this paper, we address how a neural network adapts to those environmental changes. Our adaptation solution includes two components: an individual adaptation mechanism and a group adaptation mechanism. With the individual adaptation algorithm, an intelligent character steadily checks its game score, assesses the environmental change with taking into consideration of the lastly earned scores, and initiates a new learning process when a change is detected. In multi-user games, including massively multiple on-line games, intelligent characters confront diverse opponents that have various action patterns and strategies depending on the gamers controlling the opponents. The group adaptation algorithm controls the birth of intelligent characters to conserve an equilibrium state of a game world by using a genetic algorithm. To show the performance of the proposed schemes, we implement a simple fighting action game and experiment on it with changing game rules and opponent characters' action patterns. The experimental results show that the proposed algorithms are able to make intelligent characters adapt themselves to the change.

효율적 멀티캐스팅을 위한 분할 전송 알고리즘

조병헌(Byeong Heon Cho),오하령(Ha Ryoung Oh),성영락(Yeong Rak Seong) 대한전자공학회 2002 대한전자공학회 학술대회 Vol.2002 No.11

대전 액션 게임을 위한 신경망 지능 캐릭터의 구현

조병헌(Byeong-Heon Cho),정성훈(Sung-Hoon Jung),성영락(Yeong-Rak Seong),오하령(Ha-Ryoung Oh) 한국지능시스템학회 2004 한국지능시스템학회논문지 Vol.14 No.4

본 논문에서는 신경망을 이용하여 대전 액션 게임의 캐릭터들을 지능화하는 방법을 제안한다. 일반적인 대전 액션 게임에서 어떤 행동은 여러 개의 시간 단위에 걸쳐 이루어진다. 그러므로 캐릭터의 어떤 행동에 대한 결과는 곧바로 나타나지 않고 몇 개의 시간 단위가 지난 후에 나타난다. 이러한 캐릭터들에 적합한 신경망을 설계하기 위해서는 신경망을 학습시키는 시점을 결정하는 것과 더불어 학습시에 사용되는 입력과 출력 값을 선정하는 것이 매우 중요하다. 본 논문에서는 캐릭터의 행동의 적합도를 게임 점수의 변화로 평가한다. 그러므로 게임 점수의 변화가 생길 때마다 신경망은 학습된다. 학습을 위해서는 우선 그 변화를 야기한 이전의 결정을 파악하고, 그 당시의 입력값, 출력값, 그리고 현재의 점수의 변화를 이용하여 신경망을 학습시킨다. 제안된 알고리즘의 성능을 평가하기 위하여 여러 실험을 간단한 (하지만 실제 게임과 매우 유사한) 게임 환경에서 수행하였다. 실험 결과 학습 초기에는 무작위의 캐릭터에 대해 점수를 획득하지 못하던 지능 캐릭터가 제안된 알고리즘으로 학습하면 최대 3.6 배의 점수를 획득하는 성능을 보였다. 그러므로 제안된 지능 캐릭터가 게임의 규칙과 기술을 학습하는 능력이 있는 것으로 결론지을 수 있다. 제안된 알고리즘은 온라인 게임과 같이 캐릭터들이 서로 대결하는 게임들에 적용할 수 있다. This paper proposes a method to provide intelligence for characters in fighting action games by using a neural network. Each action takes several time units in general fighting action games. Thus the results of a character's action are not exposed immediately but some time units later. To design a suitable neural network for such characters, it is very important to decide when the neural network is taught and which values are used to teach the neural network. The fitness of a character's action is determined according to the scores. For learning, the decision causing the score is identified, and then the neural network is taught by using the score change, the previous input and output values which were applied when the decision was fixed. To evaluate the performance of the proposed algorithm, many experiments are executed on a simple action game (but very similar to the actual fighting action games) environment. The results show that the intelligent character trained by the proposed algorithm outperforms random characters by 3.6 times at most. Thus we can conclude that the intelligent character properly reacts against the action of the opponent. The proposed method can be applied to various games in which characters confront each other, e.g. massively multiple online games.

상자 채우기 문제를 위한 새로운 유전자 알고리즘

조병헌(Byeong Heon Cho),정성훈(Sung Hoon Jung),김기형(Ki Hyoung Kim),성영락(Yeong Rak Seong),오하령(Ha Ryoung Oh) 한국정보과학회 1999 한국정보과학회 학술발표논문집 Vol.26 No.1A

지금까지 상자 채우기 문제(bin packing problem)를 풀기 위하여 다양한 방법들이 제안되었다. 일반적으로 많이 사용되는 방법으로는 FF, FFD, BF, BFD와 같은 간단한 휴리스틱(heuristic) 방법이 있다. 그러나, 많은 경우 위 방법으로는 최적인 해를 생성하지 않는다. 상자 채우기 문제를 해결하는 또 다른 방법으로는 유전자 알고리즘(genetic algorithm)을 이용한 방법이 있다. 과거에 연구된 유전자 알고리즘은 상자 채우기 문제의 제한을 만족하지 않는 개체를 생성하는 경우가 많아서 효율적이지 못했다. 본 논문에서는 무효한 개체를 생성하지 않고, 효과적으로 상자 채우기 문제를 해결하는 새로운 유전자 알고리즘을 제안한다. 여러 가지 기존의 문제를 적용해 본 결과 FF, FFD, BF, BFD와 유사한 또는 그보다 좋은 결과를 생성했다. 특히 본 논문에서 제안한 유전자 알고리즘은 최적해를 찾는 경우도 있었다.

상대캐릭터의 행동패턴에 적응하는 지능캐릭터의 구현

이면섭,조병헌,정성훈,성영락,오하령,Lee, Myun-Sub,Cho, Byeong-Heon,Jung, Sung-Hoon,Seong, Yeong-Rak,Oh, Ha-Ryoung 대한전자공학회 2005 電子工學會論文誌 IE (Industry electronics) Vol.42 No.3

본 논문에서는 유전자 알고리즘을 이용하여 특정 행동 패턴을 보이는 상대 캐릭터에 적절히 적응할 수 있는 대전 액션 게임용 지능캐릭터의 구현 방법을 제안한다. 이를 위하여 현재 행동과 단계뿐 만 아니라 과거행동까지 고려하여 학습한다. 제안한 방법이 얼마나 효과가 있는지 알아보기 위하여 현재의 행동과 단계만을 적용한 실험(실험-1)과 과거 행동을 추가한 행동패턴을 적용한 실험(실험-2) 결과를 비교 분석하였다. 실험 평가는 두 캐릭터가 획득한 점수를 측정하여 그 비로써 평가하였다. 실험 결과 초기에는 실험-1에서 높은 점수비로 시작하지만 일정 세대 이후부터는 실험-2의 점수비가 좋아지며, 실험-2에서는 모두 최적해를 찾을 수 있었다. 또한 실험-2에서 지능 캐릭터는 행동이 완료되는 시점에서 최대의 점수를 얻기 위해 이동(전진,후진)이나 시간 지연 동작을 하여 스스로 진화하면서 게임 규칙을 학습함을 보았다. This paper proposes an implementation method of intelligent characters that can properly adapt to action patterns of opponent characters in fighting games by using genetic algorithm. For this intelligent characters, past actions patterns of opponent characters should be included in the learning process. To verify the effectiveness of the proposed method, two types of experiments are performed and their results are compared. In first experiment(exp-1), intelligent characters consider current action and its step of an opponent character. In second experiment (exp-2), on the other hands, they take past actions of an opponent characters into account additionally. As a performance index, the ratio of score obtained by an intelligent character to that of an opponent character is adopted. Experimental results shows that even if the performance index of exp-1 is better than that of exp-2 at the beginning of stages, but the performance index of exp-2 outperforms that of exp-1 as stages go on. Moreover, optimum solutions are always found in all experimental cases in exp-2. Futhermore, intelligent characters in exp-2 could learn moving actions (forward and backward) and waiting actions for getting more scores through self evolution.

범용 내장형 컴퓨터 시스템의 구현

장위식,조병헌,성영락,오하령,Jang, Wee-Sik,Cho, Byeong-Heon,Sung, Yeong-Rak,Oh, Ha-Ryoung 한국정보처리학회 2002 정보처리학회논문지 A Vol.9 No.4

본 논문에서는 범용 내장형 컴퓨터 시스템을 설계하고 구현한다. 범용 내장형 컴퓨터 시스템의 가장 중요한 점은 확장성과 유연성이다. 개발된 시스템은 세 개의 모듈로 나뉘어 구성되며, 소프트웨어는 하드웨어에 독립적인 응용 프로그램 인터페이스를 제공한다. 또한 공개 실시간 운영체제인 uC/OS-II의 기능을 확장하여 개발된 범용 내장형 컴퓨터 시스템에 이식한다. 확장된 uC/OS-II는 여러 프로세스들이 같은 우선순위를 가지는 것을 지원하고, 같은 우선순위의 프로세스들에 대해서는 라운드-로빈 방식으로 스케줄링 된다. In this paper, a general purpose embedded computer system is designed and implemented. The most crucial points of the system are extensibility and flexibility. The hardware of the developed system is composed of three modules and the software provides hardware independent application program interfaces. Moreover, uC/OS-II, a well-known open realtime kernel. is extended and ported onto the system. The extended uC/OS-II supports that multiple processes can have the same priority and such processes are scheduled in a round-robin manner.

대전형 액션 게임에서 에너지 점수를 도입한 지능 캐릭터

이면섭,조병헌,정성훈,성영락,오하령,Lee Myun-Sub,Cho Byeong-Heon,Jung Sung-Hoon,Seong Yeong-Rak,Oh Ha-Ryoung 한국정보처리학회 2006 정보처리학회논문지B Vol.13 No.4

본 논문에서는 대전형 액션 게임을 위한 지능 캐릭터 구현에 있어서 기존 연구보다 실제적인 구현을 위하여 에너지 점수를 적용한 지능 캐릭터를 제안한다. 제안한 지능 캐릭터는 기존연구에서 사용한 상대 캐릭터의 현재 행동, 행동의 단계, 유효거리, 과거 행동 뿐 만 아니라 자신의 에너지 양을 고려하여 행동을 결정하게 된다. 에너지는 현재 온라인 게임 등에서 많이 사용하는 것으로 HP (Health Point)와 MP(Mana Point) 두 가지를 사용하였다. 에너지 점수를 적용한 지능캐릭터가 학습하는지 그리고 에너지점수를 적용했을 때 어떻게 행동하는지를 알아보기 위한 여러 가지 실험을 하였다. 실험 결과 에너지가 양이 많은 경우에는 상대방에게 피해를 크게 줄 수 있는 행동으로 대응하고 그렇지 않은 경우에는 에너지를 재충전하기 위한 행동들을 하는 것을 관찰하였다. 이런 결과로 볼 때 본 논문에서 제안한 에너지를 적용한 지능캐릭터가 잘 동작하며 에너지를 고려하여 효과적인 반응을 보임을 알 수 있다. This paper proposes intelligent characters for fighting action games to which energy points are applied for more realistic implementation than those of previous researches. The intelligent characters decide their actions in consideration of their energy level as well as a current action, the step of the action, the distance, and past actions of opponent characters that were used in existing intelligent ones. We used two types of energy, HP(Health Point) and MP(Mana Point) that were frequently employed in recent on-line games. We experimented with proposed intelligent characters to investigate whether the intelligent characters learn proper actions and cope with opponent characters in consideration of their energy levels. Experimental results showed that the intelligent characters reacted with the best actions to obtain high score if their energy is sufficient, Otherwise, they did the actions to(that?) recharge their energy. From this observation, we could conclude that the proposed intelligent characters worked well and did effective actions in consideration of the their energy.

유전자 알고리즘을 이용한 대전형 액션게임의 지능캐릭터

이면섭,조병헌,성영락,정성훈,오하령,Lee Myun-sub,Cho Byeong-heon,Seong Yeong-rak,Jung Sung-hoon,Oh Ha-ryoung 한국정보처리학회 2005 정보처리학회논문지B Vol.12 No.3

본 논문에서는 유전자 알고리즘을 이용하여 대전형 액션 게임의 캐릭터를 지능화 하는 방법을 제안한다. 초기에 게임 규칙을 전혀 모르는 캐릭터가 학습이 진행되면 세대를 거듭하면서 스스로 게임규칙을 학습하고 기술을 습득하며 진화할 수 있는 지능을 갖추게 된다. 제안한 캐릭터가 환경변화에 잘 적응하는지를 평가하기 위하여 게임 도중에 게임규칙을 바꾸어 규칙 변경 전후의 결과를 비교 검토하였다. 실험결과 게임규칙이 변경된 후에도 빠르게 새로운 규칙에 적응하였다. 본 논문에서 제안한 방법은 대전형 액션게임뿐만 아니라 PC게임이나 인터넷 온라인 게임 등의 캐릭터 구현에도 쉽게 적용가능한 장점이 있다. This paper proposes a method to provide intelligence for characters in fighting action games by using genetic algorithm. The proposed characters without any knowledge on the rules of the game learn the rules and techniques for generations, and have the capability of evolving. To evaluate adaptability for varying circumstances, we changed the rules and compared the results. The experimental results show that the intelligent characters can adapt to the new rules. An advantage of the proposed method is that it can be easily applied to characters for other category of games such as PC games and internet online games.

WCDMA를 기반으로 한 IMT-2000시스템의 무선망 엔지니어링 툴의 개발

정희영(Hoi-Young Jung),이인웅(In-Woong Lee),조병헌(Byeong-Heon Cho),임재봉(Jae-Bong Lim),오하령(Ha-Ryoung Oh),성영락(Yeong-Rak Seong) 대한전자공학회 2000 대한전자공학회 학술대회 Vol.2000 No.11

이차원 대전 액션 게임을 위한 신경망 기반의 지능 캐릭터 구현

나종민 ( Jong-min Na ),오하령 ( Ha-ryoung Oh ),성영락 ( Yeong-rak Seong ),정성훈 ( Sung-hoon Jung ),조병헌 ( Byeong-heon Cho ) 한국정보처리학회 2005 한국정보처리학회 학술대회논문집 Vol.12 No.1

현재 인공지능 기법은 우리 주위의 여러 분야에서 사용되고 있으며, 그 중요도가 점점 높아지고 있다. 이러한 분야 중에 하나가 바로 컴퓨터 게임 분야로 전통적인 인공지능 기법부터 근래에 게임과의 결합이 시도되고 있는 비전통적 기법에 이르기까지 다양한 종류의 방법이 시도되었고, 시도될 예정이다. 본 논문에서는 게임 내에서 그 비중이 커져가고 있는 인공지능을 통한 캐릭터의 지능화 방안으로 신경망 기반의 지능 캐릭터를 제안하였다.