효율적인 멀티 에이전트 강화 학습을 위한 나이브 베이지안 기반 상대 정책 모델

권기덕 ( Ki-duk Kwon ) 한국인터넷정보학회 2008 인터넷정보학회논문지 Vol.9 No.6

멀티 에이전트 강화학습에서 중요한 이슈 중의 하나는 자신의 성능에 영향을 미칠 수 있는 다른 에이전트들이 존재하는 동적 환경에서 어떻게 최적의 행동 정책을 학습하느냐 하는 것이다. 멀티 에이전트 강화 학습을 위한 기존 연구들은 대부분 단일 에이전트 강화 학습기법들을 큰 변화 없이 그대로 적용하거나 비록 다른 에이전트에 관한 별도의 모델을 이용하더라도 현실적이지 못한 가정들을 요구한다. 본 논문에서는 상대 에이전트에 대한 나이브 베이지안 기반의 행동 정책 모델을 소개한 뒤, 이것을 이용한 강화 학습 방법을 설명한다. 본 논문에서 제안하는 멀티 에이전트 강화학습 방법은 기존의 멀티 에이전트 강화 학습 연구들과는 달리 상대 에이전트의 Q 평가 함수 모델이 아니라 나이브 베이지안 기반의 행동 정책 모델을 학습한다. 또한, 표현력은 풍부하나 학습에 시간과 노력이 많이 요구되는 유한 상태 오토마타나 마코프 체인과 같은 행동 정책 모델들에 비해 비교적 간단한 형태의 행동 정책 모델을 이용함으로써 학습의 효율성을 높였다. 본 논문에서는 대표적인 적대적 멀티 에이전트 환경인 고양이와 쥐게임을 소개한 뒤, 이 게임을 테스트 베드 삼아 실험들을 전개함으로써 제안하는 나이브 베이지안 기반의 정책 모델의 효과를 분석해본다. An important issue in Multiagent reinforcement learning is how an agent should learn its optimal policy in a dynamic environment where there exist other agents able to influence its own performance. Most previous works for Multiagent reinforcement learning tend to apply single-agent reinforcement learning techniques without any extensions or require some unrealistic assumptions even though they use explicit models of other agents. In this paper, a Naive Bayesian based policy model of the opponent agent is introduced and then the Multiagent reinforcement learning method using this model is explained. Unlike previous works, the proposed Multiagent reinforcement learning method utilizes the Naive Bayesian based policy model, not the Q function model of the opponent agent. Moreover, this learning method can improve learning efficiency by using a simpler one than other richer but time-consuming policy models such as Finite State Machines(FSM) and Markov chains. In this paper, the Cat and Mouse game is introduced as an adversarial Multiagent environment. And then effectiveness of the proposed Naive Bayesian based policy model is analyzed through experiments using this game as test-bed.

행위 범주에 기초한 실시간 에이전트의 설계 및 구현

권기덕(Ki Duk Kwon),김하빈(Ha Bin Kim),김인철(In Cheol Kim) 한국컴퓨터게임학회 2004 한국컴퓨터게임학회논문지 Vol.3 No.-

지속적으로 복잡성이 높아지고 실시간으로 갱신되는 환경에서 동작하는 에이전트를 위한 많은 에이전트 구조들이 제시되었지만 실시간 에이전트 환경 특성에 대한 해결책을 에이전트 구조에서 제시하지 않고 프로그래머 기술 수준에서 구현하고 있다. 본 논문에서는 기존의 계층형 구조를 발전시킨 범주구조를 적용시키며 실시간 환경에 대한 적응성이 높은 에이전트 구조를 제시하고, 이를 구현한 에이전트 구조 RTAA(Real Time Agent Architecture)를 소개한다. RTAA는 실시간 환경을 고려하여 인식주기, 결정주기, 행위주기가 분리되어 있으며 복잡한 환경정보와 행위를 원활히 처리하기 위해 행위의 병렬 진행을 지원한다. 또한 기존의 계층형 구조와 달리 행위의 계층을 행위범주 단위로 분리하여 계층구현의 유연성을 지원한다. 이러한 에이전트 구조의 실험을 위해 RTAA를 지능 제어 엔진으로 사용한 KAIBot(Kyonggi Artificial Intelligence Bot)을 구현하였다. KAIBot은Unreal Tournament게임에 기초한 GameBots 환경에서 동작하며 다른 보트 클라이언트(bot client)와 경쟁, 협업하며 지역점령게임(dominating game)을 수행하는 지능형 NPC이다.

강화학습에 기초한 로봇 축구 에이전트의 동적 위치 결정

권기덕(Ki-Duk Kwon),김인철(In-Cheol Kim) 한국정보과학회 2001 한국정보과학회 학술발표논문집 Vol.28 No.2Ⅱ

강화학습은 한 에이전트가 자신이 놓여진 환경으로부터의 보상을 최대화할 수 있는 최적의 행동 전략을 학습하는 것이다. 따라서 강화학습은 입력(상태)과 출력(행동)의 쌍으로 명확한 훈련 예들이 제공되는 교사 학습과는 다르다. 특히 Q-학습과 같은 비 모델 기반(model-free)의 강화학습은 사전에 환경에 대한 별다른 모델을 설정하거나 학습할 필요가 없으며 다양한 상태와 행동들을 충분히 자주 경험할 수만 있으면 최적의 행동전략에 도달할 수 있어 다양한 응용분야에 적용되고 있다. 하지만 실제 응용분야에서 Q-학습과 같은 강화학습이 겪는 최대의 문제는 큰 상태 공간을 갖는 문제의 경우에는 적절한 시간 내에 각 상태와 행동들에 대한 최적의 Q값에 수렴할 수 없어 효과를 거두기 어렵다는 점이다. 이런 문제점을 고려하여 본 논문에서는 로봇 축구 시뮬레이션 환경에서 각 선수 에이전트의 동적 위치 결정을 위해 효과적인 새로운 Q-학습 결과를 단순히 결합하는 종래의 모듈화 Q-학습(Modular Q-Learning)을 개선하여, 보상에 끼친 각 모듈의 기여도에 따라 모듈들의 학습결과를 적응적으로 결합하는 방법이다. 이와 같은 적응적 중재에 기초한 모듈화 Q-학습법(Adaptive Mediation based Modular Q-Learning, AMMQL)은 종래의 모듈화 Q-학습법의 장점과 마찬가지로 큰 상태공간의 문제를 해결할 수 있을 뿐 아니라 보다 동적인 환경변화에 유연하게 적응하여 새로운 행동 전략을 학습할 수 있다는 장점을 추가로 가질 수 있다. 이러한 특성을 지닌 AMMQL 학습법은 로봇축구와 같이 끊임없이 실시간적으로 변화가 일어나는 다중 에이전트 환경에서 특히 높은 효과를 볼 수 있다. 본 논문에서는 AMMQL 학습방법의 개념을 소개하고, 로봇축구 에이전트의 동적 위치 결정을 위한 학습에 어떻게 이 학습방법을 적용할 수 있는지 세부 설계를 제시한다.

다중 에이전트 강화 학습을 위한 상태 공간 타일링과 확률적 행동 선택

권기덕(Kwon Ki Duk),김인철(Kim In Cheol) 한국정보과학회 2006 한국정보과학회 학술발표논문집 Vol.33 No.1

강화 학습은 누적 보상 값을 최대화할 수 있는 행동 선택 전략을 학습하는 온라인 학습의 한 형태이다. 효과적인 강화 학습을 위해 학습 에이전트가 매 순간 고민해야 하는 문제가 탐험(exploitation)과 탐색(exploration)의 문제이다. 경험과 학습이 충분치 않은 상태의 에이전트는 어느 정도의 보상 값을 보장하는 과거에 경험한 행동을 선택하느냐 아니면 보상 값을 예측할 수 없는 새로운 행동을 시도해봄으로써 학습의 폭을 넓힐 것이냐를 고민하게 된다. 특히 단일 에이전트에 비해 상태공간과 행동공간이 더욱 커지는 다중 에이전트 시스템의 경우, 효과적인 강화학습을 위해서는 상태 공간 축소방법과 더불어 탐색의 기회가 많은 행동 선택 전략이 마련되어야 한다. 본 논문에서는 로봇축구 Keepaway를 위한 효율적인 다중 에이전트 강화학습 방법을 설명한다. 이 방법의 특징은 상태 공간 축소를 위해 함수근사방법의 하나인 타일코딩을 적용하였고, 다양한 행동 선택을 위해 룰렛 휠 선택 전략을 적용한 것이다. 본 논문에서는 이 방법의 효과를 입증하기 위한 실험결과를 소개한다.

계층적 유한 상태 기계를 이용한 NPC의 행위 제어

권기덕(Ki-Duk Kwon) 한국정보기술학회 2009 한국정보기술학회논문지 Vol.7 No.3

In this paper, uses Finite State Machine which controls the intelligent NPC(Non-Player Character) behavior from game. UT games which is using with experimental environment are having a many state. These state variable expresses state with domination point, opponent and self, Grouping did states and expressed mode with Hierarchical Finite State Machine. The Behavior has internal behavior and external behavior, case of external behavior was a part which accomplishes the behavior which is actual, the internal behavior goal in mode change, to check the condition which is composed of the pair of external condition and internal state and in order to select a mode, external behavior to give in order to accomplish a priority and softer behavior.

비주기 태스크를 위한 동적 가변 전압 스케쥴링

권기덕(Kwon, Ki-Duk),정준모(Jung, Jun-Mo),권상홍(Kwon, Sang-Hong) 한국산학기술학회 2006 한국산학기술학회논문지 Vol.7 No.5

본 논문은 비주기 태스크에 대한 저전력 스케줄링을 달성하기 위한 새로운 동적 전압 조절(DVS) 알고리즘을 제안한다. 벼주기 태스크는 주기(period)가 없고 발생시간(release time)과 최악실행시간(WCET) 예측이 불가능하기 때문에 기존의 DVS 알고리즘으로 스케줄링 할 수 없으므로 전력소모가 많이 발생하는 단점이 있다. 본 논문에서는 일정한 크기의 주기와 최악수행시간을 갖는 주기적인 가상태스크를 정의하고, 발생한 비주기 태스크를 가상태스크에 할당하여 이미 존재하는 주기 태스크들과 합께 DVS 스케줄링을 수행하는 알고리즘을 제안한다. 가상태스크의 주기와 최악수행 시간은 이미 존재하는 주기태스크들과 가상태스크를 모두 포함한 태스크 활용률을 계산하여, 그 값이 1에 가장 근접하는 값으로 설정한다. 제안하는 알고리즘은 기존의 주기 태스크에 대한 DVS 알고리즘보다 11%의 전력 감소 효과가 있음을 시뮬레이션을 통해 확인하였다. This paper proposes a new Dynamic Voltage Scaling(DVS) algorithm to achieve low-power schedulingof aperiodic hard real-time tasks. Aperiodic tasks schedulingcannot be applied to the conventional DVS algorithm and result in consuming energy more than periodic tasks because they have no period, non predictable worst case execution time, and release time. In this paper, we defined Virtual Periodic Task Set(VTS) which has constant period and worst case execution time, and released aperiodic tasks are assigned to this VTS. The period and worst case execution time of the virtual task can be obtained by calculating task utilization rate of both periodic and aperiodic tasks. The proposed DVS algorithm scales the frequency of both periodic and aperiodic tasks in VTS. Simulation results show that the energy consumption of the proposed algorithm is reduced by 11% over the conventional DVS algorithm for only periodic task.

로보컵 공 뺏기 테스트베드를 이용한 적대적 학습 에이전트들에 대한 실험적 분석

권기덕 ( Ki-duk Kwon ),김인철 ( In-cheol Kim ) 한국정보처리학회 2006 한국정보처리학회 학술대회논문집 Vol.13 No.2

강화 학습은 시행착오를 통해 동적 환경과 상호작용하면서 학습을 수행하는 학습 방법으로 본 논문에서 테스트 환경으로 사용하는 Keepaway와 같은 동적인 환경에서 주로 사용하는 학습 방법이다. 본 논문에서는 학습을 통한 에이전트가 다른 정책을 사용하는 에이전트보다 성능이 더 높다는 것을 보이고자 한다. 학습 초기에는 다양한 전략을 평가하기 위해 최적이 아닌 행동을 선택하지만 시간이 지남에 따라 최적의 행동 선택에 수렴해 가는 것을 보이기 위한 실험을 수행한다. 이 실험을 통해 고정된 행동 양식을 가지는 정책보다 강화 학습을 이용한 에이전트들의 성능이 더 효과적인 것을 알 수 있었다.

인터넷 기업의 가치 평가에 관한 연구

권기덕(Ki-duk Kwon),최선규(Seon-Kyou Choi) 한국통신학회 2000 한국통신학회 학술대회논문집 Vol.2000 No.7

동아시아 근대만화의 특징

윤기헌(Ki-Heon Yoon),권기덕(Ki-Duk Kwon) 한국콘텐츠학회 2010 한국콘텐츠학회논문지 Vol.10 No.10

근대만화의 출발점은 만화의 기본적인 형태 즉, 글과 그림의 완전한 결합 형태로 풍자화의 전통에서 출발했으며, 동아시아 3개국은 근대미술과 서양의 새로운 서구의 만화형식인 카툰과의 결합을 통해 ‘만화’라는 매체가 본격적으로 자리 잡기 시작했다. 각 나라에 사정에 맞게 진화된 근대만화는 초기 체제와 외세, 그리고 내부 부패에 관한 풍자로부터 점차 일반 민중의 계몽의 수단으로 발전해 왔다. 그러나 체제비판은 탄압으로 이어졌고 근대 동아시아를 둘러싼 제국주의의 발호로 이들 나라의 근대만화는 모두 체제선전, 전쟁참여, 식민찬양 등의 과정을 겪어야만 했다. 세계만화의 큰 부분을 근대에서 현재에 이르기까지 상당부분을 과점하고 있는 동아시아의 만화의 토대가 바로 근대만화에서부터 출발하고 있으며, 따라서 근대 동아시아 만화가 가지는 특징들은 그런 의미에서 매우 의미가 크다 하겠다. Modern comics find their roots in caricatures, which have a basic element of comics as a combination of wrings and drawings. In three East Asian countries, new media, comics have been developed by joining modern arts and cartoons which is a news form of western comics. As modern comics have evolved according to situations of the three countries, they expand from the satire on the system, foreign invasions, and internal corruption to the enlightenment of the people. However, the criticism on the system lead to the oppression, and the imperialism in East Asian countries enforce the agitation, war engagement, propaganda of the colonialism on the comics. Current East Asian comics have been occupying the largest part in the world comics, and have their roots in the modern comics. So it is meaningful to investigate the characteristic of modern East Asian comics.

An Implementation of CRMBot as a Tool for a Market Share

Jung-min Choi(최정민),Ki-duk Kwon(권기덕),Byoung-soo Lee(이병수) 한국정보기술학회 2008 한국정보기술학회논문지 Vol.6 No.5

Most of ERP and CRM have focused on traditional functions. However, there have been revolutionary market changes based on the rapid developments of e-Commerce, e-Business and the Internet, and the competitiveness of a company is actively strengthened through improving customer or partner relationships and the business processes of companies during projecting e-Business. CRM is a kind of marketing process to form, maintain and strengthen mutual interests between companies and customers to keep present customers and to elevate the values of customers to companies. Because this goal is achieved based on the information about various and numerous customers, it needs customer information systems, and is related to management categories such as manufacturing, distribution, marketing, and business decisions. In Multi-Bot systems, Bots are ‘computer programs operating cooperatively in distributed environments.’ A feature of Multi-Bots is sharing capacities and information among several Bots, and their functions are easily extensible. Multi-Bots have a problem in discussing and cooperating with each other in complex operational environments. Consequently, the Bot system of this paper is based on BDI architecture. Bots do the most basic moving, talking and working technologies. The moving from a grid model to a cell was regarded as the movement of a Bot. The position includes the position information of each Bot. To find the shortest distance, A* algorism was used. FIPA suggested ACL (Agent Communication Language) based on Communicative Act Theory. This research focused on research results, and literature, due to the special feature of this research. Therefore, there are some suggestions. Integrating the functions of ANS to DF, can reduce message exchanges due to simplified processes, and makes it possible for application Bots to communicate efficiently. The ‘request message’ forms, sent to the two mediating Bots, DF and AMS, are defined as follows. Firstly, it is necessary to do practical research about ERP packages and e-Business related functions. Secondly, the present status of e-Business related network security, payment systems and web-based sales, etc. shall be investigated. Thirdly, practical researches to verify this research should be conducted in the future by more excellent researchers.