학습기법을 이용한 멀티 에이전트 시스템 자동 조정 모델

이말례,김상근,Lee, Mal-Rye,Kim, Sang-Geun 한국정보처리학회 2001 정보처리학회논문지B Vol.8 No.6

멀티 에이전트 시스템은 분산적이고 개방적인 인터넷 환경에 잘 부합된다. 멀티 에이전트 시스템에서는 각 에이전트들이 자신의 목적을 위해 행동하기 때문에 에이전트간 충돌이 발생하는 경우에 조정을 통해 협력할 수 있어야 한다. 그러나 기존의 멀티 에이전트 시스템에서의 에이전트 간 협력 방법에 관한 연구 방법들은 동적 환경에서 서로 다른 목적을 갖는 에이전트간의 협동 문제를 올바로 해결할 수 없다는 문제가 있었다. 본 논문에서는 신경망과 강화학습을 이용하여 목적 패턴을 정확히 결정할 수 없는 복잡하고 동적인 환경하에서 멀티 에이전트의 자동조정 모델을 제안한다. 이를 위해 복잡한 환경과 다양한 행동을 갖는 멀티 에이전트간의 경쟁 실험을 통해 멀티 에이전트들의 행동의 영향을 분석 평가하여 제안한 방법이 타당함을 보였다. Multi-agent system fits to the distributed and open internet environments. In a multi-agent system, agents must cooperate with each other through a coordination procedure, when the conflicts between agents arise. Where those are caused by the point that each action acts for a purpose separately without coordination. But previous researches for coordination methods in multi-agent system have a deficiency that they cannot solve correctly the cooperation problem between agents, which have different goals in dynamic environment. In this paper, we suggest the automatic coordination model for multi-agent system using neural network and reinforcement learning in dynamic environment. We have competitive experiment between multi-agents that have complexity environment and diverse activity. And we analysis and evaluate effect of activity of multi-agents. The results show that the proposed method is proper.

Multi Agent Robot System(MARS)의 Robot Agent 간 정보교환을 위한 네트워크 프로그램 구현

고광은(Kwang-Eun Ko),이정수(Jeong-Soo Lee),장인훈(In-Hun Jang),심귀보(Kwee-Bo Sim) 한국지능시스템학회 2007 한국지능시스템학회논문지 Vol.17 No.5

홈서버와 가정용서비스 로봇, 다양한 Device를 포함하는 홈네트워크 시스템을 이용하여 가정환경 내에서 발생 가능한 다양하게 분산된 임무들을 수행하는데 있어서 Multi-Agent 시스템을 응용하는 것은 효율적이라고 알려져 있다. 이러한 시스템에서 휴먼 인터페이스와 물리적 서비스 제공의 중추 역할을 하는 것은 바로 지능형 서비스 로봇이다. 따라서, 기존의 Multi Agent System을 응용하여 Multi Agent Robot System을 정의할 수 있다. 가정이라는 ‘open’된 특성의 환경에서 Multi Agent Robot System이 사용자에게 좀 더 효율적인 서비스를 제공하기 위해서는 존재하는 모든 Agent 간의 유기적인 정보교환과 협력이 필요하다. 이것을 위하여 자율구동하며 사용자에게 물리적 서비스를 제공할 수 있는 다수의 로봇들을 Agent로 정의하고, 로봇 Agent간의 통신과, 로봇 이외의 Agent로써의 역할을 감당할 수 있는 홈서버 등의 Agent와 로봇 Agent들의 통신을 사용자 interface에 직접 표현할 수 있는 시뮬레이터를 설계, 제시한다. Using home network system including home server, home service robot, a variety of device, it is generally known that application of Multi Agent System for performing variously distributed process that can be occur in home environment, is efficient method. In this system, it is intelligent service robot that a key of human interface and physical service offer. Therefore, using application of established multi agent system, we can defined Multi Agent Robot System. In 'open' home environment, between all agent data interaction and cooperation are needed for Multi Agent System offer to user that more efficient service. For this, we focus our attention on define as agent that can autonomic drive and offer to user that physical service robots and, design, suggest the simulator can display that between robot agents communication or between other agents, like home server, and robot agents communication information to user interface.

이공지능 : 에이전트들 간의 밀접한 협력을 지원하기 위한 다중 에이전트 메시지 전송 구조

장혜진 ( Hai Jin Chang ) 한국정보처리학회 2014 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.3 No.3

본 논문은 에이전트들 간의 긴밀한 협력을 위해 신속한 메시지 통신을 필요로 하는 응용 분야들을 지원하기 위한 다중 에이전트 메시지 전송 구조를 제안한다. 제안하는 구조는 FIPA(Foundation of Intelligent Physical Agents) 표준 에이전트 플랫폼 규격에서 에이전트들에게 메시지 전송 서비스를 제공하는 요소인 ACC(Agent Communication Channel)를 MTSA(Message Transfer Service Agent)라는 에이전트들의 집합으로 표현한다. MTSA는 비동기 메시지 통신을 지원하며, 메시지 수신을 효율적으로 처리하기 위해 반응자 패턴(reactor pattern)을 사용하며, 메시지 송신 에이전트와 수신 에이전트의 상대적 위치 관계에 따라 에이전트들 간에 최적의 통신 수단을 선택하여 메시지를 전송하여 에이전트들 간의 긴밀한 협력이 가능하도록 한다. 제안된 메시지 전송 구조에 따라 구현된 다중 에이전트 프레임워크 SMAF(Small Multi-Agent Framework)는 잘 알려진 에이전트 프레임워크 JADE(Java Agent Development Environment)와 비교하였을 때 향상된 메시지 전송 능력을 보인다. 다중 에이전트 구조의 메시지 통신 속도가 고속화되면 될수록 그 다중 에이전트 구조는 더 다양한 응용 분야들에 적용될 수 있을 것이다. This paper proposes a multi-agent message transport architecture to support application areas which need fast message communications for close collaboration among agents. In the FIPA(Foundation of Intelligent Physical Agents) agent platform, all message transfer services among agents are in charge of a conceptual entity named ACC(Agent Communication Channel). In our multi-agent message transport architecture, the ACC is represented as a set of system agents named MTSA(Message Transfer Service Agent). The MTSA enables close collaboration among agents by supporting asynchronous communication, by using Reactor pattern to handle agent input messages efficiently, and by selecting optimal message transfer protocols according to the relative positional relationships of sender agents and receiver agents. The multi-agent framework SMAF(Small Multi-Agent Framework), which is implemented on the proposed multi-agent message transport architecture, shows better performance on message transfer among agents than JADE(Java Agent Development Environment) which is a well-known FIPA-compliant multi-agent framework. The faster the speed of message transfer of a multi-agent architecture becomes, the wider application areas the architecture can support.

Multi-Agent System을 이용한 배전계통 자율 적응 최적 보호 시스템

鄭廣鎬,崔勉松,李承宰 明知大學校 産業技術硏究所 2004 産業技術硏究所論文集 Vol.23 No.-

The topology of the power distribution network with protection scheme using over current relay is changed frequently because of load change, maintenance, mending and so on, but the setting values of protective devices are maximum values to ignore load and topology changes of the distribution network. Therefore the protection system can't isolate the light fault from distribution system. Currently, multi-agent system is focused one's attention on the world. And also the protective device is made by digital component and it has communication ability through the influence of communication technology. Because of these reasons, "an adaptive optimal protection of a distribution system network using multi-agent system" is proposed to apply multi agent system for automatic operation of protective system in this paper. The characteristic of multi-agent system has autonomy that is self-start ability and intelligence, with own knowledge, reasoning and judging ability. The agent works together to achieve a global goal, in which case each agent does the given job only. A protective agent of the proposed system has two autonomous functions with basic the protective function. One is the detecting function of network change. The other is the resetting function for optimal protection of a distribution system by coordinating with neighbor agents. When the fault is detected on network, agents isolate fault from network, then it sets parameters to new operation conditions by collaborating with other device agents. This system has adaptive protection with optimization "Protectability" applying protection. It is the "Protectability" concept for evaluation of protection system to describe how the system is well protection by an index numerical value. This system can operate optimal protection, because it detects adequate parameter by optimal method based on collaboration with neighbor agent. The purpose of proposed paper is development of system which has automatic detection of network change and rapidly automatic adaptation against network change with optimal method to set adequate parameter for complete protection.

Collaborative Plotting System Based on Web and Multi-Agent

Xiao-Lan Xie,Shun-Bai Huang,Xiu-juan Guo 보안공학연구지원센터 2016 International Journal of u- and e- Service, Scienc Vol.9 No.7

The traditional collaborative plotting system is a single user plot in which users are independent of each other, and the data can’t be shared among them. It can’t meet the requirements of multi-users to collaborative plot in the modern society. In this paper, we proposed multi-agent technology applying into the collaborative plotting system, and designed a collaborative plotting system based on web and multi-agent, which can solve the problem of real-time collaborative plotting for multi-users. At the same time, it provides the map editing interactive interface and realizes the dynamic exchange of the plotting information. Also, it supports a wide range of collecting effective plotting data, and realizes a new way of information acquisition. Experiments show that the system based on multi-agent can achieve fast and real-time cooperation under the Web environment, and its response time is short and the system performance is stable.

다중 지역 환경에서 이동 에이전트를 위한 위치 관리 및 메시지 전달 기법

최성진(SungJin Choi),백맹순(MaengSoon Baik),송의성(UiSung Song),황종선(ChongSun Hwang) 한국정보과학회 2007 정보과학회논문지 : 시스템 및 이론 Vol.34 No.11·12

다중 지역 이동 에이전트 컴퓨팅 환경을 기반하여 이동 에이전트 시스템을 개발하는데 있어서, 이동 에이전트를 관리하고 이동 에이전트들간의 메시지 전달을 보장하기 위한 위치 관리 및 메시지 전달 기법은 중요한 고려사항이다. 그러나 기존의 관련연구들은 여러 지역으로 구성된 다중 지역 이동 에이전트 컴퓨팅 환경에 적용하기에는 위치 갱신 비용 및 메시지 전달 비용이 상대적으로 증가한다는 단점과 추적문제(Tracking Problem)를 발생시킨다는 한계를 가지고 있다. 또한, 복제된 이동 에이전트와 부모-자식 이동 에이전트에 대해서 고려하지 않는 한계를 가지고 있다. 이러한 문제점을 해결하기 위해 본 논문에서는 다중 지역 이동 에이전트 컴퓨팅 환경에서 동작하는 새로운 이동 에이전트 위치 관리 및 메시지 전달 기법인 HB (Home-Blackboard) 프로토콜을 제안하고자 한다. HB 프로토콜은 각 지역마다 각 지역을 관리하는 지역서버를 두어 같은 지역내에서의 이주와 다른 지역으로의 이주를 구분하여 위치 관리를 수행하며, 또한 각 지역서버에 메시지를 저장할 수 있는 블랙보드를 두어 지역서버에서 이동에이전트의 위치가 갱신될 때 해당 메시지를 블랙보드에서 꺼내어 이동에이 전트에게 전달한다. HB 프로토콜은 다중 지역 이동 에이전트 컴퓨팅 환경에서 이동 에이전트의 위치 변경시 발생하는 위치 갱신 비용과 이동 에이전트들간의 메시지 전달 비용을 효과적으로 줄이며, 추적문제를 낮은 통신비용으로 해결한다. 또한, 복제된 이동 에이전트와 부모-자식 이동 에이전트에 대한 위치 관리 및 메시지 전달에 대해서 다뤄, 복제 이동 에이전트들과 부모-자식 이동 에이전트에 대한 메시지 전달을 보장하며 중복된 메시지 전달을 줄여 메시지 통신 비용을 감소시킨다. Location management and message delivery protocol is fundamental to the further development of mobile agent systems in a multi-region mobile agent computing environment in order to control mobile agents and guarantee message delivery between them. However, previous works have some problems when they are applied to a multi-region mobile agent computing environment. First, the cost of location management and message delivery is increased relatively. Second, a tracking problem arises. Finally, cloned mobile agents and parent-child mobile agents do not get dealt with with respect to location management and message delivery. In this paper, we present a HB (Home-Blackboard) protocol, which is a new location management and message delivery protocol in a multi-region mobile agent computing environment. The HB protocol places a region server in each region and manages the location of mobile agents by using Intra-region migration and inter-region migration. It also places a blackboard in each region server and delivers messages to mobile agents when a region server receives location update from them. The HB protocol can decrease the cost of location update and message passing and solve the tracking problem with low communication cost. Also, this protocol deals with the location management and message passing of cloned mobile agents and parent-child mobile agents, so that it can guarantee message delivery of these mobile agents and pass messages without passing duplicate messages.

멀티 에이전트 기반 헬스케어 상황정보 서비스 플랫폼의 설계

박무현 ( Moohyun Park ),정창원 ( Chang-won Jeong ),주수종 ( Su-chong Joo ) 한국인터넷정보학회 2008 인터넷정보학회논문지 Vol.9 No.3

본 논문에서는 홈 환경에서 멀티 에이전트 기반의 헬스케어 상황정보 서비스를 제공하기 위한 소프트웨어 구조의 설계에 대해 기술한다. 본 플랫폼에서의 분산객체그룹 프레임워크(Distributed Object Group Framework, DOGF)는 수행객체들 및 헬스케어 지원 센서 또는 기기들의 논리적인 서비스별 그룹화를 지원하고, 멀티 에이전트 프레임워크인 JADE(Java Agent DEvelopment framework)는 사용자의 이동성과 이질적인 환경에서의 서비스를 지원한다. 플랫폼 상의 멀티 에이전트는 건강관리 및 유지와 관련된 여러 종류의 헬스케어 상황정보 서비스를 제공하기 위하여 각각의 환경에 대한 정보를 수집하는 에이전트와 모바일 기기의 특징에 따라 서로 다른 서비스를 하는 에이전트 그리고 이들을 관리하는 에이전트로 분류할 수 있다. 이러한 JADE의 에이전트와 분산객체그룹 프레임워크의 동작은 모바일 프락시에서 인터페이스를 하며 정보 교환을 제공하거나 이동 패턴을 지원한다. 본 논문에서는 이러한 동작을 통하여 분산객체그룹 프레임워크와 JADE가 헬스케어 상황정보 서비스를 제공하기 위해 멀티 에이전트에 기반을 둔 플랫폼과 서비스별 에이전트의 설계에 대해 기술하였고, 끝으로 헬스케어 상황 정보 서비스를 위한 물리적인 시스템 환경과 플랫폼 기반의 프로토타입을 보였다. In this paper, we describes the design of software architecture supporting for healthcare context information service platform based on multi agent in home environment. In this platform, the DOGF supports the execute object and healthcare sensors and device`s logical services grouping. JADE framework can support mobility in heterogeneous environment. The multi agents on platform order to support a healthcare context information service it will be able to divide. An agent collects an environment information from distributed devices. Another an agent follows mobile-device specific and it does a different service. And an agent where it manages like this. The mobile-proxy&agent is an interface part between DOGF and JADE, support data interchange or mobility pattern. For DOGF and JADE to provide healthcare context information service, we describes the design of multi agent software platform and multi agent classification by services. Finally we showed the system environments which is physical environments and prototype based on platform for healthcare context information services.

퍼지 추론 기반의 멀티에이전트 강화학습 모델

이봉근(Bong Keun Lee),정재두(Jae Du Chung),류근호(Keun Ho Ryu) 한국콘텐츠학회 2009 한국콘텐츠학회논문지 Vol.9 No.10

강화학습은 최적의 행동정책을 구하는 최적화 문제로 주어진 환경과의 상호작용을 통해 받는 보상 값을 최대화하는 것이 목표이다. 특히 단일 에이전트에 비해 상태공간과 행동공간이 매우 커지는 다중 에이전트 시스템인 경우 효과적인 강화학습을 위해서는 적절한 행동 선택 전략이 마련되어야 한다. 본 논문에서는 멀티에이전트의 효과적인 행동 선택과 학습의 수렴속도를 개선하기 위하여 퍼지 추론 기반의 멀티에이전트 강화학습 모델을 제안하였다. 멀티 에이전트 강화학습의 대표적인 환경인 로보컵 Keepaway를 테스트 베드로 삼아 다양한 비교 실험을 전개하여 에이전트의 효율적인 행동 선택 전략을 확인하였다. 제안된 퍼지추론 기반의 멀티에이전트 강화학습모델은 다양한 지능형 멀티 에이전트의 학습에서 행동 선택의 효율성 평가와 로봇축구 시스템의 전략 및 전술에 적용이 가능하다. Reinforcement learning is a sub area of machine learning concerned with how an agent ought to take actions in an environment so as to maximize some notion of long-term reward. In the case of multi-agent, especially, which state space and action space gets very enormous in compared to single agent, so it needs to take most effective measure available select the action strategy for effective reinforcement learning. This paper proposes a multi-agent reinforcement learning model based on fuzzy inference system in order to improve learning collect speed and select an effective action in multi-agent. This paper verifies an effective action select strategy through evaluation tests based on Robocup Keepaway which is one of useful test-beds for multi-agent. Our proposed model can apply to evaluate efficiency of the various intelligent multi-agents and also can apply to strategy and tactics of robot soccer system.

메시지 지향 미들웨어 ZeroMQ 기반의 다중 에이전트 메시지 전송 구조

장혜진(Hai Jin Chang) 한국정보과학회 2015 정보과학회 컴퓨팅의 실제 논문지 Vol.21 No.4

본 논문은 CORBA, Ice 등의 다른 미들웨어들과 비교하여 성능, 품질, 사용자 편의성 등에서 높은 평가를 받고 있는 공개 메시지 지향 미들웨어인 ZeroMQ 기반의 다중 에이전트 메시지 전송 구조를 제안한다. 제안 구조는 FIPA 에이전트 표준 규격들로부터 MTS(Message Transfer System) 등의 개념들을 빌려와 사용하고 있으며, 다중 에이전트 플랫폼 SMAF(Smart Multi-Agent Framework)의 구조적 장점을 계승한다. 제안 구조는 ZeroMQ 커뮤니티에 알려져 있지 않은 새로운 방식의 피어 대 피어 구조를 사용한다. 제안 구조는 MTS 마다 단 하나의 라우터 소켓만을 사용하여 MTS들 간의 피어 대 피어 통신을 지원한다. 제안 구조는 ZeroMQ가 지원하는 다양한 장치들과 패턴들에 대한 호환성과 확장성을 가지며, 전통적인 분산 에이전트 응용 분야들 뿐 아니라 에이전트들 간의 밀접한 협력을 필요로 하는 지능형 로봇과 같은 분야도 지원할 수 있다. This paper suggests a multi-agent message transport architecture based on the message-oriented middleware ZeroMQ. Compared with the other middlewares such as CORBA, Ice, and Thrift, ZeroMQ receives a good score in the evaluation of performance, QoS (Quality of Service), patterns, user friendliness, and resources. The suggested message transfer architecture borrowed many basic concepts like agent platform, AMS (Agent Management System), and MTS (Message Transfer System) from FIPA (Foundation for Intelligent Physical Agents) standard multi-agent specifications, and the architecture inherited the strength of the architecture from the multi-agent framework SMAF (Smart Multi-Agent Framework). The architecture suggested in this paper is a novel peer-to-peer architecture which is not known to the ZeroMQ community. In the suggested architecture, every MTS agent uses only one ZeroMQ router socket to support peer-to-peer communication among MTS agents. The suggested architecture can support closely collaborating software areas such as intelligent robots as well as the traditional application areas of multi-agent architecture. The suggested architecture has interoperability and scalability with the ZeroMQ devices and patterns.

홈 네트워크 응용을 위한 Multi Agent System (MAS) 프레임워크

장인훈(In-Hun Jang),심귀보(Kwee-Bo Sim) 한국지능시스템학회 2007 한국지능시스템학회논문지 Vol.17 No.1

홈네트워크 시스템의 본격적인 보급과 함께 가정용서비스 로봇의 최근 연구 성과들은 인간과 지능로봇이 가정에 공존하며 서로 의사소통을 할 수 있는 시대가 가까운 미래에 현실화 될 수 있음을 보여주고 있다. 한편 가정의 환경적인 특징은 open이기 때문에 그러한 환경에 적응하고 주어진 임무를 수행하는 데는 단일 로봇 또는 단일 홈서버보다는 로봇을 포함하는 홈네트워크 시스템 내의 여러 장치들이 어울려 분산처리를 수행하는 multi-agent 시스템이 일반적으로 더 좋다고 알려져 있다. 따라서 본 논문은 홈네트워크 시스템을 가진 가정에서 필요한 agent들을 정의하기 위해 framework 모델을 구축하고 각 agent 간의 통신 protocol architecture를 제시한다. 이를 위해 로봇 또는 홈서버의 단일 지능이나 기능보다는 그 안에 존재하는 복수개의 agent instance들의 집합으로서 agent를 정의하고, 각 agent 내외에서 agent들 사이의 협력 (cooperation)과 타협(negotiation)을 통해 환경과 적응하는 방법 및 사람과 교감(interactive)하는 방법을 제시한다. As home network system begins serving in earnest, the recent fruits of research in home service robot show that the new epoch that human and intelligent robots are living, communicating and interacting together at home, may come true in the near future. In the other hand, it is generally known that the multiagent system, performing distributed process together with other different devices in a home network system, is better than single robot or single home server for adapting themselves to home environment and completing their mission because the characteristic of home environment is 'open'. Therefore, in this paper we suggest the framework model to define agents, which is needed for the home with a home network system, and the communication protocol architecture between agents. For this, we focus our attention on an agent comprising the set of many agent instances rather than the single intelligent or ability of a robot or home server, and also suggest the way of adaptation for agent systems to their environments and interaction with human in the manner of cooperation and negotiation among agents or agent instances in each agent.