다각형 기반의 Q-Learning과 Cascade SVM을 이용한 군집로봇의 목표물 추적 알고리즘

서상욱,양현창,심귀보,Seo, Sang-Wook,Yang, Hyung-Chang,Sim, Kwee-Bo 대한임베디드공학회 2008 대한임베디드공학회논문지 Vol.3 No.2

This paper presents the polygon-based Q-leaning and Cascade Support Vector Machine algorithm for object search with multiple robots. We organized an experimental environment with ten mobile robots, twenty five obstacles, and an object, and then we sent the robots to a hallway, where some obstacles were lying about, to search for a hidden object. In experiment, we used four different control methods: a random search, a fusion model with Distance-based action making (DBAM) and Area-based action making (ABAM) process to determine the next action of the robots, and hexagon-based Q-learning and dodecagon-based Q-learning and Cascade SVM to enhance the fusion model with DBAM and ABAM process.

맥주를 첨가한 식빵의 품질 특성

서상욱(Sang-Wook Seo),이광석(Kwang-Suck Lee),안혜령(Hye-Lyung An) 동아시아식생활학회 2010 동아시아식생활학회지 Vol.20 No.6

SVM을 이용한 군집로봇의 행동학습 및 진화

서상욱(Sang-Wook Seo),양현창(Hyun-Chang Yang),심귀보(Kwee-Bo Sim) 한국지능시스템학회 2008 한국지능시스템학회논문지 Vol.18 No.5

군집 로봇시스템에서 개개의 로봇은 스스로 주위의 환경과 자신의 상태를 스스로 판단하여 행동하고, 필요에 따라서는 다른 로봇과 협조를 통하여 어떤 주어진 일을 수행할 수 있어야 한다. 따라서 개개의 로봇은 동적으로 변화하는 환경에 잘 적응할 수 있는 학습과 진화능력을 깃는 것이 필수적이다. 본 논문에서는 구조적 위험 최소화를 기반으로 한 SVM을 이용한 강화학습과 분산유전알고리즘을 이용한 새로운 자율이동로봇의 행동학습 및 진화방법을 제안한다. 또한 개개의 로봇이 통신을 통하여 염색체를 교환하는 분산유전알고리즘은 각기 다른 환경에서 학습한 우수한 염색체로부터 자신의 능력을 향상시킨다. 특히 본 논문에서는 진화의 성능을 향상시키기 위하여 SVM을 기반으로 한 강화학습의 특성을 이용한 선택 교배방법을 채택하였다. In swarm robot systems, each robot must act by itself according to the its states and environments, and if necessary, must cooperate with other robots in order to carry out a given task. Therefore it is essential that each robot has both learning and evolution ability to adapt the dynamic environments. In this paper, reinforcement learning method with SVM based on structural risk minimization and distributed genetic algorithms is proposed for behavior learning and evolution of collective autonomous mobile robots. By distributed genetic algorithm exchanging the chromosome acquired under different environments by communication each robot can improve its behavior ability. Specially in order to improve the performance of evolution, selective crossover using the characteristic of reinforcement learning that basis of SVM is adopted in this paper.

Q-learning과 Cascade SVM을 이용한 군집로봇의 행동학습 및 진화

서상욱(Sang-Wook Seo),양현창(Hyun-Chang Yang),심귀보(Kwee-Bo Sim) 한국지능시스템학회 2008 한국지능시스템학회 학술발표 논문집 Vol.18 No.2

군집 로봇시스템에서 개개의 로봇은 스스로 주위의 환경과 자신의 상태를 스스로 판단하여 행동하고, 필요에 따라서는 다른 로봇과 협조를 통하여 어떤 주어진 일을 수행할 수 있어야 한다. 따라서 개개의 로봇은 동적으로 변화하는 환경에 잘 적용할 수 있는 학습과 진화능력을 갖는 것이 필수적이다. 본 논문에서는 구조적 위험 최소화를 기반으로 한 SVM을 여러 개 이용한 강화학습과 분산유전알고리즘을 이용한 새로운 자율이동로봇의 행동학습 및 진화방법을 제안한다. 또한 개개의 로봇이 통신을 통하여 염색체를 교환하는 분산유전알고리즘은 각기 다른 환경에서 학습한 우수한 염색체로부터 자신의 능력을 향상시킨다. 특히 본 논문에서는 진화의 성능을 향상시키기 위하여 Cascade SVM을 기반으로 한 강화학습의 특성을 이용한 선택 교배방법을 채택하였다.

경상북도내 주요 하폐수처리장 방류수의 미량유해물질 배출특성

서상욱 ( Sang Wook Seo ),배헌균 ( Hun Kyun Bae ) 한국환경과학회 2011 한국환경과학회지 Vol.20 No.6

Water samples from several wastewater treatment plants and two industry drains in Gyeongsangbukdo were investigated for concentration levels of micropollutants. Samples were taken totally four times from May to November of 2008 and tested for seven factors including pesticide, 1,4-Dioxane and Perchlorate which had been big issues for Nakdong river because of their contaminations. As results, 2,4-D, Alachlor, and BEHA were not detected while BEHP was detected at some sampling sites. 1,4-Dioxane and Perchlorate were also detected in wide ranges from several sampling sites. Therefore, continuous supervising and monitoring systems needed to be invested for proper management for micropollutants since those micropollutants could affect human health and aquatic system with low concentration levels.

군집 로봇의 협조 행동을 위한 강화 학습 기반의 진화 및 학습 알고리즘

서상욱(Sang-Wook Seo),김호덕(Ho-Duck Kim),심귀보(Kwee-Bo Sim) 한국지능시스템학회 2007 한국지능시스템학회논문지 Vol.17 No.5

군집 로봇시스템에서 개개의 로봇은 스스로 주위의 환경과 자신의 상태를 스스로 판단하여 행동하고, 필요에 따라서는 다른 로봇과 협조를 통하여 어떤 주어진 일을 수행할 수 있어야 한다. 따라서 개개의 로봇은 동적으로 변화하는 환경에 잘 적응할 수 있는 학습과 진화능력을 갖는 것이 필수적이다. 이를 위하여 본 논문에서는 새로운 Polygon 기반의 Q-learning 알고리즘과 분산유전알고리즘을 이용한 새로운 자율이동로봇의 행동학습 및 진화방법을 제안한다. 또한 개개의 로봇이 통신을 통하여 염색체를 교환하는 분산유전알고리즘은 각기 다른 환경에서 학습한 우수한 염색체로부터 자신의 능력을 향상시킨다. 특히 본 논문에서는 진화의 성능을 향상시키기 위하여 강화학습의 특성을 이용한 선택 교배방법을 채택하였다. 제안된 방법은 협조탐색 문제에 적용하여 컴퓨터 모의실험을 통하여 그 유효성을 검증한다. In swarm robot systems, each robot must behaves by itself according to the its states and environments, and if necessary, must cooperates with other robots in order to carry out a given task. Therefore it is essential that each robot has both learning and evolution ability to adapt the dynamic environments. In this paper, the new polygon based Q-learning algorithm and distributed genetic algorithms are proposed for behavior learning and evolution of collective autonomous mobile robots. And by distributed genetic algorithm exchanging the chromosome acquired under different environments by communication each robot can improve its behavior ability. Specially, in order to improve the performance of evolution, selective crossover using the characteristic of reinforcement learning is adopted in this paper. we verify the effectiveness of the proposed method by applying it to cooperative search problem.

12각형 기반의 Q-learning과 SVM을 이용한 군집로봇의 목표물 추적 알고리즘

서상욱(Sang-Wook Seo),양현창(Hyun-Chang Yang),심귀보(Kwee-Bo Sim) 한국지능시스템학회 2008 한국지능시스템학회논문지 Vol.18 No.3

본 논문에서는 군집로봇시스템에서 목표물 추적을 위하여 SVM을 이용한 12각형 기반의 Q-learning 알고리즘을 제안한다. 제안한 알고리즘의 유효성을 보이기 위해 본 논문에서는 여러 대의 로봇과 장애물 그리고 하나의 목표물로 정하고, 각각의 로봇이 숨겨진 목표물을 찾아내는 실험을 가정하여 무작위, DBAM과 AMAB의 융합 모델, 마지막으로는 본 논문에서 제안한 SVM과 12각형 기반의 Q-learning 알고리즘을 이용하여 실험을 수행하고, 이 3가지 방법을 비교하여 본 논문의 유효성을 검증하였다. This paper presents the dodecagon-based Q-leaning and SVM algorithm for object search with multiple robots. We organized an experimental environment with several mobile robots, obstacles, and an object. Then we sent the robots to a hallway, where some obstacles were lying about, to search for a hidden object. In experiment, we used four different control methods: a random search, a fusion model with Distance-based action making (DBAM) and Area-based action making (ABAM) process to determine the next action of the robots, and hexagon-based Q-learning and dodecagon-based Q-learning and SVM to enhance the fusion model with Distance-based action making (DBAM) and Area-based action making(ABAM) process.

공사프로세스기반 공정리스크 관리지원 시스템

윤유상,서상욱,박문서,장명훈,Yoon, You-Sang,Suh, Sang-Wook,Park, Moon-Seo,Jang, Myung-Houn 한국건설관리학회 2008 건설관리 : 한국건설관리학회 학회지 Vol.9 No.4

건설공사의 성공적인 수행을 위한 다양한 건설관리기법들 중 리스크관리기법은 프로젝트 규모의 대형화, 신공법 적용 등에 의한 불확실한 요인의 증가에 의해 그 중요성이 부각되고 있다. 따라서 본 연구에서는 현장실무자들의 공정리스크 관리 업무를 지원하기 위해 공종별 공사프로세스 중심의 공정리스크 확인방법과 현장별 특성이 반영된 공정리스크 중요도 지수를 개발하였으며, 향후 타 현장에서의 적용을 고려한 공정 리스크 중요도 보정방법을 제안하였다. 또한 공정리스크 요인별 대응방안을 현장에서 공사일정에 따라 검색하고, 공정정보와 연계된 공정리스크 관리 업무의 출력기능을 갖춘 공정 리스크 관리지원 시스템 프로토타입을 개발하였다. 공정리스크 관리지원 시스템은 건설현장 실무자들이 공정리스크 관리업무를 수행하는 데 필요한 지식을 제공하여, 의사결정지연에 따른 공기 지연을 방지할 수 있을 것으로 기대된다. In order to achieve the best performance of a project, uncertainties involved in the building construction process need to be identified in the planning phase of the project. Risk management plays a significant role in construction to minimize risk occurred due to uncertainties of a project. Although the importance of the risk management has been known to the construction industry, a more effective system should be developed to meet the demands of the industry. The purpose of this study is to develop the effective risk management system for scheduling the construction processes. The study provides a tool that can optimize the management system which would assist managers to identify schedule risks in the planning phase of the project.

건설사업의 소음 $\cdot$ 진동 관리방안에 관한 연구

고광일,김인호,서상욱,이찬식,Ko Kwang-il,Kim In-ho,Seo Sang-wook,Lee Chan-sik 한국건설관리학회 2004 건설관리 : 한국건설관리학회 학회지 Vol.5 No.6

건설사업과 환경보전은 대립적인 요소를 많이 가지고 있어 건설사업으로 인한 환경 분쟁이 급증하고 있으며 소음 $\cdot$ 진동에 관한 분쟁이 대부분을 차지하고 있다. 이러한 분쟁과 민원은 기업에 대한 부정적 이미지, 사업의 지연 $\cdot$중단, 배상액 지불 등 막대한 경제적 손실을 가져오므로 치밀하게 관리할 필요가 있다. 본 논문에서는 문헌조사를 통하여 이론적인 고찰을 실시하고, 소음 $\cdot$진동 관련 법령을 정리 분석하여 건설사업과 관련된 검토항목을 추출하였다 또한 사전 환경성 검토 환경영향평가 항목과 분쟁조정에 관한 통계자료를 검토 $\cdot$분석하여 건설사업의 추진단계별 소음 $\cdot$ 진동 관리방안을 제시하였다 이는 건설사업을 수행함에 있어서 소음 진동에 관한 규제사항의 정확한 준수와 분쟁 및 민원의 발생을 최소화하는데 활용될 수 있을 것이다. The environmental-related disputes and claims are steeply increasing recently. Among them the number of disputes and claims on noise and vibration incurred in the process of construction is more than $85\%$. Since those disputes and claims cause cost overrun and or penalty and bad impression for the construction company, it is necessary to develop a systematic management method for solving them. This study presents a environmental management structure based on the examining many kinds of environmental-related laws including 'The Act on Regulation of Noise and Vibration' furthermore, through analysing various dispute and claim cases, and surveying literatures we suggest environmental study noise and vibration management method using for the preconstruction phase, the construction phase and the post construction phase, respectively.

전자 나침반과 초음파 센서를 이용한 이동 로봇의 Simultaneous Localization and Mapping

김호덕(Ho-Duck Kim),서상욱(Sang-Wook Seo),장인훈(In-Hun Jang),심귀보(Kwee-Bo Sim) 한국지능시스템학회 2007 한국지능시스템학회논문지 Vol.17 No.4

전자나침반(DMC)은 실내의 전자기적 요소나 강한 자성체 건물구조에서는 쉽게 방해를 받던 나침반보다 실내에서 간섭에 강한 특징을 가지고 있다. 그리고 초음파 센서는 물체와의 거리를 계산해 줄뿐만 아니라 값싼 센서로서 경제적인 이점을 가지고 있어 Simultaneous Localization and Mapping(SLAM)에서 많이 사용하고 있다. 본 논문에서는 자율 이동 로봇의 구동에서 전자나침반과 초음파 센서를 이용한 SLAM의 구현에 대해 연구하였다. 로봇의 특성상 한정된 센싱 데이터만으로 방향과 위치를 파악하고 그 데이터 값으로 가능한 빠르게 위치 측정을 하여야 한다. 그러므로 자율 이동 로봇에서의 SLAM 적용함으로 위치측정의 구현과 지도 작성을 수행한다. 그리고 SLAM 구현상의 주된 연구 중의 하나인 Kid Napping 문제에 중점을 두고 연구한다. 특히, 위치 측정의 구현을 수행하기 위한 데이터의 센싱 방법으로 초음파 센서를 사용하였고 비슷한 위치의 데이터 값이 주어지거나 사전 정보 없는 상태에서는 로봇의 상태를 파악하기 위해서 전자 나침반을 사용하였다. 그래서 자율 이동 로봇의 위치를 정확하게 측정하기 위해서 활용하였다. Digital Magnetic Compass(DMC) has a robust feature against interference in the indoor environment better than compass which is easily disturbed by electromagnetic sources or large ferromagnetic structures. Ultrasonic Sensors are cheap and can give relatively accurate range readings. So they are used in Simultaneous Localization and Mapping(SLAM). In this paper, we study the Simultaneous Localization and Mapping(SLAM) of mobile robot in the indoor environment with Digital Magnetic Compass and Ultrasonic Sensors. Autonomous mobile robot is aware of robot’s moving direction and position by the restricted data. Also robot must localize as quickly as possible. And in the moving of the mobile robot, the mobile robot must acquire a map of its environment. As application for the Simultaneous Localization and Mapping(SLAM) on the autonomous mobile robot system, robot can find the localization and the mapping and can solve the Kid Napping situation for itself. Especially, in the Kid Napping situation, autonomous mobile robot use Ultrasonic sensors and Digital Magnetic Compass(DMC)’s data for moving. The robot is aware of accurate location By using Digital Magnetic Compass(DMC).