멀티 에이전트 강화학습 기술 동향

유병현,데브라니 데비,김현우,송화전,박경문,이성원,Yoo, B.H.,Ningombam, D.D.,Kim, H.W.,Song, H.J.,Park, G.M.,Yi, S. 한국전자통신연구원 2020 전자통신동향분석 Vol.35 No.6

Several multi-agent reinforcement learning (MARL) algorithms have achieved overwhelming results in recent years. They have demonstrated their potential in solving complex problems in the field of real-time strategy online games, robotics, and autonomous vehicles. However these algorithms face many challenges when dealing with massive problem spaces in sparse reward environments. Based on the centralized training and decentralized execution (CTDE) architecture, the MARL algorithms discussed in the literature aim to solve the current challenges by formulating novel concepts of inter-agent modeling, credit assignment, multiagent communication, and the exploration-exploitation dilemma. The fundamental objective of this paper is to deliver a comprehensive survey of existing MARL algorithms based on the problem statements rather than on the technologies. We also discuss several experimental frameworks to provide insight into the use of these algorithms and to motivate some promising directions for future research.

신경망을 이용한 반복운동 검출

유병현,허경용,Yoo, Byeong-hyeon,Heo, Gyeong-yong 한국정보통신학회 2017 한국정보통신학회논문지 Vol.21 No.9

가속도 센서와 자이로스코프 센서는 반복운동 검출을 위해 사용하는 대표적인 센서로써 다양한 운동 성분을 분석하는데 활용되어 왔다. 하지만 이 두 센서는 잡음 민감성과 오차가 누적되는 문제점을 가지고 있다. 이와 같은 하드웨어적인 문제점을 극복하기 위해, 두 센서를 함께 사용하려는 시도가 있어왔고, 상보필터는 가속도 센서와 자이로스코프 센서의 단점은 최소화하고 장점을 극대화함으로써 두 센서가 가지는 문제점을 완화시키는 성공적인 결과를 보여주었다. 이 논문에서는 상보필터에 신경망을 도입함으로써 상보필터로 처리할 수 없는 여러 변수를 사전에 학습을 통하여 생성한 망을 이용해서 처리하는 개선된 방법을 소개한다. 신경망은 다양한 경우의 수를 미리 학습하여 예측하지 못한 환경 혹은 상황에도 정확한 측정이 가능한 알고리듬이다. 제안한 방법은 반복운동을 처음, 중간, 끝 세 개의 영역으로 분류하여 신경망을 적용한다. 그 결과 영역별 인식률은 96.35%, 98.77%, 96.92%이고 이를 바탕으로 측정한 정확도는 97.18%임을 실험을 통해 확인할 수 있다. The acceleration sensor and the gyroscopic sensor are used as representative sensors to detect repetitive motion and have been used to analyze various sporting components. However, both sensors have problems with noise sensitivity and accumulation of errors. There have been attempts to use two sensors together to overcome hardware problems. The complementary filter has shown successful results in mitigating the problems of both sensors by minimizing the disadvantages of accelerometer and gyroscope sensors and maximizing their advantages. In this paper, we proposed a modified method using neural network to reduce variable. The neural network is an algorithm that can precisely measure even in unexpected environments or situations by pre-learning the number of various cases. The proposed method applies a Neural Network by dividing the repetitive motion into three sections, the first, the middle and the end. As a result, the recognition rate is 96.35%, 98.77%, 96.92% and the accuracy is 97.18%.

격자형 기후변화 시나리오 자료를 활용한 한반도의 증발산량 전자 기후도 생산 및 분석

유병현,이규종,이변우,김광수,Yoo, Byoung Hyun,Lee, Kyu Jong,Lee, Byun Woo,Kim, Kwang Soo 한국농림기상학회 2017 한국농림기상학회지 Vol.19 No.2

농경지에서의 증발산량 예측은 농업 분야에서의 기후변화 영향 평가 및 적응 계획 수립에 도움을 줄 수 있다. 본 연구에서는 격자형 국가 표준 기후변화 시나리오 자료를 이용해 잠재 증발산량 (PET)과 가뭄지수 (DI) 전자 기후도의 생산 및 분석을 수행하였다. 특히, 격자형 기상 자료의 처리를 지원하는 도구인 readGrADSWrapper를 기반으로 격자형 기후변화 시나리오 자료를 통계 분석 도구인 R에서 활용하는 기술에 중점을 두었다. FAO-56 공식을 R 스크립트에 구현하여 현재와 미래 조건에서 벼 재배기간 동안의 PET를 계산하였다. 또한, 이를 활용하여 벼 재배에 따른 증발산량 ($PET_{rice}$)과 DI 자료를 생산하고 시공간적 분석을 수행하기 위한 R 스크립트를 구현하였다. 한반도에서 PET의 시공간적 변화 양상은 현재와 미래 조건에서 지역에 따라 차이를 보였다. 전반적으로 한반도에서는 PET와 $PET_{rice}$가 21세기 후반으로 갈수록 증가하는 것으로 나타났다. 이러한 예측 결과들은 지역과 시기에 따라 증발산량 증가에 대응하기 위한 수자원 관리가 필요하다는 것을 암시하였다. 예를 들어, 현재 조건에서 습윤 지역으로 분류되던 충청남도 지역이 21세기 중반 이후에는 아습윤 지역으로 바뀔 것으로 전망되었다. 이러한 결과들은 PET와 DI 등 수자원과 관련된 변수 값들의 시공간적인 계산과 분석을 통해 미래 기후조건에서 작물 생산성을 증진시키기 위한 적응 대책 수립을 지원할 수 있을 것이다. 또한, readGrADSWrapper와 같은 격자형 기상 자료의 처리도구의 활용을 통해 보다 다양한 응용기후 변수에 대한 전자기후도 생산 및 분석을 원활히 수행할 수 있을 것이다. Spatio-temporal projection of evapotranspiration over croplands would be useful for assessment of climate change impact and development of adaptation strategies in agriculture. Potential evapotranspiration (PET) and dryness index (DI) during rice growing seasons were calculated using climate change scenario data provided by the National Institute of Meteorological Research (NIMR). A data processing tool for gridded climate data files, readGrADSWrapper, was used to calculate PET and DI during the current (1986-2005) and future (2006-2100) periods. Scripts were written to implement the formulas of PET and DI in R, which is an open source statistical data analysis tool. Evapotranspiration in rice fields ($PET_{Rice}$) was also determined using R scripts. The Spatio-temporal patterns of PET differed by regions in Korean Peninsula under current and future climate conditions. Overall, PET and $PET_{Rice}$ tended to increase throughout the $21^{st}$ century. Those results suggested that region-specific water resource managements would be needed to minimize the risk of water loss in the regions where considerable increases in PET would occur under the future climate conditions. For example, a number of provinces classified as a humid region were projected to become a sub-humid region in the future. The Spatio-temporal assessment of water resources based on PET and DI would help the development of climate change adaptation strategies for rice production in the 21st century. In addition, the studies on climate change impact would be facilitated using specialized data tools, e.g., readGrADSWrapper, for geospatial analysis of climate data.

상보필터를 이용한 줄넘기 회전운동 검출

유병현,허경용,Yoo, Byeong-Hyeon,Heo, Gyeongyong 한국정보통신학회 2017 한국정보통신학회논문지 Vol.21 No.1

줄넘기와 같은 반복적인 운동들의 횟수를 측정하는 방법은 다양하다. 그 중 대표적으로 가속도 센서의 가속도 값 또는 자이로스코프 센서의 각속도 값을 이용하여 파형과 데이터의 특징을 추출하고 선택한 후 선택한 특징을 알고리즘에 적용하여 측정하는 방법이 있다. 하지만 고정되지 않고 유동적인 운동들은 다양한 변수가 존재한다. 이러한 경우의 수를 하나의 센서만으로 찾기 쉽지 않으며, 잡음과 진동에 취약한 가속도계와 드리프트 현상이 발생하는 각속도의 문제점으로 인하여 정확한 줄넘기 개수를 세는데 다소 정확도가 떨어지는 현상이 발생한다. 본 논문에서는 기존의 방식인 단일 센서만의 값으로 회전운동을 검출하는 방법의 문제점을 개선하기 위해 가속도와 각속도의 데이터값에 상보 필터를 적용하고, 가속도와 각속도 값이 상호보완 하여 서로의 문제점을 최소화하여 보다 정확한 개수를 측정할 수 있는 방법을 제안한다. 제안하는 방법은 센서 값의 특징만을 보고 판단하는 방법과 비교하여 정확하게 줄넘기 개수를 측정하는 것을 실험 결과를 통해 확인할 수 있다. There are various methods to count the number of repetitive motions such as jump rope. Most of the methods use features extracted from the time-varying waves of acceleration or angular velocity, which is the main feature in the count of rotations in jump rope. However, there exist several variables and it is not easy to find the count with a single sensor. For example, accelerometer is susceptible to noise and vibration, and the angular velocity may cause a drift phenomenon, which is the main cause of the inaccurate count of jump rope rotation. In this paper, complementary filter is used to consider two sensors simultaneously and complement each other, which results in more accurate count in jump rope rotation. The proposed method can count the exact number of jump rope rotation compared to other existing methods only using one sensor value, which is confirmed through experimental results.

Preparation of Soil Input Files to a Crop Model Using the Korean Soil Information System

유병현,김광수,Yoo, Byoung Hyun,Kim, Kwang Soo Korean Society of Agricultural and Forest Meteorol 2017 한국농림기상학회지 Vol.19 No.3

토양 변수는 작물 모형을 통한 기후변화 시나리오 조건에서의 작황 예측에 있어 중요한 환경적 요소이다. 토양 환경 정보 시스템 (Korean Soil Information System; KSIS)에서는 390 개의 토양통에 대한 자세한 정보를 제공하고 있다. 그러나, 이러한 토양 정보는 HTML (Hyper Text Markup Language) 문서 형식으로 제공되고 있어 작물 모형용 토양입력 자료로 변환하는 데에 어려움이 있다. 이에 따라 KSIS의 토양정보를 기반으로 작물모델의 토양 입력자료를 생산하는 도구인 Korean Soil Information System Processing Tool (KSISPT) 를 개발하였다. 이 도구는 객체 지향 프로그래밍 언어인 JAVA로 작성되었으며 여러 개의 모듈로 구성되었다. 이 모듈들을 통해 각각 KSIS 웹 페이지 문서 분석, 토양 자료 저장, 추가 변수 생성, 토양 입력자료 출력 등의 기능이 구현되었다. 각 토양통의 특성을 고려한 총 940여개의 토양 입력 자료가 생성되었다. 이 토양 자료를 KSIS에서 제공하는 30m 해상도의 토양통 공간적 분포 지도와 함께 활용된다면, 미래 기후 조건에서 작물 생산성의 시공간적 분석이 용이해지고 이를 기반으로 기후 변화 적응 대책수립에 도움을 줄 수 있을 것이다. Soil parameters are required inputs to crop models, which estimate crop yield under a given environment condition. The Korean Soil Information System (KSIS), which provides detailed soil profile record of 390 soil series in the HTML (HyperText Markup Language) format, would be useful to prepare soil input files. Korean Soil Information System Processing Tool (KSISPT) was developed to aid generation of soil input data based on the KSIS database. Java was used to implement the tool that consists of a set of modules for parsing the HTML document of the KSIS, storing data required for preparing soil input file, calculating additional soil parameter, and writing soil input file to a local disk. Using the automated soil data preparation tool, about 940 soil input data were created for the DSSAT model and the ORYZA 2000 model, respectively. In combination with soil series distribution map at 30m resolution, spatial analysis of crop yield could be projected under climate change, which would help the development of adaptation strategies.

운동감 및 다감각 가상현실 효과 시스템의 구조와 응용

유병현,한순흥,Yoo, Byoung-Hyun,Han, Soon-Hung 한국시뮬레이션학회 2005 한국시뮬레이션학회 논문지 Vol.14 No.3

Virtual reality (VR) simulators have been extended to transfer knowledge and education, and demands for exhibition systems for science education and cultural experiences has also increased. Existing VR simulators, which are based on the dynamics equations of motion, cannot easily be adapted to changes in simulation contents. In order to effectively transfer knowledge and maintain interests through educational applications, an experiential system that has multi-sensory effects as well as motion effects is required. In this study, we designed and implemented a motion generation that is tailored to experiential exhibition systems and multi-sensory VR effects. Both the sense of motion which is generated from the movement of the viewpoint of the visual image, and motion effects which are constructed in advance, are applied to motion simulation. Motion effects which occur during interaction between the user and the exhibition system can be easily added. Various sensory cues that are appropriate to the exhibition system are also considered.

온도조건에 따른 3D 프린팅 모르타르의 기초적 특성

유병현(Byung-Hyun Yoo),이동규(Dong-gyu Lee),박종필(Jong-Pil Park),황병일(Byoung-Il Hwang) 한국산학기술학회 2021 한국산학기술학회논문지 Vol.22 No.9

3D 프린팅 모르타르는 온도에 따라 굳지 않은 모르타르의 레올로지 특성 및 경화 모르타르의 강도발현 특성이 변화되기 때문에 현장 온도를 고려하여 3D 프린팅 모르타르를 제조해야 작업성 및 압축강도 등을 확보할 수 있다. 기온이 낮은 동절기에는 모르타르의 경화속도가 늦어져 초기강도가 저하되는 문제가 발생되어 모르타르의 초기강도 확보를 위한 모르타르 배합을 조정하거나 초기강도 증진용 화학 혼화제를 적용하여 이를 개선해야 할 것이고, 기온이 높은 하절기에는 모르타르 수화반응 촉진에 기인해 모르타르 제조 후 시간이 경과함에 따라 모르타르 유동성 저하가 빠르게 진행되기 때문에 압송성 및 작업성이 저하되어 3D 프린팅 모르타르의 품질 문제가 발생할 수 있으므로 이를 대비해야 한다. 본 연구에서는 20 ℃ 환경을 기준으로 10 ℃ 저온 및 30 ℃ 고온에서의 3D 프린팅 모르타르의 기초적 특성을 평가하였는데, 저온환경에서 3D 프린팅 모르타르는 초기강도가 크게 저하되어 20 ℃ 환경의 약 17 % 수준의 압축강도를 나타내었다. 이에 초기강도 증진용 첨가제를 적용하여 초기강도 발현특성을 확인한 결과 초기강도 증진용 첨가제를 분체량 대비 2 % 사용 시 20 ℃ 환경과 비슷한 수준의 초기강도를 확보할 수 있었다. 한편, 30 ℃ 고온환경에서는 3D 프린팅 모르타르의 유동성 저하가 20 ℃ 환경보다 2배정도 빠르게 진행되었고, 고유지형 감수제의 사용으로 30 ℃ 환경에서 기존의 20 ℃ 환경 대비 동등 이상의 유지성능을 확보할 수 있었다. The rheological properties of a fresh mortar and the strength characteristics of a hardened mortar in 3D printing change a lot with the temperature. In a low-temperature environment, the hardening speed of the mortar is slowed, lowering the early strength. In an environment of high temperature, the hydration reaction of the mortar is accelerated, reducing the workability. In this study, the characteristics of a 3D printing mortar manufactured at both low and high temperatures were evaluated concerning a 20°C environment. The early strength of the mortar in the low-temperature environment was found to be about 17% of that of the 20°C environments. Accordingly, when 2% of the additive was used to improve the early strength, it equated to that of a 20℃ environment. On the other hand, in the high-temperature environment of 30℃, the slump loss of mortar progressed twice as fast as that of the 20℃ environments. Accordingly, while using a high-retention type water reducing agent, it was possible to achieve in a 30℃environment a maintenance performance that is similar to that of the 20℃ environment.

공동소송적 보조참가와 피참가인의 소취하

유병현 ( Byung Hyun Yoo ) 한양대학교 법학연구소 2016 법학논총 Vol.33 No.3

공동소송적 보조참가에는 필수적 공동소송에 대한 특별규정이 준용되어, 공동소송적 보조참가인은 필수적 공동소송인에 준하는 지위를 갖는다. 따라서 피참가인 원고는 소송상 불리한 행위를할 때에는 공동소송적 보조참가인의 동의를 얻어야 한다. 그런데 피참가인 원고가 소를 취하하는 행위도 공동소송적 보조참가인에게 불리한 행위로서 그 참가인의 동의를 얻어야 효력이 있는지 문제된다. 본고는 이 문제를 대법원판례의 입장을 분석, 검토하면서 설명하고 있다. 대법원은 소의 취하는 재판의 효력과 관련이 없는 행위이고, 공동소송적 보조참가는 유사필수적 공동소송에 준하는 것이므로 피참가인 원고가 단독으로 소취하를 할 수 있다고 보고 있다. 이에 대해 원심법원은 소취하는 참가인에게 불리한 행위이므로 원고가 단독으로 소를 취하하는 것은 위법하다고 본다. 이 문제는 필수적 공동소송에 대한 특별규정인 민사소송법 제67조 제1항의 해석과 관련하여, 유리 또는 불리한 행위의 의미가 무엇인지 정확히 파악하여 해결하여야 한다. 여기서 말하는 유리 또는 불리한 행위는 권리관계의 합일확정과 관련하여 유리 또는 불리한 행위를 말한다. 소취하는 여기에 해당하지 않는다. 그리고 피참가인 원소의 소취하권은 소제기권에 대응하는 것으로서, 공동소송적 보조참가가 있다고 제약될 수 없다. 판례가 유사필수적 공동에 의지하여 피참가인 원소의 소취하를 정당화 시키고 있으나, 이는 구조가 다른 것을 같이 놓고 비교하는 것으로서 수긍하기 어려운 것이다. In so far as the legal validity of the decision delivered in the main proceedings has an effect on the legal relationship existing between the third party intervening in support of a party to the dispute and the opponent, the intervening third party shall be deemed to be the necessary joined party of the primary party in the sense as defined by § 67 Code of Civil Procedure(§ 78 Code of Civil Procedure). Pursuant to § 67 I Code of Civil Procedure, where the legal relationship at issue can be established vis-a-vis all joined parties only uniformly, the procedural acts by anyone of them shall take effect only for the benefits of all such joined parties. The procedural disadvantageous acts should be done by all joined parties together. Because of § 67 Code of Civil Procedure, the intervenor in support of a party to the dispute as a joinder of parties get a status like a necessary joined party. The Korean Supreme Court ruled that the plaintiff may withdraw the action without the consent of the intervenor in support of the plaintiff to the dispute as a joinder of parties. The Court ruled that the disadvantageous act is the only act related to the final judgement effects, and act of withdrawal of legal action is not related to that effects. If an action is withdrawn, the legal dispute is to be considered as not having become pending; any judgment already given that has not yet become final and binding shall become ineffective without this requiring its express repeal. It leaves no harm to the intervenor. I agree this conclusion, but I think that plaintiff’s withdrawal of legal action is not related to the disadvantageous act regulated by § 67 Code of Civil Procedure, because it is not related to the demand of uniformly established legal relationship at issue. I addition, the plaintiff’s legal action withdrawal right could not be restricted by the intervener in support of a party to the dispute as a joinder of parties.

스포츠 헬리콥터 VR 시뮬레이터

유병현(Byounghyun Yoo),한순홍(Soonhung Han),안진웅(Jinung Ahn),권동수(Dong-Soo Kwon),송준걸(Jun-Keol Song),이종원(Chong-Won Lee),김선민(Sunmin Kim),박영진(Youngjin Park),이경노(Kyungno Lee),이두용(Doo Yong Lee) 한국정보과학회 2003 한국정보과학회 학술발표논문집 Vol.2003 No.2

클러스터 밀도와 무관한 향상된 클러스터링 기법

유병현(Byeong-Hyeon Yoo),김완우(Wan-Woo Kim),허경용(Gyeongyong Heo) 한국컴퓨터정보학회 2015 韓國컴퓨터情報學會論文誌 Vol.20 No.12

In this paper, we propose a modified fuzzy clustering algorithm which can overcome the center deviation due to the Euclidean distance commonly used in fuzzy clustering. Among fuzzy clustering methods, Fuzzy C-Means (FCM) is the most well-known clustering algorithm and has been widely applied to various problems successfully. In FCM, however, cluster centers tend leaning to high density clusters because the Euclidean distance measure forces high density cluster to make more contribution to clustering result. Proposed is an enhanced algorithm which modifies the objective function of FCM by adding a center-scattering term to make centers not to be close due to the cluster density. The proposed method converges more to real centers with small number of iterations compared to FCM. All the strengths can be verified with experimental results.