Reinforcement Learning for the Consensus of a Multi-agent System with Unknown Time Varying Delays

양장훈 한국디지털콘텐츠학회 2022 한국디지털콘텐츠학회논문지 Vol.23 No.7

With the progress in autonomous vehicles and robots, there has been growing interest in the consensus of a multi-agent system. Limited model knowledge prevents the model-based consensus algorithm from being applicable to an environment with uncertainties while the model-based reinforcement learning (RL) algorithms are found to converge slowly and are applicable to a class of system environments they are assumed to be built on. To overcome these issues, TD3[23] was modified with a linear input layer at an actor network and reward shaping. Numerical simulation shows that the proposed RL with pretrained weight performs as well as the model-based one while it outperforms the model-based RL one. The ablation study also verifies the proposed modification is very critical in providing robust performance.

Sum Rate Approximation of Zero-Forcing Beamforming with Semi-Orthogonal User Selection

양장훈,Seunghun Jang,김동구 한국통신학회 2010 Journal of communications and networks Vol.12 No.3

In this paper, we present a closed-form approximation of the average sum rate of zero-forcing (ZF) beamforming (BF)with semi-orthogonal user selection (SUS). We first derive the survival probability associated with the SUS that absolute square of the channel correlation between two users is less than the orthogonalization level threshold (OLT).With this result, each distribution for the number of surviving users at each iteration of the SUS and the number of streams for transmission is calculated. Secondly, the received signal power of ZF-BF is represented as a function of the elements of the upper triangular matrix from QR decomposition of the channel matrix. Thirdly, we approximate the received signal power of ZF-BF with the SUS as the maximum of scaled chisquare random variables where the scaling factor is approximated as a function of both OLT and the number of users in the system. Putting all the above derivations and order statistics together, the approximated ergodic sum rate of ZF-BF with the SUS is shown in a closed form. The simulation results verify that the approximation tightly matches with the sample average for any OLT and even for a small number of users.

실용적 안정성을 보장하는 양자화기 데이터 율 조건

양장훈 한국항행학회 2018 韓國航行學會論文誌 Vol.22 No.3

많은 사물들이 네트워크를 통해서 연결되고 제어되면서 제어 시스템에서 양자화 오류를 다루는 문제의 중요성이 증가하고 있다. 따라서, 본 논문에서는 제어시스템의 실용적 안정성을 달성하기 위해서 양자화기에서 필요로 하는 데이터 율에 대한 조건을 제시한다. 먼저, 프로세스 잡음이 없는 조건에서 데이터율이 궤환 시스템 행렬의 고유값, 초기 상태의 크기, 초기 양자화 오류의 크기 및 제어 이득 등에 의해서 결정됨을 보이고, 프로세스 잡음이 있는 경우 프로세스 잡음의 최대 크기에 의한 추가적인 데이터율이 발생함을 보인다. 또한, 점근적 분석을 통해서 네트워크 제어를 위한 데이터율을 감소시키기 위해서는 이를 고려한 제어기의 설계가 필요함을 보인다. 간단한 예제를 통해서 균일 양자화기 및 로그형 양자화기가 데이터 율에 따라서 어떤 실용적 안정성을 보이는지를 확인한다. Dealing with quntization error in a control system properly becomes much more important as many devices are connected through network and controlled. Thus, in this paper, we study a data rate condition on quantizer to achieve practical stability in a discrete time linear time invariant system with state feedback control. First, required data rate is shown to depend on eigenvalue of the closed loop system, the size of the initial state vector, the magnitude of initial quantization error, and control gain in the absence of process noise. It additionally depends on the maximum magnitude of process noise when noise is not zero. Asymptotic analysis shows that a new design method may be needed to reduce the date rate for a networked control in the presence of quantization error and noise.. We provide a simple numerical evaluation of uniform quantizer and logarithmic qunatizer to assess their characteristics of practical stability depending on data rate in the presence of noise.

지연된 다중 입력을 갖는 시스템을 안정화하는 출력 궤환 예측 제어

양장훈 한국항행학회 2019 韓國航行學會論文誌 Vol.23 No.5

5G의 상용화 등 네트워킹 기술의 발전은 다양한 시스템들이 네트워크를 통해서 정보를 교환하고 제어할 수 있는 기반을 제공하고 있다. 또한, 네트워크에서 발생하는 많은 현상들은 정보의 지연과 관련되기 때문에 지연된 정보를 갖는 시스템의 제어의 중요성이 증가하고 있다. 본 논문에서는 최근들어 지연이 있을 때에 저복잡도 제어기 설계에 많이 활용되는 예측 제어를 도입하여, 지연된 다중 입력을 갖는 시스템에서 지연의 크기와 입력의 수에 상관없이 거의 일정한 복잡도를 갖는 예측 제어기를 제시한다. 또한, 출력 궤환 구조를 갖는 예측 제어기가 점근적 수렴이 보장됨을 증명한다. 모의 실험을 통해서 제안된 방식이 상태 벡터를 확장한 전통적인 방식이나, 다른 예측 기반 제어 방식에 비해 적은 복잡도를 가지면서 안정성을 보장하는 제어기 설계 성공이 높게 발생함을 확인하였다. The evolution of networking technology such as commercialization of 5G systems provides foundation for information exchange and control of systems over the network. In addition, importance of controlling a system with delay is increasing significantly, since various phenomena in the network are associated with delay. In this paper, with a predictive control which has been studied for designing a controller with low complexity, we propose a novel predictive control for a system with multi-inputs such that it can keeps the complexity almost the same regardless of the number of inputs and degree of delay. The asymptotic stability of the proposed control with a static output feedback is also proved. The numerical simulation shows that the proposed method is superior in complexity and the performance of finding feasible controllers to the existing predictive control and a conventional method based on augmented states.

가상 MIMO 다중 셀 시스템을 위한 역방향 전력 제어 방법

양장훈 한국통신학회 2013 韓國通信學會論文誌 Vol.38 No.6(융합기술)

This paper considers an uplink power control scheme for a virtual multi-input multi-output (MIMO) multi-cell system where multiple mobile stations with single transmit antenna form a virtual MIMO link. Unlike the conventional approach of the game theoretic formulation to add a power penalty term to improve the performance, a constraint on the total effective interference power is introduced to the maximization of the utility function of the transmission rate with linear receive beamforming. Introducing inertia, we show that the proposed power control is guaranteed to converge. The simulation results verify that the proposed power allocation can significantly improve the performance in an interference limited multi-cell system. 본 논문은 단일 송신안테나를 갖는 다수의 모바일 터미널이 가상 MIMO 링크를 구성하는 MIMO 시스템에서의역방향 전력 제어 방법을 제안한다. 기존의 성능을 향상 시키기 위하여 전력 벌칙 항을 추가하는 게임이론 기반의전력 제어 방식과 달리, 전체 유효 간섭 전력에 대한 제한 조건 하에서 선형 수신 빔형성을 이용한 전송율의 유틸리티 함수를 최대화 하는 방법을 고려하였다. 또한, 전력제어 과정에 이너시아를 도입하여 제안 전력 제어가 수렴함을 보였다. 모의 실험을 통하여 간섭이 지배적인 다중셀 시스템에서 제안 전력 제어 방법이 시스템의 성능을 크게 향상 시킴을 입증하였다.

Simplified Near Optimal Downlink Beamforming Schemes in Multi-Cell Environment

양장훈,김동구,Yang, Jang-Hoon,Kim, Dong-Ku The Korean Institute of Communications and Informa 2011 韓國通信學會論文誌 Vol.36 No.12C

다중 안테나 전송은 단일 셀 환경에서 큰 성능 이득을 제공하는 반면에 다중셀 환경에서는 간섭에 의해서 다중 안테나의 이득이 많이 사라지게 된다. 또한, 다중셀 환경에서 효율적인 빔 형성 방법을 계산하는 것은 여전히 어려운 문제중에 하나이다. 먼저 이 논문에서는 다중셀 환경에서 점근적으로 낮은 SNR과 높은 SNR에서 최적의 하향링크 빔행성 방법이 MRT 빔형성과 ZF 빔형성임을 보인다. 둘째, 이 점근적 최적 빔 형성 결과를 이용하여 쌍대 역방향 문제로부터 얻어진 MMSE 빔형성 형태를 갖는 두가지의 준최적 하향 빔형성 방식을 제안한다. 각 빔 형성 방식에 대해서 복잡도에 띠라서 세가지의 다른 부클래스 알고리즘을 고려한다. 모의 실험을 통하여 제안된 준 최적 알고리듬은 복잡도와 성능 사이에 트레이드 오프를 제공함을 보인다. Despite enormous performance gain with multi-antenna transmission in the single cell environment, its gain diminishes out in the multi-cell environment due to interference. It is also very hard to solve the efficient downlink beamforming with low complexity in multi-cell environment. First, this paper shows that the asymptotically sum rate optimal downlink beamformings at low and high SNR are maximum ratio transmit (MRT) and zero forcing (ZF) beamforming in the multi-cell system, respectively. Secondly, exploiting the asymptotically optimal downlink beamforming, we develop simple two types of near optimal downlink beamforming schemes having the form of minimum mean squared error (MMSE) beamforming obtained from the dual uplink problem. For each type, three different subclasses are also considered depending on the computational complexity. The simulation results show that the proposed near optimum algorithms provide the trade-off between the complexity and the performance.

다중 에이전트 시스템의 컨센서스를 위한 슬라이딩 기법 강화학습

양장훈 한국항행학회 2022 韓國航行學會論文誌 Vol.26 No.4

With advances in autonomous vehicles and networked control, there is a growing interest in the consensus control of a multi-agents system to control multi-agents with distributed control beyond the control of a single agent. Since consensus control is a distributed control, it is bound to have delay in a practical system. In addition, it is often difficult to have a very accurate mathematical model for a system. Even though a reinforcement learning (RL) method was developed to deal with these issues, it often experiences slow convergence in the presence of large uncertainties. Thus, we propose a slide RL which combines the sliding mode control with RL to be robust to the uncertainties. The structure of a sliding mode control is introduced to the action in RL while an auxiliary sliding variable is included in the state information. Numerical simulation results show that the slide RL provides comparable performance to the model-based consensus control in the presence of unknown time-varying delay and disturbance while outperforming existing state-of-the-art RL-based consensus algorithms.

고정형 출력 궤환 제어기의 안정성과 복잡도

양장훈 ( Janghoon Yang ) 한국항행학회 2018 韓國航行學會論文誌 Vol.22 No.4

상태 궤환 제어기 설계에 있어서 상태 정보에 대한 접근의 제한성 때문에, 출력 궤환 제어기 설계에 대한 많은 연구가 수행되어 왔다. 그럼에도 불구하고 최적의 출력 궤한 제어기 설계는 여전히 풀리지 않은 문제로 남아 있다. 따라서, 기존에 수행되었던 관련한 다양한 고정형 출력 궤한 제어기 설계 연구 결과를 리뷰하고 복잡도와 안정성 관점에서 성능을 평가비교함으로써 이 분야의 연구의 방향을 찾고자 한다. 또한, 기존 연구에서 제한적인 시스템 구성에서 제시되었던 알고리즘들을 어떤 시스템 구성에서도 적용가능할 수 있도록 리뷰하는 알고리즘을 완벽하게 제공한다. 리뷰하는 알고리즘은 모의 실험을 통해서 안정성 성능과 연산 시간으로 측정된 복잡도를 통하여 비교 평가한다. 모의실험 결과에 따르면, 대수에 의한 제어기 설계알고리즘[20]이 가장 적은 복잡도를 가지는 반면에 스케링 변환 기반의 선형 행렬 부등식 알고리즘[18]이 대부분의 경우에 고복잡도를 가지고 가장 좋은 성능을 갖음을 확인하였다. Limited access to state information in the design of a feedback controller has brought out a significant amount of research on the design of an output feedback controller. Despite its long endeavor to find an optimal one, it is still an open problem. Thus, we focus on the comparison of existing states of arts in the design of a static output feedback controller in terms of stability and complexity so as to find further research direction in this field. To this end, we present eight design methods in a unified presentation. We also provide the complete description of algorithms which can be applicable to any system configuration. Stability performance and complexity in terms of processing time are evaluated through numerical simulations. Simulation results show that the algebraic controller (AC) algorithm [20] has the smallest complexity while the scaling linear matrix inequality (SLMI) algorithm [18] seems to achieve the best stability in most cases with much higher complexity.

상용 API 의 감정에 따른 음성 인식 성능 비교 연구

양장훈 ( Janghoon Yang ) 한국정보처리학회 2023 한국정보처리학회 학술대회논문집 Vol.30 No.1

다중 셀 환경에서 적은 복잡도를 갖는 준 최적 하향 빔형성

양장훈(Janghoon Yang),김동구(Dong Ku Kim) 한국통신학회 2011 韓國通信學會論文誌 Vol.36 No.12