강화학습에 의한 리니어 동기모터의 정밀 모션제어 = High-Accuracy Motion Control of Linear Synchronous Motor Using Reinforcement Learning

국문 초록 (Abstract)

영구자석형 리니어동기모터(PMLSM : Permanent Magnet Linear Synchronous Motor)의 고정밀 위치제어를 위하여, 7차 또는 그이상의 고차 방정식 또는 정현파 기반의 고기능 위치, 속도, 가속도, 저크 프로파일을 생성하는 것은 매우 중요하다. 이를 기반으로 하여 본 논문에서는 PID 제어기, 뉴럴네트워크, 강인한 내부루프 보상기(Robust Internal Loop Compensator), RIC 극배치 제어기, 자기강화학습, 강화학습 기반의 PID 제어기, 강화학습을 이용한 RIC 기반의 극배치 제어기 등의 다양한 제어알고리즘들을 PMLSM의 고정밀 제어기를 구현하기위해서 모의실험, 시스템 구성 및 실험을 실시하였다.
모의실험을 통해 강화학습을 이용하여 PID-피드포워드 제어기 및 RIC 기반의 극배치 제어기가 적응적으로 제어 파라미터를 찾을 수 있음을 보였고, RIC 기반의 극배치 제어기의 외란제거 성능이 PID 제어기에 비해 훨씬 우수함을 알 수 있었다.
PMLSM 시스템 실험을 통하여 랜덤변수를 이용한 강화학습이 PID-피드포워드 제어기 및 RIC 기반의 극배치 제어기의 제어 파라미터를 적응적으로 찾을 수 있음을 보였다. 또한, PID-뉴럴네트워크 기반의 학습형 피드포워드제어기의 경우 뉴럴네트워크의 위치오차 역전파 학습에 의해서 계산되어진 토크값이 피드포워드 제어입력 값으로 사용되어 정지 위치구간에서 우수한 추종 성능을 나타내었다.
특정 구간에서의 스프링에 의한 가변부하 외란인가의 실험에서 RIC 기반의 극배치 제어기가 Q필터작용을 통해 고주파 성분의 외란을 효과적으로 제거함을 알 수 있었다.
또한, 뉴럴네트워크 기반의 학습형 피드포워드제어기는 특정 구간의 가변부하 자체에 대한 뉴럴네트워크의 오차역전파 학습이 이루어져서 미리 계산 되어진 부하보상 토크값과 리플력을 보상하는 토크값을 피드포워드 제어값으로 사용하여 가변부하 인가 전후의 성능에 별 차이가 없음을 보였다.

다국어 초록 (Multilingual Abstract)

To realize the high speed and high precision motion control of PMLSM(Permanent Magnet Linear Synchronous Motor), it is important to make high functional position, velocity, acceleration, jerk motion profiles based on 7th-order or higher-order equation or sine wave for fast, smooth and efficient motion.
Several control algorithms such as conventional PID, Neural network, RIC(Robust Internal loop Compensator), RIC Pole placement, Self organized Reinforcement Learning, Leaning Feedforward controller, Reinforcement leaning based PID controller, Reinforcement leaning RIC based Pole placement controller are adopted and compared to obtain high precision controller of PMLSM.
Through the MATLAB simulation and the experiment to make high precision PMLSM control, it was known that reinforcement leaning RIC based pole placement controller's performance is faster and more accurate than conventional PID-Feedforward controller. And it is also more robust when the external disturbance such as variable load was applied. Afterwards obtaining more accurate model of PMLSM, the studies for learning rate, linear or nonlinear activation function are necessary to make better adaptive PMLSM motion controller.

목차 (Table of Contents)

• 1. 서 론 1
• 1.1 연구배경 및 목적 1
• 1.2 연구내용 5
• 2. 리니어 동기 모터의 정밀 위치제어 8
• 2.1 모션 프로파일의 생성 8
• 2.2 PID 제어기 19
• 2.3 RIC 제어기 21
• 2.4 RIC 기반의 극배치 제어기 29
• 3. 학습에 의한 모션 제어기 설계 32
• 3.1 랜덤변수를 이용한 자기 강화학습 알고리즘 32
• 3.2 강화학습 기반의 PID 제어기 설계 34
• 3.3 강화학습을 이용한 RIC 기반의 극배치 제어기 설계 36
• 3.4 적응 피드포워드 신경망 학습에 의한 PID 제어기 설계 37
• 4. 모의실험 42
• 4.1 강화학습 기반의 PID-피드포워드 제어기 모의실험 42
• 4.2 강화학습을 활용한 RIC 기반의 극배치 제어기 모의실험49
• 5. 모션제어 시스템 구성 및 실험 56
• 5.1 시스템 제어용 DSP 보드의 설계 56
• 5.2 리니어 동기모터의 제어시스템 구성 65
• 5.3 각종 제어기의 비교실험 및 검토 69
• 5.4 실험결과 고찰 105
• 6. 결론 107
• 참 고 문 헌 110
• 국 문 요 약 116
• 영 문 요 약 118
• 부 록 1. 회로도 120
• 부 록 2. 제어기 소스코드 122