TD3 기반 강화학습을 이용한 터보제트 엔진의 PID 파라미터 연속 최적화 = Continuous Optimization of PID Gain for Turbojet Engine Control Using TD3 Based Reinforcement Learning|RISS 상세보기

국문 초록 (Abstract)

터보제트 엔진은 항공기 및 발전 시스템에서 핵심적인 역할을 수행하는 복잡한 동력 장치이다. 이러한 엔진의 성능과 안전성을 극대화하기 위해서는 정밀한 제어가 필수적이다. 연료 유량 조절을 통해 엔진 RPM과 추력과 같은 주요 변수를 제어하는데 PID 제어기가 널리 사용된다. PID 제어기의 성능은 파라미터(Kp, Ki, Kd) 튜닝에 크게 의존하며 비선형적이고 동적으로 변화하는 터보제트 엔진 시스템의 특성상 이득값의 최적 조합을 도출하는 것은 공학적으로 매우 난해한 과제이다. 과거 수행된 대다수의 연구는 엔진의 수학적 모델링을 선행한 후 해당 모델을 기반으로 제어 파라미터를 도출하는 방식을 취해왔다. 하지만 이러한 모델 기반 제어 기법은 실제 시스템과 모델 간의 불일치 문제를 완전히 해소하기 어렵고 모델 정교화 과정에 소모되는 인적·물적 자원의 효율성이 낮다는 한계를 지닌다. 본 연구에서는 이러한 전통적인 모델링 기반 방법론의 제약을 극복하기 위해 에이전트가 환경과의 상호작용을 통해 스스로 최적의 제어 정책을 학습하는 강화학습(Reinforcement Learning)을 적용한다. 터보제트 엔진은 동역학적 민감도가 높고 제어입력에 따른 상태 변화가 급격하여 강화학습 적용 시 학습 실패와 불안정성이 초래될 위험이 크다. 본 연구에서는 이러한 학습의 불안정성을 극복하고 안정적인 수렴을 유도하기 위해 에이전트에 입력될 상태 데이터 생성 과정에 저역필터를 적용하고 보상 함수에 시그모이드 함수를 추가하는 등의 여러 기법을 도입하였으며 그중 대표적으로 심층 강화학습의 제어 출력에 대한 안전성과 예측 가능성을 확보하기 위한 PID 제어기를 모사한 Actor 신경망을 제안한다. 시뮬레이션은 MATLAB의 SIMULINK에서 수행되며 시뮬레이션 환경에 구현한 터보제트 엔진 모델을 대상으로 Actor-Critic 기반의 DDPG(Deep Deterministic Policy Gradient) 알고리즘과 TD3(Twin Delayed Deep Deterministic Policy Gradient) 알고리즘을 적용하고 비교하였다. 주제어 : 심층강화학습, DDPG, TD3, 인공지능, 터보제트엔진

번역하기

터보제트 엔진은 항공기 및 발전 시스템에서 핵심적인 역할을 수행하는 복잡한 동력 장치이다. 이러한 엔진의 성능과 안전성을 극대화하기 위해서는 정밀한 제어가 필수적이다. 연료 유량 ...

목차 (Table of Contents)