강화 학습을 이용한 자동차 서스펜션 제어 = Vehicle Suspension Contorl using Reinforcement Learning

국문 초록 (Abstract)

최근 강화학습 분야에서 관심을 끌고 있는 액터-크리틱 네트워크는 제어입력 선택에 있어서 계산의 최소성과 확률적 정책을 명시적으로 다룰 수 있다는 장점을 가지고 있다. 액터-크리틱 네트워크는 제어입력 선택 전략을 위한 액터 네트워크와 가치 함수 근사를 위한 크리틱 네트워크로 구성되며, 우수한 제어입력의 선택과 정확한 가치 함수 근사를 최대한 신속하게 수행하기 위하여, 학습 과정 동안 액터와 크리틱은 자신들의 파라미터 벡터를 적응적으로 변화시키는 전략을 구사한다.

액터-크리틱 학습 방법 중에서 NAC 알고리즘을 개선한 RLS-NAC (recursive least-squares based natural actor-critic)알고리즘은 크리틱의 학습을 위해 빠른 수렴성을 보장하는 RLS(recursive least square)를 사용하고, 액터의 학습을 위해 정책의 기울기(policy gradient)를 이용한다.

본 논문에서는 RLS-NAC 알고리즘을 자동차의 서스펜션을 제어하는 문제에 적용하였다. 서스펜션은 노면에서 받는 진동이나 충격을 흡수하여 차량 주행시 조종 안정성과 탑승자의 승차감을 조화시키는 역할을 한다. 반능동 서스펜션(semi active suspension)은 가변 댐퍼의 감쇠력을 조절함으로써 차체의 수직 가속도를 줄이고 승차감과 조종성을 향상시킨다. 여기에서는 이 가변 댐퍼의 제어힘을 강화학습을 통해 찾는 방법에 대해서 논한다. 적용한 알고리즘의 제어 성능을 시뮬레이션을 통해 확인하고, 본 논문에서 고려한 방법론이 CARLA(continuous action reinforcement learning automata) 방법론 등에 비해 얼마나 좋은 결과를 보이는지에 대해 고찰한다.

목차 (Table of Contents)

• 1. 서 론 ........................................................................................................1
• 2. 기본 이론
• 2.1 Policy Gradient와 RLS를 이용한 학습 방법
• 2.1.1 RLS 기법을 이용한 크리틱 학습 ..........................................................3
• 2.1.2 Policy gradient 를 이용한 액터 학습 ....................................................7
• 2.1.3 RLS 기반 액터 크리틱 학습 ................................................................9
• 2.2 CARLA
• 2.2.1 이산형 액션 학습 오토마타 ................................................................10
• 2.2.2 연속형 액션 강화학습 오토마타 ..........................................................13
• 3. 자동차 서스펜션 .......................................................................................18
• 4. 실험.........................................................................................................22
• 4.1 전력 밀도 함수를 이용한 노면의 생성 ........................................................23
• 4.2 노면 타입에 의한 응답
• 4.2.1 A 타입(Very Good) 노면 ...................................................................25
• 4.2.2 B 타입(Good) 노면 ..........................................................................30
• 4.2.2 C 타입(Poor) 노면 ...........................................................................35
• 4.2.2 D 타입(Very Poor) 노면 ....................................................................40
• 5. 결론 및 향후 과제 .......................................................................................45
• 6. 참고 문헌 ..................................................................................................49