다이나믹스 모델을 통한 행동 방법 학습

다국어 초록 (Multilingual Abstract)

In recent industrial fields, robot arms are used for various purposes. Robots are being used in many fields, from simple problems such as screwing, to moving objects precisely, or even very delicate tasks required in the medical field. A lot of research has been done so that these robots can be automatically adjusted, not humans, through deep learning and reinforcement learning. These studies considerably relieve the trouble of having to adjust each robot by humans.
However, the biggest problem with how to operate a robot or robot arm with deep learning and reinforcement learning is that it requires a very large amount of data for learning. There is also a method of learning with a real robot or simulation without a large amount of data, but there is a problem that when learning with a real robot, the real robot may break down or people may be injured. Learning through simulation can also cause problems in actual operation if it is a simulation that does not match the real thing completely, and there is a problem that it costs a lot to create a simulation that matches the real thing perfectly.
This study proposes a model to solve this problem. First, we explore how models such as LAPO, LAPA, and Dynamo constructed the model to solve this problem. Similar to this model, we propose a model that uses a dynamic model to extract information important to behavioral decisions from the model for actual behavior. This makes meaningful learning possible even in situations where there are very few data with 50 or less available behavioral information.

국문 초록 (Abstract)

최근 산업 현장에서는 로봇 팔을 다양한 용도로 사용하고 있다. 나사를 박는 등 간단한 문제부터 어떤 물체를 정밀하게 움직이거나, 심지어는 의료 현장에서 필요로 하는 굉장히 섬세한 작업까지 여러 분야에서 로봇이 사용되고 있다. 이러한 로봇은 딥 러닝과 강화 학습을 통해 사람이 아닌 자동으로 조정할 수 있도록 많은 연구가 이루어져 있다. 이러한 연구는 사람이 직접 로봇 하나하나를 조정해야 한다는 수고로움을 상당히 덜어주고 있다.
그러나 딥 러닝 및 강화 학습으로 로봇 혹은 로봇 팔을 조작하는 방식의 가장 큰 문제점은, 학습에 굉장히 큰 양의 데이터가 필요하다는 점이다. 많은 양의 데이터 없이 실제 로봇 또는 시뮬레이션으로 학습시키는 방법도 있으나, 실제 로봇으로 학습 시 실제 로봇이 고장을 일으키거나 사람이 다칠 수 있다는 문제가 있다. 시뮬레이션을 통해 학습을 하는 것 또한, 실제와 완벽히 일치하지 않는 시뮬레이션이라면 실제 구동 시 문제를 일으킬 수 있어, 실제와 완벽히 일치하는 시뮬레이션을 만들기 위해 많은 비용이 들어간다는 문제가 있다.
본 연구는 이러한 문제를 해결하기 위한 모델을 제안한다. 먼저 LAPO, LAPA 그리고 Dynamo 등의 모델이 어떻게 이러한 문제를 해결하기 위해 모델을 구성했는지 탐구한다. 이러한 모델과 유사하게, 다이나믹스 모델을 이용하여 실제 행동을 위한 모델에 행동 결정에 중요한 정보를 추출하여 주는 모델을 제안한다. 이를 통해 사용 가능한 행동 정보가 있는 사례가 50개 혹은 그 이하인 데이터가 굉장히 적은 상황에서도 유의미한 학습이 가능하도록 만든다.

목차 (Table of Contents)

• 제1장 서론 . 1
• 1. 연구 목적과 연구 방법론 . 1
• 1) 연구 목적 1
• 2) 연구 방법론 . 2
• 제2장 배경 . 4
• 1. 딥러닝 . 4
• 1) 딥러닝 .. 4
• 2) 표현 학습 .. 5
• 2. 강화학습 . 6
• 1) 강화학습 . 6
• 2) 다이나믹스 모델 .. 7
• 3) 모방학습 ,,,,,,. 8
• 제3장 관련 연구 . 10
• 1. LAPO . 10
• 1) LAPO 모델 . 10
• 2) Latent 학습 11
• 3) Policy 모델 학습 12
• 4) LAPO 모델 결과 및 논의 .. 12
• 2. LAPA .. 13
• 1) LAPO 모델의 한계점 및 LAPA 모델 . 13
• 2) LAPA 모델의 Latent 학습. 14
• 3) LAPA 모델의 행동 구축 15
• 4) LAPA 모델의 결과 및 논의 . 16
• 3. Dynamo . 17
• 1) Dynamo 모델과 목적 . 17
• 2) Dynamo 모델 학습 . 18
• 3) Dynamo 모델의 결과 및 논의 . 20
• 제4장 제안 방법 .. 22
• 1. 기존 모델의 한계 및 지향점 . 22
• 1) 기존 모델의 한계와 필요 .. 22
• 2. 모델 구성 .. 23
• 1) 전체 모델 개요 .. 23
• 2) 인코더 모델 .. 24
• 3) 고수준 정책 모델 . 25
• 4) 저수준 정책 모델 . 25
• 제5장 연구 27
• 1. 모델 실험 결과 및 논의 .. 27
• 1) LIBERO Goal에서의 결과 비교 . 28
• 2) 논의 . 28