공유 작업 공간 내 다중 협동로봇의 충돌 회피 경로 생성을 위한 다중 에이전트 심층 강화학습 = Multi-Agent Deep Reinforcement Learning for Collision-Avoidance Path Planning of MultiManipulator in Shared Workspaces

국문 초록 (Abstract)

공유 작업 공간 내 다중 협동로봇의 충돌 회피 경로 생성을 위한 다중 에이전트 심층 강화학습 본 논문에서는 다중 에이전트 심층 강화학습(MADRL) 기반의 충돌 회피 경 로 계획 프레임워크를 제안한다. 제안된 방법은 MADRL의 중앙집중식 학습 및 분산식 실행 구조(CTDE)의 강화학습을 채택하여 로봇 간의 협조적 정 책을 유도한다. 특히, 고차원 관절 공간의 연산 효율성을 극대화하기 위해 로봇의 링크를 기하학적 선분으로 모델링하는 상태 표현 방식을 도입하여 기존 방식 대비 계산 복잡도를 낮추면서도 충돌 감지에 필요한 공간 정보를 효과적으로 포착한다. 제안 방법은 NVIDIA Isaac Sim에서 다양한 공유·중첩 작업공간 시나리오를 대상으로 구현 및 검증되었다. 이러한 결과는 제안된 프레임워크가 실시간 충돌 회피 기반 다중 협동로봇 제어 문제에서 높은 효 과성과 확장성을 제공함을 입증한다.

다국어 초록 (Multilingual Abstract)

This paper proposes a collision-avoidance path planning framework based on Multi-Agent Deep Reinforcement Learning (MADRL). The proposed method adopts an algorithm with a Centralized Training and Decentralized Execution (CTDE) architecture to induce cooperative policies among robots. Specifically, to maximize computational efficiency in high-dimensional joint spaces, we introduce a state representation method that abstracts robot links into geometric line segments. The proposed method was implemented and validated in NVIDIA Isaac Sim across various shared and overlapping workspace scenarios. These results demonstrate that the proposed framework offers high effectiveness and scalability for real-time collision-avoidance multimanipulator control problems.

목차 (Table of Contents)

• 제1장 서론 1
• 제1절 연구 배경 1
• 제2절 기존 경로 계획 알고리즘의 한계점 2
• 제3절 연구 목표 3
• 제2장 연구 방법 4
• 제1절 시스템 개요 4
• 제2절 MAPPO Learning Approach 5
• 제3절 강화학습 설계 8
• 1. 선분기반 상태 표현 8
• 2. 관측 및 전역 상태 공간 10
• 2-1. 관측 공간 10
• 2-2. 전역 상태 공간 12
• 3. 행동 공간 13
• 4. 보상 함수 설계 14
• 제3장 실험 및 연구 결과 17
• 제1절 실험 구성 17
• 1. 실험 설정 17
• 2. 강화학습 환경 설정 19
• 3. 평가 지표 20
• 4. 민감도 분석 21
• 제2절 실험 결과 23
• 1. 다양한 환경 조건에서의 제안된 방법의 성능평가 23
• 2. 기존 독립형 가치함수와의 성능 평가 27
• 3. 기존 CTDE 구조의 MADRL 알고리즘과의 성능평가 28
• 4. 기존 상태 표현 방식과의 성능 평가 30
• 5. 작업 환경에서의 성능 평가 32
• 6. 기존 경로 계획 기법과의 성능 평가 36
• 제4장 논의 및 결론 38
• 제1절 논의 38
• 1. 기존 실험 결과에 대한 종합 논의 38
• 2. 한계점 및 추후연구 40
• 제2절 결론 41
• 참고문헌 42
• ABSTRACT 46