Development of neuromorphic neural network model and robot for spatial navigation

다국어 초록 (Multilingual Abstract)

Spatial navigation is a fundamental for most mobile navigating robots, including autonomous self-driving robots, exploration robots, and rescue robots. However, previous spatial navigation models for these robots were unable to adapt in unexplored, novel, or complex environments. To overcome these limitations, a neuromorphic spatial navigation model based on the spatial information processing of animals is described in this thesis. This neuromorphic neural network model was constructed using a computational model of spatial information processing neurons, which include boundary vector, head direction, grid, and place cells in the rodent brain. Firstly, spatial navigation was simulated using virtual rats in a virtual environment to verify whether the neuromorphic neural network model could perform spatial navigation, especially collision avoidance and goal-directed navigation task. In order to enhance the spatial navigation efficiency, the role of spatial information processing neurons in the spatial navigation was investigated. Finally, the neuromorphic neural network model was applied to control a mobile robot for spatial navigation. As a result, the mobile robot successfully performed the spatial navigation in unexplored, novel and complex environment.
Overall, the neuromorphic neural network model based on the spatial information processing of the rodent brain can be considered as a candidate for the most efficient spatial navigation model.

국문 초록 (Abstract)

내비게이션 기술은 다양한 종류의 센서를 이용해 주변 장소에 대한 정보들을 획득하고, 이를 바탕으로 특정 목적을 수행하기 위한 이동 좌표를 결정하는 기술을 말하며, 자율주행 자동차, 탐사로봇 그리고 재난 구조 로봇 등, 많은 로봇 분야에서 응용되고 있다. 하지만, 기존의 내비게이션 기술은 미탐사 지역이나 복잡하고 새로운 지역에서 적용하기 어렵다는 단점이 있다. 이러한 한계점을 극복하기 위해, 본 연구에서는 동물의 뇌에서 일어나는 장소정보처리 원리를 이용한 새로운 내비게이션 모델을 구축하고자 한다.
동물의 해마체(hippocampal formation)은 장소정보를 처리하는데 특화된 영역이다. 특히, 환경의 경계면에 대한 정보를 처리하는 경계면 세포(boundary vector cell), 동물의 머리방향에 대한 정보를 처리하는 머리방향 세포(head direction cell), 공간의 격자 좌표 정보를 처리하는 격자 세포(grid cell), 그리고 특정 장소에 대한 정보를 처리하는 장소 세포(place cell)가 발견되었다. 이러한 장소정보처리 세포는 해마체 내에서 장소정보처리 신경회로를 통해 신경신호를 공유하며 장소정보를 처리하게 된다. 본 연구는, 뇌 장소정보처리 신경세포의 형태학적 구조와 전기생리학적 특성을 정교하게 모사할 수 있는 뉴로모픽 단일신경세포 모델을 구축하고, 해부학적으로 알려진 장소정보처리 신경회로를 기반으로 뉴로모픽 신경망 모델을 구축하는 것을 목적으로 한다. 또한, 구축된 뉴로모픽 신경망 모델을 가상 쥐 행동 시뮬레이터에 연결하여, 실제 쥐처럼 공간에서의 내비게이션을 수행할 수 있는지 연구하였다. 나아가, 쥐의 행동을 모사하는 쥐 로봇을 개발하고, 뉴로모픽 신경망 모델이 실제 환경에서 로봇을 통해 내비게이션을 수행하는지 관찰하였다.
결과적으로, 본 연구를 통해 구축한 뉴로모픽 신경망 모델은 미로 환경, 장애물 환경에서 성공적으로 충돌회피를 수행할 수 있었고, 숨겨진 목적지를 탐색하며 학습하는 목적지 지향 내비게이션도 성공적으로 수행하였다. 또한, 충돌 회피를 위해선 경계면 세포로부터 생성된 경계면 정보와, 회피 학습을 위해선 머리방향 세포로부터 생성된 머리방향 정보가 중요함을 밝혔다. 나아가, 목적지 탐색 내비게이션 학습은 장소세포와 목적에 대한 정보를 표현하는 세포간의 학습이 중요함을 밝혔다. 이러한 결과는 뉴로모픽 내비게이션 모델을 이용해 이전 내비게이션 모델들이 수행하기 어려웠던, 미탐사 지역이나 복잡하고 새로운 지역에서도 실시간으로 학습을 통해 최적의 내비게이션을 수행할 수 있음을 밝혔으며, 실험적으로 연구하기 어려운 뇌 장소정보처리 세포의 역할을 규명하는데 중요한 역할을 할 수 있을 것으로 기대된다.

목차 (Table of Contents)

• Abstract
• Table of contents
• List of figures
• I. Introduction
• 1.1.1 Spatial navigation in animals
• 1.1.2 Spatial representation in a robot
• 1.2 Spatial representation in the brain
• 1.3.1 Boundary vector cells
• 1.3.2 Computational models of boundary vector cells
• 1.4.1 Head direction cells
• 1.4.2 Computational models of head direction cells
• 1.5.1 Grid cells
• 1.5.2 Computational models of grid cells
• 1.6.1 Place cells
• 1.6.2 Computational models of place cells
• 1.7 Previous computational neuromorphic neural network models for spatial navigation
• 1.7.1 Map-based locale navigation model
• 1.7.2 Route-based taxon navigation model
• II. Aims
• III. Methods
• 3.1 Computational Hodgkin-Huxley models of spatial information processing neurons
• 3.1.1 Boundary vector cell
• 3.1.2 Head direction cell and persistent spiking cell
• 3.1.3 Grid cell
• 3.1.4 Place cell
• 3.2 Neuromorphic neural network model
• 3.3 Spike timing-dependent plasticity (STDP) synapse model
• 3.4 Virtual rat’s behavior simulator
• 3.5 Mobile robot platform
• IV. Modeling of Neuromorphic Spatial Information Processing Neurons
• 4.1 Neuromorphic computational model of boundary vector cell
• 4.2 Neuromorphic computational model of head direction cell
• 4.3 Neuromorphic computational model of grid cell
• 4.4 Neuromorphic computational model of place cell
• 4.5 Validation of the neuromorphic neuron models using a robot
• V. Neuromorphic Neural Network Model for Collision Avoidance Model
• 5.1 A neuromorphic neural network model using boundary vector cells and head direction cells for collision avoidance
• 5.2 Boundary avoidance in the maze virtual environment without STDP learning paradigm
• 5.3 Boundary avoidance in the maze virtual environment with STDP learning paradigm
• 5.4 Selective modification of synaptic weight of neuromorphic neural network model by STDP learning paradigm during boundary avoidance
• 5.5 Collision avoidance in the complex virtual environment without STDP learning paradigm
• 5.6 Collision avoidance in the complex virtual environment with STDP learning paradigm
• 5.7 Validation of the neuromorphic neural network model for collision avoidance using a robot
• VI. Neuromorphic Neural Network Model for Goal-directed navigation
• 6.1 Neuromorphic neural network model using spatial information processing neurons for goal-directed navigation
• 6.2 Goal-directed navigation using neuromorphic neural network model without STDP learning paradigm
• 6.3 Goal-directed navigation using neuromorphic neural network model with STDP learning paradigm
• 6.4 Formation of reward cognitive map for learning goal location.
• 6.5 Validation of the neuromorphic neural network model for goal-directed navigation using a robot
• VII. Discussion and conclusion
• 7.1 Spatial information processing neurons in the spatial navigation models
• 7.2 Spatial navigation using a robot
• 7.3 Limitations of neuromorphic spatial navigation model
• 7.4 Conclusion
• References
• 초 록