Reinforcement learning of cellular networks for glucose homeostasis = 혈당 항상성을 유지하는 세포 네트워크에 대한 강화학습

다국어 초록 (Multilingual Abstract)

The islets of Langerhans, composed of alpha, beta, and delta cells, are essential for regulating glucose homeostasis via hormonal regulation. This study presents a novel method for analyzing the regulatory mechanisms of these cells by leveraging reinforcement learning within a simulated islet environment, inspired by prior research. We conceptualized this scenario as a multi-agent multi-armed bandit (MAMAB) problem and employed the Upper Confidence Bound (UCB) approach to examine cellular interaction dynamics.

Our research was carried out in two primary phases: the first assessed the effect of various glucose conditions on the stability and flexibility of cellular interactions. The second phase investigated the influence of different islet counts on these interactions and the overall stability of the system. Findings indicate that specific interactions consistently support glycemic balance and adapt well to changes in external glucose levels, both in hyperglycemic and hypoglycemic states, independent of islet quantity.

This study significantly contributes by merging data on hormone secretion and glucose fluctuations into a unified numerical scoring framework, offering a comprehensive assessment of cellular interactions. It reveals the underlying mechanisms of effective intercellular communication within islet environments across diverse scenarios and suggests that exploring natural islet cell interactions through reinforcement learning provides insights into their evolutionary and functional aspects.

국문 초록 (Abstract)

알파, 베타, 델타 세포로 구성된 랑게르한스 섬은 호르몬 조절을 통해 체내 혈당 항상성 유지에 있어 핵심적인 역할을 수행한다. 본 연구는 이전 연구를 바탕으로 구성된 환경 내에서 강화학습을 활용해 이들 세포의 조절 메커니즘을 분석하는 새로운 접근법을 제시한다. 우리는 다중 에이전트 다중 선택 문제(MAMAB)로서 문제를 정의하고, 세포 간 최적의 상호작용을 탐구하기 위해 상위 신뢰 경계(UCB) 방법을 적용했다.

실험은 두 가지 단계로 구성된다. 첫째, 강화학습을 통해 다양한 혈당 조건 하에서 최적의 세포 간 상호작용을 분석했다. 둘째, 섬의 수가 이러한 상호작용 및 시스템 전반의 안정성에 어떠한 영향을 미치는지 분석했다. 실험 결과, 특정 상호작용들이 섬의 수와 무관하게 고혈당 및 저혈당 상황에서도 혈당 항상성을 유지하고 혈당 변화에 효과적으로 대응하는 것으로 나타났다.

본 연구는 호르몬 분비량과 혈당 변동 값을 이용해 하나의 수치적 평가 체계로 통합함으로써 세포 상호작용의 평가에 있어 새로운 방법을 제시했다. 또한, 다양한 조건에서 강화학습을 통해 랑게르한스 섬 내 효과적인 세포 간 상호작용의 종류를 밝혀내고, 이로서 강화학습이 섬 세포 상호작용을 분석하는데 있어 진화적 및 기능적인 통찰을 제공할 수 있음을 보인다.

목차 (Table of Contents)

• Abstract i
• Contents ii
• List of Tables iv
• List of Figures vi
• 1 Introduction 1
• 2 Background 3
• 2.1 Dynamics and Interactions of Pancreatic Islet Cells 3
• 2.2 Concepts of Reinforcement Learning 9
• 3 Experiment and Results 17
• 3.1 Experimental Setup 17
• 3.2 Experimental Procedure and Methodology 20
• 3.3 Results and Analysis 23
• 3.3.1 Optimal interaction with external blood glucose levels 23
• 3.3.2 The impact of the number of islets 29
• 4 Conclusion 34
• Appendix A Top Reward Table by Interaction Type 40
• Appendix B Optimal Interactions Relative to the Reward Coefficient 42
• Appendix C Experimental results of optimal interaction based on the number of islets 45
• Abstract (In Korean) 47