Neural Architecture of the Drosophila Olfactory System for Online Learning = 온라인 학습을 위한 초파리 후각계의 신경망 구조

국문 초록 (Abstract)

예측 불가능한 자연 환경에서의 생존은 복잡한 감각 정보를 실시간으로 해독하는 능력에 달려있다. 초파리(Drosophila melanogaster)의 후각계는 빠른 학습과 기억의 장기적 안정성을 동시에 달성함으로써, 인공 신경망의 주요 난제인 `파국적 망각'을 효율적으로 해결하는 생물학적 해를 제시한다. 본 연구는 초파리 후각계의 세 가지 핵심 설계 원리인 확장층 구조, 희소 부호화, 그리고 고정-가소성 분리 구조를 통합한 인공 신경망을 설계하여, 온라인 학습 환경에서 효율적으로 학습할 수 있는 기능을 찾고자 했다. 이를 위해 실제 초파리 커넥톰 데이터를 분석하여 투사 뉴런-케니언 세포 연결을 고정층으로, 케니언 세포-MBON 연결을 학습층으로 모사한 신경망 모델을 구축하였다. 실험 결과, 승자 독식 메커니즘을 통한 희소 부호화는 냄새 표상을 직교화하여 코사인 마진을 증가시키는 패턴 분리 효과를 보였으며, 고정-가소성 분리 구조는 빠른 수렴 속도를 달성하였다. 특히 냄새 표상의 직교화는 온라인 학습 환경에서도 파국적 망각 없이 안정적인 성능을 유지하는데 필요함을 확인하였다. 본 연구는 초파리 후각계의 구조적 특징이 제한된 데이터와 연속적인 학습 환경에서 신속하고 견고한 기억 형성을 가능하게 함을 입증하였다.

다국어 초록 (Multilingual Abstract)

Unpredictable natural environments require the ability to decode complex sensory information in real time for survival. The olfactory system of the fruit fly (Drosophila melanogaster) presents a biological solution to the challenging problem of `Catastrophic Forgetting' in machine learning by achieving both rapid learning and long-term stability of memory. This study investigates the computational mechanisms that enable efficient learning in online learning. For this, we designed an artificial neural network that integrates three key design principles of the Drosophila olfactory system: expansion layer, sparse coding, and fixed-plastic separation. To this end, we analyzed actual Drosophila connectome data to construct a neural network model that mimics projection neuron-Kenyon cell connections as a fixed layer and Kenyon cell-MBON connections as a learning layer. Experimental results showed that sparse coding through a winner-take-all mechanism exhibited a pattern separation effect by orthogonalizing odor representations, increasing cosine margins and the fixed-plastic separation achieved fast convergence speed. Especially, we verified that the orthogonalization of odor representations is necessary to maintain stable performance without catastrophic forgetting even in online learning environments. Therefore, this study demonstrates that the structural features of the Drosophila olfactory system (expansion layer, sparse coding, fixed-plastic separation) enable rapid and robust memory formation in environments with limited data and continuous learning.

목차 (Table of Contents)

• Abstract i
• Chapter 1 Introduction1
• 1.1 Research Background 1
• 1.2 Structure and Computational Principles of the Drosophila Olfactory System 2
• 1.3 Research Objective 4
• Chapter 2 Methods 6
• 2.1 Statistical Analysis of Biological Connectivity 6
• 2.2 Construction of Synthetic Olfactory Dataset 7
• 2.3 Drosophila Olfactory System-like Neural Network Architecture 9
• 2.4 Experimental Design and Training Protocol 10
• Chapter 3 Results 12
• 3.1 Determination of Plasticity via Connectome Comparison 12
• 3.2 Implementation of a Drosophila Olfactory System-like Neural Network 15
• 3.3 Orthogonalization via Sparse Coding 16
• 3.4 Enhanced Learning Efficiency via Structural Constraints 18
• 3.5 Stability in Online Learning 18
• Chapter 4 Discussion 22
• 4.1 Summary of Research Findings 22
• 4.2 Interpretation from the Perspective of Reservoir Computing 23
• 4.3 Maximizing Memory Capacity through Sparsity and Orthogonality 23
• 4.4 Online Learning and Overcoming Catastrophic Forgetting 24
• 4.5 Limitations and Future Work 25
• Appendix A Additional Information 26
• A.1 What Is Kolmogorov-Smirnov Test 26
• A.2 Randomness Test by Marchenko-Pastur Law 27
• A.3 Why We Chose 3.0 as the Radius of Class in OR Space 30
• 요약 37