Automated Microscopy Image Analysis for Bioprocess Monitoring via Deep Neural Networks Trained on Synthetic Data = 합성 데이터 기반 학습 딥러닝을 활용한 생물공정 모니터링용 현미경 이미지 자동 분석

국문 초록 (Abstract)

생물공정 제조는 센서, 기계론적 모델, 제어 알고리즘이 긴밀하게 통합된 실시간 소프트웨어 운영 체계로 빠르게 전환되고 있다. 이와 같은 흐름 속에서 현미경 이미지는 생물학적 시스템의 광학적 상태를 저비용으로 관찰할 수 있는 “센서”이지만, 산업 현장에서의 활용에는 두 가지 주요 장애요인이 남아 있다. 첫째, 특히 공정 개발 초기 단계에서 특정 목적을 위한 라벨링 데이터가 매우 부족하며, 둘째, 실제 플랜트 환경에서 흔한 이미지 분포 변화에 따라 이미지 분석 모델의 성능이 불안정해진다는 점이다. 본 논문은 합성 이미지를 활용해 딥러닝 기반 모델을 학습하고, 이를 실제 생물공정 데이터에 적용 및 검증함으로써 이러한 문제를 해결하고자 하였으며, 단백질 결정화와 폴리하이드록시알카노에이트(polyhydroxyalkanoate, PHA) 생산 공정 사례를 통해 접근법을 제시한다. 먼저, 단백질 결정화를 대상으로 지식 기반 합성 이미지 생성 파이프라인을 구축하였다. 목표 단백질의 3차원 결정 모양이 알려져 있다고 가정하고, 다양한 특성 길이와 시야각, 조명 조건을 변화시키며 결정을 렌더링한 뒤, 실험과 유사한 이미지 노이즈를 주입하여 합성 현미경 이미지를 생성하였다. 이를 바탕으로 결정 인스턴스를 검출하는 네트워크와 특성 길이를 회귀 예측하는 네트워크를 학습시켰고, 이전에 보고된 액적 기반 라이소자임 결정화 실험에 적용하여 액적 내에서의 결정별 핵생성 시점과 성장 궤적을 자동 추출하였다. 이후 배치 수준의 최적화를 통해 성장 및 핵생성 동역학 파라미터를 추정함으로써, 다양한 조건에서 일반화 가능하며 메커니즘에 부합하는 동역학 모델을 구축하고 자동화된 결정화 모니터링 및 제어의 기반을 마련하였다. 두 번째로, 상류 PHA 생산 공정의 세포 수준 모니터링을 위해 실제 데이터 기반 합성 이미지 생성 파이프라인을 제안하였다. 수동 마스크 라벨링에 의존하지 않고, 희석 샘플에서 엣지 강화와 이진화, 규칙 기반 필터링을 통해 단일 세포 패치를 자동으로 추출한 뒤, 이를 조합 및 증강하여 플랜트 환경의 질감, 밀도, 조명 통계를 모사하는 합성 이미지를 생성하였다. 이렇게 얻은 이미지–마스크 쌍으로 학습된 Mask R-CNN은 세포 밀도가 희박하거나 혹은 조밀한 영역 모두에서 우수한 인스턴스 분할 성능을 보였으며, 이로부터 얻은 세포 면적 분포는 대부분의 배치에서 유세포분석 기반 세포 크기 지표와 거의 일대일 상관을 나타내어, 범용 모델 대비 유의한 성능 향상을 보였다. 이를 통해 현미경 기반 세포 크기 분포를 세포 내 PHA 축적량을 추적하는 온라인 지표로 활용할 수 있는 가능성을 제시하였다. 두 합성 데이터 파이프라인은 데이터 부족과 분포 변화 상황에서도 신뢰성을 유지하는 현미경 기반 공정분석기술(Process Analytical Technology, PAT)을 구축하기 위한 실질적인 청사진을 제공하며, 동역학 파라미터 추정, 디지털 트윈, 폐루프 제어와 자연스럽게 연결된다. 보다 일반적으로, 본 논문은 레이블이 부족하거나 데이터 분포가 지속적으로 변하는 상황에서 물리 기반 렌더링(결정화) 또는 실제 현미경 이미지 재구성(세포)을 통해 학습 데이터를 공학적으로 설계하고, 이렇게 학습된 시각 모델을 추정 및 제어 계층과 결합하는 방법론적 패턴을 제시한다. 제안한 접근법은 형태 제어, 세포 생존율 추적, 모니터링 등 다른 생물공정 모니터링 문제로도 모듈형으로 확장 가능하며, 장기적으로 분석 비용을 절감하고 개발 기간을 단축하며, 탄력적인 소프트웨어 정의 생물공정 구현에 기여할 수 있다.

다국어 초록 (Multilingual Abstract)

Bioprocess manufacturing is increasingly shifting toward real-time, software-defined operation in which sensors, mechanistic models, and control algorithms are tightly integrated. Within this context, microscopy is an attractive, low-cost “sensor” for revealing the optical state of biological systems, but two obstacles still limit its industrial deployment: the scarcity of task-specific labeled images, especially early in development, and the instability of image analysis models under the distribution shifts typical of real plants. This thesis addresses both challenges by training deep learning–based models on synthetic images and validating them in real bioprocess settings, across two complementary case studies: protein crystallization and polyhydroxyalkanoate (PHA)-producing cells. First, a knowledge-based synthetic image generation pipeline is developed for crystallization. Assuming that the 3D crystal habit of the target protein is known, the system renders crystals across characteristic lengths, viewing angles, and illumination conditions, and injects realistic optical and sensor noise to emulate experimental images. Detector and regressor networks are then trained to (i) identify individual crystals and (ii) predict characteristic lengths directly from microscopy frames. Applied to droplet-based lysozyme crystallization, the trained models extract nucleation times and per-crystal growth trajectories from image streams, after which a batch-level optimization step estimates growth and nucleation kinetic parameters. The resulting kinetic models are mechanism-consistent, generalize across experimental conditions, and provide a foundation for automated crystallization monitoring and control. Second, a real data-based synthetic image generation pipeline is proposed for cell segmentation in upstream PHA production. Instead of relying on manually annotated masks, single-cell crops are automatically harvested from diluted samples via edge enhancement, binarization, and rule-based filtering, and are then recomposed and augmented into synthetic plant-like images that match the texture, density, and illumination statistics of the target environment. A Mask R-CNN trained on these synthetic image–mask pairs yields robust instance segmentations across dense and sparse fields. The resulting cell-area distributions track flow-cytometry-derived size surrogates with near-unity correlations in most batches and substantially outperform a widely used generalized model, enabling microscopy-based cell size distributions to serve as an online proxy for intracellular PHA accumulation. Together, these two pipelines provide a practical blueprint for microscopy-driven Process Analytical Technology (PAT) that remains reliable under data scarcity and distribution shift, and that naturally links to model-based parameter estimation, digital twins, and closed-loop control. More broadly, the thesis illustrates a general methodological pattern: when labels are scarce or distributions drift, engineer the training data—through physics-informed rendering or recomposition of real microscopy—and then couple vision models to estimation and control. This approach is modular and extensible to other bioprocess monitoring tasks such as morphology control, viability tracking, and inclusion-body monitoring, and ultimately aims to lower analytics costs, shorten development cycles, and support resilient, software-defined bioprocessing.

목차 (Table of Contents)

• 1 Introduction 1
• 2 End-to-End System for Estimating Crystallization Kinetics Using a Deep Learning-Based Approach 6
• 2.1 Introduction 6
• 2.2 Methods 11
• 2.2.1 Experimental setup 12
• 2.2.2 Crystal simulation image generation 14
• 2.2.3 Crystal detection 19
• 2.2.4 Crystal dimension prediction 24
• 2.2.5 Prediction of droplet volume 26
• 2.2.6 Estimation of kinetic parameters 28
• 2.3 Results and Discussion 33
• 2.3.1 Prediction of droplet volume 33
• 2.3.2 Crystal detection 35
• 2.3.3 Crystal dimension prediction 37
• 2.3.4 Crystallization kinetics estimation 39
• 2.4 Conclusion 44
• 3 Robust Cell Segmentation for Size Distribution Estimation via Synthetic-Data 46
• 3.1 Introduction 46
• 3.2 Results and Discussion 50
• 3.2.1 Synthetic data generation and segmentation pipeline 50
• 3.2.2 Evaluation of segmentation performance 52
• 3.2.3 Correlation with FSC-based measurements 55
• 3.3 Materials and Methods 57
• 3.3.1 Materials and experimental Methods 57
• 3.3.2 Computational Methods 59
• Chapter 4 Conclusion 65
• Bibliography 68
• Abstract in Korean 78