Low-power SPAD-based vision sensors : all-digital EVS and SPAD-PPD hybrid CIS

다국어 초록 (Multilingual Abstract)

Modern vision systems operate under tight energy budgets, where power is increasingly dominated not only by photodetection but also by readout, analog-to-digital conversion, memory access, and I/O traffic. As spatial resolution and multi-bit fidelity scale, conventional PPD-based CMOS image sensors face a growing bandwidth–power coupling: higher pixel counts and richer outputs inflate digitized data volume and data movement, while mixed-signal headroom and noise constraints limit voltage scaling. In addition, wide-illumination scenes expose fundamental sensing trade-offs—noise-limited signal acquisition in low light (even with extended exposure in some regimes) and saturation bounded by full-well capacity in bright regions—making robust high-dynamic-range (HDR) imaging essential yet potentially power-expensive.
Building on this viewpoint, this dissertation presents three SPAD-centered sensor architectures that jointly demonstrate pathways toward low-power operation. First, an all-digital synchronous event-based vision sensor (EVS) is presented to suppress redundant event traffic under practical motion and vibration. A 200×128 SPAD array implements multi-event generation using in-pixel counting and digital control, achieving 68.42 Meps at 4.3 mW. Event/statistics-aware regulation schemes (EDTC, VEN, and AFRC) adapt event generation to scene dynamics, reducing pixel-array power by 55.66%, 67.25%, and 21.7% under representative vibration, uniform-illumination, and motion scenarios.
Second, an in-sensor-processing EVS is proposed to further improve energy proportionality by suppressing unnecessary pixel activity at the macro-pixel level and by exploiting binary-domain computation. A 2×2 macro-pixel introduces three scene-adaptive power-saving schemes—SAT-PS, T-PS, and S-PS—that selectively disable pixels under saturation, temporal redundancy, and spatial redundancy, achieving up to 51.4% pixel-array power reduction in complex scenes. A tightly coupled three-layer hybrid SNN–BNN engine performs object-of-interest (OOI) detection from binary event frames; although the on-chip OOI block did not stably reach 100 MHz due to IR-drop-induced margin loss, FPGA validation confirms functional correctness with a Dice score of 0.7452.
Third, to complement event-based sensing in applications requiring absolute intensity and photorealistic imagery, an HDR CMOS image sensor (CIS) is presented. A 528×264 SPAD–PPD hybrid pixel array combines photon counting and charge integration to achieve >109 dB HDR at 6.25 mW, providing robust imaging across scenes where bright and dark objects co-exist within a single field of view.
Together, these designs demonstrate that low-power vision is achievable when SPAD-based pulse sensing is combined with counting-based readout, scene-adaptive activity regulation, and modality-appropriate co-design, reducing bandwidth and data-movement costs while maintaining robust perception across motion and wide illumination ranges.

국문 초록 (Abstract)

현대 비전 시스템은 엄격한 전력 예산 하에서 동작하며, 전력 소모는 광 검출 자체뿐 아니라 readout, 아날로그-디지털 변환(ADC), 메모리 접근, 그리고 I/O 트래픽에 의해 점점 더 지배되는 경우가 많다. 공간 해상도와 다비트 표현 요구가 증가할수록, 기존 PPD 기반 CMOS 이미지 센서는 대역폭–전력 결합이 심화된다. 즉, 픽셀 수 증가와 더 풍부한 출력은 디지털화된 데이터량과 데이터 이동을 증가시키는 반면, mixed-signal 경로의 헤드룸 및 노이즈 제약은 전압 스케일링을 제한한다. 또한 넓은 조도 범위의 장면에서는 센싱의 본질적 트레이드오프가 드러난다. 저조도에서는(일부 구간에서는 노출 시간을 늘리더라도) 노이즈 한계로 신호 획득이 제한될 수 있고, 밝은 영역에서는 full-well capacity(FWC)에 의해 포화가 결정된다. 이로 인해 강건한 고다이내믹레인지(HDR) 이미징이 필수적이지만, 추가적인 전력 비용을 수반할 수 있다.
이러한 관점에서 본 학위논문은 SPAD 중심 프론트엔드를 공유하는 세 가지 센서 아키텍처를 제시하고, 저전력 동작을 위한 설계 경로를 공동으로 보여준다. 첫째, 실제 모션 및 진동 환경에서 중복 이벤트 트래픽을 억제하기 위한 all-digital 동기식 이벤트 비전 센서(EVS)를 제시한다. 200×128 SPAD 어레이는 픽셀 내 카운팅과 디지털 제어를 이용해 multi-event 생성을 구현하며, 4.3 mW에서 68.42 Meps를 달성한다. 이벤트/통계 기반(regulation) 기법(EDTC, VEN, AFRC)은 장면 동역학에 맞춰 이벤트 생성을 적응적으로 조절하여, 대표적인 진동, 균일 조도, 모션 시나리오에서 픽셀 어레이 전력을 각각 55.66%, 67.25%, 21.7% 절감한다.
둘째, 매크로 픽셀 수준에서 불필요한 픽셀 활동을 억제하고 이진 도메인 연산을 활용함으로써 에너지-비례(energy-proportional) 동작을 강화하는 in-sensor-processing EVS를 제안한다. 2×2 매크로 픽셀은 포화, 시간적 중복, 공간적 중복 상황에서 픽셀을 선택적으로 비활성화하는 세 가지 장면 적응형 전력 절감 기법(SAT-PS, T-PS, S-PS)을 도입하며, 복잡한 장면에서 최대 51.4%의 픽셀 어레이 전력 절감을 달성한다. 또한 3층 하이브리드 SNN–BNN 엔진이 이진 이벤트 프레임으로부터 OOI(object-of-interest) 검출을 수행한다. 온칩 OOI 블록은 IR-drop에 따른 마진 감소로 100 MHz 목표에 안정적으로 도달하지 못했으나, FPGA 검증을 통해 Dice score 0.7452로 기능적 정확성을 확인하였다.
셋째, 절대 강도 정보와 포토리얼한 영상이 필요한 응용에서 이벤트 센싱을 보완하기 위해, HDR CMOS 이미지 센서(CIS)를 제시한다. 528×264 SPAD–PPD 하이브리드 픽셀 어레이는 photon counting과 전하 적분(charge integration)을 결합하여, 6.25 mW에서 109 dB를 초과하는 HDR을 달성하며, 단일 시야 내에서 밝은 물체와 어두운 물체가 공존하는 장면에서도 강건한 이미징을 제공한다.
종합하면, 본 학위논문은 SPAD 기반 펄스 센싱을 카운팅 기반 readout, 장면 적응형 활동(regulation) 제어, 그리고 모달리티에 적합한 공동 설계와 결합할 때 저전력 비전이 가능함을 보인다. 이를 통해 대역폭 및 데이터 이동 비용을 줄이면서도, 모션과 넓은 조도 범위에서 강건한 인지를 유지할 수 있음을 제시한다.

목차 (Table of Contents)

• 1. Introduction 1
• 1.1 Background and Motivation: Limits in PPD-Based CMOS Image Sensors 1
• 1.2 SPAD-Based Photon-Counting and Readout Architectures 3
• 1.3 SPAD-Based Event Vision for Bandwidth-Efficient and Low-Power Perception 5
• 1.4 Complementary Intensity Imaging for Low-Power SPAD-Based Vision 8
• 2 Fundamentals of SPAD-Based Vision Sensors 11
• 2.1 Architectures of Analog Asynchronous and Digital Synchronous EVS 11
• 2.1.1 Analog-based Asynchronous EVSs 11
• 2.1.2 Digital-based Synchronous EVS 13
• 2.2 Fundamentals of Conventional CIS 15
• 2.2.1 4T PPD pixel architecture and basic operation 16
• 2.2.2 Column-parallel conversion and readout 16
• 2.3 Photodetector device structures 16
• 2.3.1 SPAD Device Structure 17
• 2.3.2 PPD Device Structure 18
• 2.4 Front-End / Readout Circuits 21
• 2.4.1 SPAD AFE 21
• A Passive-Quench Front-End and Operating States 21
• B Quenching Dynamics 22
• C Classification of Quench and Recharge Circuits 23
• 2.4.2 PPD AFE 24
• 2.5 Neural-Network Models 26
• 3 All-Digital Event-Based Vision Sensor With Multi-Event Generation for Motion/Vibration-Adaptive Detection 28
• 3.1 Introduction 28
• 3.2 Sensor Architecture 35
• 3.2.1 SPAD-Based Digital Pixel 37
• 3.2.2 Multi-Event Generation 39
• 3.3 Multi-Event Image Processing 41
• 3.3.1 ED TH Control 43
• 3.3.2 VEN Filtering 44
• 3.3.3 Adaptive Frame-Rate Control 47
• 3.4 Experimental Results 50
• 3.5 Conclusion 63
• 4 All-Digital Event-Based Vision Sensor with Adaptive Power-Saving Pixels and Three-Layer Neural Network for Object Detection 64
• 4.1 Introduction 64
• 4.2 Sensor Architecture 68
• 4.2.1 Three Scene-Adaptive Power-Saving Schemes 70
• 4.2.2 3-Layer Hybrid SNN-BNN Object-Detection Block 77
• 4.2.3 Dataset-Based Modeling of EVS and Power-Saving Schemes 82
• 4.3 Experimental Results 82
• 4.3.1 Dataset-Based Power-Saving Simulation 84
• 4.3.2 Power-Saving Schemes in a Rotating-Wheel Scene 88
• 4.3.3 Composite Scene with All Three Power-Saving Schemes 89
• 4.3.4 Verification of the Object-Detection Engine 93
• 4.3.5 Composite Scene with All Three Power-Saving Schemes 93
• 4.3.6 Performance summary and comparison with state-of-the-art sensors 94
• 4.4 Conclusion 96
• 5 A 6.25-mW Retina-mimetic CMOS Image Sensor with SPAD-PPD Hybrid Pixel Array for HDR Imaging 99
• 5.1 Introduction 99
• 5.2 SPAD–PPD Hybrid Sensor Architecture and Hybrid Pixel 100
• 5.3 SPAD-Based Operation Modes for Wide Dynamic Range Imaging 102
• 5.3.1 Multi-bit Analog Photon Counting (MAPC) 103
• 5.3.2 Single-Event Digital Photon Counting (SDPC) 106
• 5.3.3 Charge Accumulation (CA) 107
• 5.4 Column-Parallel Time-Domain ADC with Low-Power Comparator 108
• 5.5 Imaging Modes of the Hybrid Pixel 111
• 5.6 Measurement Results 112
• 6 Conclusion 117
• References 121
• Korean Abstract 127