Wide dynamic range imaging using flicker removal and low light enhancement

국문 초록 (Abstract)

본 논문에서는 다중 노출 영상을 이용한 다이나믹 레인지 확장 기법을 제안 한다. 기존의 다중 노출 영상을 이용하는 방식의 경우, 고속 촬영 영상의 한계로 인해 교류광원을 사용하는 실내와 저조도 환경에서는 적용하지 못한다는 단점을 가지고 있다.
제안된 방법은 이러한 문제를 해결하기 위하여, 다중 노출 영상간의 유사성을 이용하여 고속 촬영 영상에서의 플리커를 제거 하고, 저조도 환경의 경우에는 디지털 픽셀 비닝 기법을 이용한 고 노출 영상을 생성하는 방법을 제안 하였다.
그 결과 플리커의 경우 60% 이상의 감쇄 효과를 보였고, 저조도의 경우 기존의 ISO나 AFE 증폭의 경우보다 억제된 상태에서 포화되지 않는 저조도 영상을 얻을 수 있었다.
제안하는 방법은 기존의 다이나믹 레인지 확장 기법이 적용되어 있는 시스템에 추가적인 요구 사항 없이 적용이 가능하며, 새로이 방식을 적용할 경우에도 쉽게 구현이 가능하도록 자동노출, 자동백색조정 등을 포함하는 전체적인 시스템으로 구성 되어 있다.

다국어 초록 (Multilingual Abstract)

In this thesis, a wide dynamic range imaging method is proposed using multiple exposure images. Ordinary extended dynamic range methods using multiple exposure images have several limitations under indoor and low-light environments. High-speed exposure images of a CMOS image sensor (CIS) contain flicker artifacts under an alternating-current powered light source. In addition, the camera systems cannot divide the exposure time for multiple exposures under a low-light environment.
To solve such problem, this thesis proposes a flicker artifact removal method using the correlation between multiple exposure images based on an alternating current analysis and an image amplification method using context adaptive digital pixel binning.
As a result, the flicker artifacts are reduced by over 60% using the proposed method, and a brightness-amplified image has greater noise suppression than in an ordinary analog front-end gained image.
The proposed method does not require an additional hardware implementation such as frame memory, and can be easily applied to an
existing imaging system. In addition, an overall imaging method is proposed including auto-exposure and auto-white balancing. It can therefore be easily developed into a new image signal processing pipeline.

목차 (Table of Contents)

• ABSTRACT i
• TABLE OF CONTENTS iii
• LIST OF TABLES v
• LIST OF FIGURES vi
• 1. INTRODUCTION 1
• 1.1. LIMITATION OF CIS DR 2
• 1.2. EXTENDED DR BASED ON IMAGE BLENDING 4
• 1.3. THESIS CONTRIBUTIONS 7
• 2. THEORETICAL BACKGROUND 9
• 2.1. MULTIPLE LIGHT SOURCE ENVIRONMENT 10
• 2.2. LOW-LIGHT ENVIRONMENT 12
• 2.3. DYNAMIC RANGE OF CIS 14
• 3. FLICKER REMOVAL FOR WDR 17
• 3.1. FLICKER ARTIFACTS 17
• 3.2. FLICKER REMOVAL METHOD 23
• 3.3. EXPERIMENTAL RESULTS 27
• 4. DIGITAL PIXEL BINNING FOR WDR 35
• 4.1. PIXEL BINNING IN LOW-LIGHT ENVIRONMENT 36
• 4.2. ADAPTIVE DIGITAL PIXEL BINNING METHOD 39
• 4.3. EXPERIMENTAL RESULTS 45
• 5. WDR METHOD 55
• 5.1. PROPOSED WDR METHOD 55
• 5.2. EXPERIMENTAL RESULTS 59
• 6. APPLICATION TO WDR SYSTEM FOR ISP 79
• 6.1. WDR SYSTEM FOR CONVENTIONAL CIS 79
• 6.2. WDR SYSTEM FOR HDR CIS 83
• 7. CONCLUSION AND FUTURE RESEARCH 87
• REFERENCES 90
• 국문초록 104