객체 형태 기반 야간 영상 내 그림자 제거 = Object shape based shadow removal in night video sequences

국문 초록 (Abstract)

최근 생활방법, 시설보안, 교통안전, 재난재해 분야 목적의 CCTV 보급이 확대되고 있다. 그러나 기존 CCTV는 소수의 관제요원이 직접 모든 영상을 감시하기 때문에 채널수가 많은 경우 관제 효율이 떨어진다. 따라서 지능형 영상보안 시스템을 통한 침입, 월담, 불법 주정차, 화재등과 같은 이벤트를 자동으로 검출하여 효율적인 영상 관제센터의 운영이 가능하다. 일반적인 지능형 영상보안 시스템은 전경 및 객체 추출, 객체 추적, 이벤트 검출 순서로 진행된다. 전경 추출 과정은 영상 내 움직이는 객체 영역을 추출하는 과정으로, 입력 영상들로부터 배경을 생성한 후 현재 입력영상을 배경과 차분하여 전경을 추출한다. 그리고 추출된 전경으로부터 객체를 추출 및 추적한다. 이처럼 전경 추출은 지능형 영상보안 시스템의 기본이 되는 과정이기 때문에 전경 추출 성능은 이후 객체 추출 및 추적 단계에 크게 영향을 미친다. 특히 영상 내 심한 잡음, 그림자 등으로 인해 전경 추출 성능저하 문제가 발생한다. 특히 그림자 문제는 전경 내 객체간의 간섭의 가장 큰 원인이며 이는 전체적인 지능형 영상보안 시스템의 성능 저하를 일으킨다. 따라서 그림자 제거를 통한 전경 추출성능을 높일 필요가 있다. 일반적으로 그림자는 배경과 유사한 색상과 텍스쳐 성분을 갖는다. 따라서 기존의 그림자 제거 연구들은 입력영상과 배경간의 색상 차이 및 텍스쳐 성분 비교를 통해 그림자를 제거하였다. 그러나, 기존의 그림자 제거 알고리즘은 야간영상과 같이 적은 색상 정보 및 약한 텍스쳐 성분을 갖는 영상에 대해서는 낮은 그림자 제거 성능을 보인다.
야간 영상에서 그림자는 색상 및 텍스쳐 성분에 의한 특징보다 조명에 의한 형태적 특징이 강하게 나타난다. 따라서 본 논문에서는 객체 형태 기반 영상 내 그림자 제거 방법을 제안한다. 야간 영상 내 조명으로 인해 생성된 그림자를 제거함으로써 전경 내 객체간의 그림자로 인한 간섭문제를 해결하여 영상 내 객체 추출성능 개선하고 이는 이후 객체 추적 및 이벤트 검출과정의 성능을 향상 시킬 수 있다. 일반적인 방범용 CCTV 카메라는 영상의 가로방향이 지면의 방향과 평행하게 설치되기 때문에 객체는 영상의 세로방향으로 타원 형태를 이루고, 객체는 조명방향으로 타원 형태를 이룬다. 제안하는 그림자 제거 알고리즘은 전경 영상에서 준타원 객체들을 검출하고 각 준타원 객체의 방향을 계산한다. 이후 준타원 객체의 방향이 조명을 향하는 경우 그림자로 검출한다. 야간 영상 내에서는 그림자의 색상 및 텍스쳐 정보 보다 조명에 따른 그림자 형태 정보를 얻기 쉽기 때문에 객체 형태 기반 그림자 제거는 기존 색상 및 텍스쳐 성분 기반 그림자 제거 알고리즘 대비 야간 영상에서 높은 그림자 검출 성능을 갖는다.

목차 (Table of Contents)

• 감사의 글 iii
• 요 약 iv
• 목 차 vi
• 그림 목록 viii
• 표 목록 x
• 제 1 장 서론 1
• 1.1 연구 배경 및 필요성 1
• 1.2 논문의 구성 6
• 제 2 장 관련 연구 7
• 2.1 영상 내 색상 및 밝기 정보를 이용한 그림자 제거 8
• 2.2 영상 내 텍스쳐 성분 비교를 통한 그림자 제거 10
• 2.3 영상 내 색상 및 텍스쳐 성분 정보를 이용한 그림자 제거 12
• 2.4 그림자의 기하학적 특징을 이용한 그림자 제거 15
• 2.5 기존 그림자 제거 연구들의 한계 18
• 2.5.1 색상 모델 및 텍스쳐 기반 그림자 제거의 한계 19
• 2.5.2 그림자의 기하학적 특징을 이용한 그림자 제거의 한계 20
• 2.6 제안하는 그림자 제거 알고리즘 23
• 제 3 장 객체 형태 기반 야간 영상 내 그림자 제거 24
• 3.1 제안하는 그림자 제거 알고리즘 개요 24
• 3.2 영상 내 광원영역 설정 26
• 3.2.1 전경 내 준타원 객체 검출 29
• 3.2.2 전경 내 준타원 객체의 장축 직선 검출 34
• 3.2.3 타원의 객체 및 그림자 분류 36
• 제 4 장 실험 결과 및 성능 분석 37
• 4.1 실험 환경 38
• 4.2 제안한 알고리즘의 단계별 결과 39
• 4.2.1 광원 영역 설정 39
• 4.2.2 배경 및 전경 추출 40
• 4.2.3 이진 전경 내 준타원 객체 검출 41
• 4.2.4 준타원 객체의 방향에 따른 그림자 및 객체 검출 43
• 4.2.5 Ground Truth 생성 44
• 4.3 평가 방법 및 실험 결과 45
• 4.4 그림자 제거 결과 영상 분석 48
• 4.4.1 단일 객체에 대한 그림자 제거 48
• 4.4.2 다중 객체에 대한 그림자 제거 50
• 제 5 장 결론 53
• 참고 문헌 55
• SUMMARY 58