Wide dynamic range imaging using flicker removal and low light enhancement

유윤종 중앙대학교 첨단영상대학원 2015 국내박사

본 논문에서는 다중 노출 영상을 이용한 다이나믹 레인지 확장 기법을 제안 한다. 기존의 다중 노출 영상을 이용하는 방식의 경우, 고속 촬영 영상의 한계로 인해 교류광원을 사용하는 실내와 저조도 환경에서는 적용하지 못한다는 단점을 가지고 있다. 제안된 방법은 이러한 문제를 해결하기 위하여, 다중 노출 영상간의 유사성을 이용하여 고속 촬영 영상에서의 플리커를 제거 하고, 저조도 환경의 경우에는 디지털 픽셀 비닝 기법을 이용한 고 노출 영상을 생성하는 방법을 제안 하였다. 그 결과 플리커의 경우 60% 이상의 감쇄 효과를 보였고, 저조도의 경우 기존의 ISO나 AFE 증폭의 경우보다 억제된 상태에서 포화되지 않는 저조도 영상을 얻을 수 있었다. 제안하는 방법은 기존의 다이나믹 레인지 확장 기법이 적용되어 있는 시스템에 추가적인 요구 사항 없이 적용이 가능하며, 새로이 방식을 적용할 경우에도 쉽게 구현이 가능하도록 자동노출, 자동백색조정 등을 포함하는 전체적인 시스템으로 구성 되어 있다. In this thesis, a wide dynamic range imaging method is proposed using multiple exposure images. Ordinary extended dynamic range methods using multiple exposure images have several limitations under indoor and low-light environments. High-speed exposure images of a CMOS image sensor (CIS) contain flicker artifacts under an alternating-current powered light source. In addition, the camera systems cannot divide the exposure time for multiple exposures under a low-light environment. To solve such problem, this thesis proposes a flicker artifact removal method using the correlation between multiple exposure images based on an alternating current analysis and an image amplification method using context adaptive digital pixel binning. As a result, the flicker artifacts are reduced by over 60% using the proposed method, and a brightness-amplified image has greater noise suppression than in an ordinary analog front-end gained image. The proposed method does not require an additional hardware implementation such as frame memory, and can be easily applied to an existing imaging system. In addition, an overall imaging method is proposed including auto-exposure and auto-white balancing. It can therefore be easily developed into a new image signal processing pipeline.

지면의 기하학적 정보를 이용한 모델기반 발 자세 추적에 관한 연구

정다운 중앙대학교 첨단영상대학원 2013 국내박사

발의 자세 추적은 발이 가지는 형상과 복잡한 움직임 때문에 신체 부위들 중에서도 가장 어렵다. 발을 인터페이스로 포함하는 응용들은 초기에 발이 놓일 바닥의 압력만을 센싱하는 하드웨어들의 기능을 확장하는 대안으로 이미지 기반 기술을 사용했다. 카메라를 통해 취득된 영상에서 발을 바닥과 구별하고, 위치와 자세를 판별하여 이것을 발의 자세로 반영했다. 이미지 기반 기술은 구현 방법이 매우 간단해서, 연산 시간이 빠르고 하드웨어와 비교했을 때 설치 비용이 적다는 것이 가장 큰 이점이다. 이러한 이점은 모바일 같은 저사양 환경에서도 매우 유용하게 활용되어왔다. 본 논문에서는 기존의 모델 기반 사영 관계에 바닥 평면을 포함하는 새로운 기하 구조에서의 발 자세 추적을 제안한다. 일반적으로 발 자세 추적은 모델 기반의 자세 추정 기술을 포함한다. 모델 기반 기법에 따라 카메라의 시점은 영상 좌표와 3차원 모델의 포인트 사이의 사영 관계를 알 수 있는 가장 확실한 기하 정보로 제공된다. 그러나, 자기 가려짐은 정확한 자세 추정을 위해 해결되어야 하는 가장 중요한 문제다. 이러한 문제를 극복하기 위해 본 논문은 카메라와 지면 사이의 사영 관계를 이용해 발의 자세를 추정한다. 제안 방법은 두 개의 관절점들 (발목점과 발끝점)이 각각 yaw축과 roll축에 위치하는 모델을 사용했으며, 발의 자세는 모델의 yaw축의 회전으로 결정된다. 제안한 방법은 다음의 주요 과정을 포함한다. 먼저, 지면과 카메라 사이의 사영 관계는 평면 호모그래피를 사용해 교정하고, 지면 좌표계를 생성한다. 그리고 연속된 영상들의 밝기 변화에 기반하는 3차원 모션 추정 방법에 따라, 공간 좌표계에서 관절점들의 위치를 결정한다. 마지막으로, 사원수 회전 변환을 이용해 관절점들의 위치 값으로부터 발의 자세를 결정하는 파라미터를 산출한다. 실험 결과는 제안한 방법과 기존의 방법을 비교해 향상된 정확도를 검증한다. 또한, 제안한 방법이 의해 발의 자세가 연속 영상에서 자유롭게 추적됨을 보여준다. Foot pose tracking using image sequences is one of the most important parts compared with the other human body parts because the foot has many surfaces and engages in many complex movements. Motion tracking of foot pose has been mainly used for entertainment, sports clinic, intelligent vehicle, and other applications including a gait analysis. Gait analysis involves the measurement of kinematics, and is interested in estimating foot pose, foot angle and step length. These applications have evolved from early systems that recognized foot area by sensing the pressure of the foot on the ground to image-based techniques that can estimate foot pose without direct contact. This technique is easily implemented, has a slow time complexity, and requires low cost for establishment and maintenance in comparison with other hardware equipment. For this reason, image-based techniques are widely applied to limited resource systems, such as embedded or mobile systems using a single camera. This dissertation proposes a new approach to estimate foot pose based on projective relationship between a camera and the ground plane. Foot pose tracking is generally used in a model based pose estimation which uses projective relationship between observed images and 3-dimensional foot model. Under this model-based approach, the camera viewpoint provides reliable geometric information for analyzing the relationship between foot images and the corresponding 3-dimensional model. However, when self-occlusion occurs according to the foot movement, it decreases the validity of the projective relation. To overcome the problem of invalid correspondence for self-occlusion, our approach is used in models to locate joints, the ankle and the tiptoe points for the yaw and the roll-axis, respectively. Foot pose is determined by the yaw-axis rotation. Our method involves the following phases: First, the projective relationship between the ground plane and the camera is corrected by the homography and we then generate the coordinates of the ground plane which is referred for foot pose estimation. Next, position of joints is determined by the 3-dimensional motion estimation based on intensity gradients. We finally compute parameters which decide foot pose from position of joints by using the quaternion theory. Experimental results show sequential image errors between the proposed method and other approaches. We also demonstrate that our approach was more accurate than those of the conventional foot pose.

응시 상호작용을 이용한 증강현실 시스템에 관한 연구

이재영 중앙대학교 첨단영상대학원 2013 국내박사

This study examines the realization of wearable augmented reality system based on vision with gaze interaction. The augmented reality system based on vision is not the method using equipment such as a position tracker, a gyroscope, and GPS (Global Positioning System) etc. but the technology supposing the location and direction of a camera in real time based on two-dimensional images entered into a camera. The wearable computer system basically consists of a small size PC, an input device, and an output device. The output device for this study is HMD (Head Mounted Device). HMD is the most typically used device in the wearable computer system. In the augmented reality environment, the coordinate system virtually made is matched after calculating the coordinate system of real environment by using inputted information through the input device of camera and so on. If printing out this on HMD, the user experiences augmented reality environment by the compositeness of real world and virtual world. Most of the previous studies were progressed from the view using various devices by the hand for the user’s input. S. Feiner’s system consists of HMD, GPS, and a touch screen and so the user can check the information about the building through HMD while going around the campus in University. In this study, because the user controls the touch screen with both hands, the problem that the user cannot use one’s hand occurs. And also, as the user continuously controls it with hands and moves, wearability and mobility are also reduced. In other words, the act of the interaction using a device has a demerit of requiring the interaction between the attachment and the control of the device. For solving this problem, the method of not the interaction based on the device but the interaction based on the user’s gesture is being researched. The method based on the gesture has advantages that the equipment attaching to the user’s body can be reduced and users can immediately interact when they want. In V. Buchmann’s study, the hand is found in the camera scope which the user watches and the interactions of the move, choice, rotation etc. are realized by the hand’s specific pattern, the number of fingers, and the movement. However, there are problems which the body part cannot be used as the purpose except for the interaction and of kinetic constraints. To solve these problems, the study on the face part, especially the eyes is needed in the wearable computer system. If employing the system using pupils, these constraints on the body part disappear. The interaction by the eyes can make both hands free. The studies on the eyes like this are being consistently progressed. In Z. Lieberman’s study, in order to make the system which they can use their computer and help their lives for patients having physical defects, the study using the movement and blinking of the eyes was performed. T.E. Hutchinson’s study is conducting the research on the eyes in the various interfaces on the strength of the development of HCI (Human Computer Interaction). These studies are mainly the works tracking the user’s eyes by attaching to the monitor or obtaining the information of the eyes by attaching to people’s glasses who can hardly move. The studies using by obtaining the information of this pupils are now beginning. Specially, the study on the interaction of the pupils by the attachment to HMD is being significantly investigated in the wearable computer system. As the wearable computer equipment gets lighter and smaller with the development of technology, because the ideal study is by method using the pupils in performing the studies on the simple and convenient interaction. By the development of these studies, the integration of the camera obtaining images and HMD is being tried. The researches about this are Tanriverdi’s and susan’s. In their researches, a target is gazed by using the information of the pupils and then the methods choosing the target through the accumulation of the gaze time and the blink movement of one eye are examined and the blink can be conveniently used, but the fatal and important problems that the user cannot see by closing eyes and at the moment of blinking, the pupils cannot be found occur. Moreover, in the study through gaze duration time, the problem of the judgment about the gaze of target for the choice or the natural gaze by simply moving occurs. This is called as Midas touch problem and the multiple choice work using the gaze duration and the blink is conducted for the solution. The research on half-blink movement, which people partly blink, is performed as the method for solving the problem of blink movement. The most important problem for the realization of the interaction using the pupil tracking based on HMD is the detection and the tracking of the pupils. This is because the detection and the movement of the pupils determine all results. The detection and the tracking methods of the pupils are employed in the various fields and the relevant studies have been conducted. In the wearable computer system, the size became small and the performance was improved by the development of the hardware part, but the method of the existing environment is still being used. In the existing environment, the devices such as keyboard, mouse, keypad, and touch interface etc. require for the input. Here users wear these input devices on their body parts and this brings about many constraints by involving the limitation of hands movement or the awkward movement. Furthermore, the use of the input device does not allow users freely use their hands. This study realized the effective gaze interaction system by using the movement of the pupils, the gaze duration time, and the half-blink movement based on the interaction method applying the information of the user’s pupils in the wearable computer system. The composition of this thesis is as follows. Chapter 1 is an introduction. Chapter 2 is the explanation about the general camera model, projective geometry, projective matrix estimation methods, camera calibration technique, HMD, the detection and the tracking methods using the eyes. Chapter 3 treats the system configuration and explanation for the gaze interaction, the system theory and realization purposed for half-blink movement of the eyes based on the explained theory. Chapter 4 assesses the performance of the system purposed in Chapter 3 and treats application plans for the utilization and Chapter 5 draws a conclusion. 본 논문에서는 응시 상호작용(Gaze Interaction)을 이용한 시각기반의 착용형 증강현실(Augmented Reality) 시스템 구현에 관한 내용을 논한다. 시각기반의 증강현실 시스템은 위치추적장치(position tracker), 자이로스코프(gyroscope), 위성항법장치(GPS; Global Positioning System) 등의 장치를 부가적으로 사용하는 방법이 아닌 카메라로 입력되는 2차원 영상을 기반으로 카메라의 위치, 방향을 실시간으로 추정하는 기술이다. 착용형 컴퓨터 시스템은 기본적으로 소형PC, 입력장치 그리고 출력장치로 이루어져 있다. 연구에서 사용되는 출력장치는 HMD(Head Mounted Device)를 사용한다. HMD는 착용형 컴퓨터 시스템에서 가장 대표적으로 사용되는 장치이다. 증강현실 환경에서는 카메라 등의 입력장치를 통한 입력정보를 이용 실제 환경의 좌표계를 연산한 후에 가상으로 만들어진 좌표계를 정합하게 된다. 이를 출력장치인 HMD에 출력하면 사용자는 실세계와 가상세계의 합성으로 증강현실 환경을 경험하게 된다. 지난 연구의 대부분은 사용자의 입력을 손을 이용한 다양한 장치를 활용하는 연구가 진행되었다. S. Feiner의 시스템에서는 HMD, GPS, 터치스크린으로 구성되어서 사용자가 대학내 캠퍼스를 다니면서 건물에 대한 정보를 HMD를 통하여 확인할 수 있다. 이 연구에서는 사용자가 터치스크린을 두 손을 이용하여 조작하기 때문에 손을 사용하지 못하게 되는 문제가 발생한다. 또한 계속 손으로 조작 하면서 이동을 하게 되면서 착용성과 이동성도 떨어지게 된다. 즉, 장치를 이용한 상호작용을 하는 행위는 장치의 부착과 장치를 제어하는 상호작용이 필요하다는 단점이 있다. 이러한 문제를 해결하는 과정에서 장치 기반의 상호작용이 아닌 사용자의 제스쳐 기반의 상호작용 방법이 연구되고 있다. 제스처 기반의 방법은 사용자가 몸에 부착하게 되는 장비를 줄일 수 있고 사용자가 원할 때 즉각적으로 상호작용을 할 수 있는 장점이 있다. V. Buchmann의 연구를 보면 사용자가 바라보는 카메라 영역 안에서 손을 찾아내고 손의 특정 패턴 손가락의 개수와 움직임에 따라서 이동과 선택, 회전 등의 상호작용을 구현하였다. 하지만 신체 부위를 상호작용 외의 용도로 사용할 수 없고, 활동에 제약을 가지게 되는 문제가 있다. 이러한 문제를 해결하기 위해서 착용형 컴퓨터 시스템에서는 얼굴부위 특히 눈에 대한 연구가 필요하다. 눈동자를 이용한 시스템을 사용하게 되면 이러한 신체 부위에 대한 제약이 없어진다. 손으로 하던 상호작용을 눈으로 하면 양 손이 자유롭게 사용할 수 있다는 것이다. 이러한 눈을 이용한 연구는 지속적으로 진행되고 있다. Z. Lieberman의 연구에서는 사지가 불편한 환자를 대상으로 컴퓨터를 사용하고 생활에 도움을 줄 수 있는 시스템을 구현하기 위해서 눈의 움직임과 깜박임을 이용하는 연구가 진행 되었다. T.E. Hutchinson 의 연구는 HCI(Human Computer Interaction)의 발전에 힘입어서 다양한 인터페이스의 연구에서 눈을 이용한 연구를 진행하고 있다. 이러한 연구들은 모니터에 장착되어서 사용자의 눈을 추적한다 던지 움직이기 힘든 환자의 안경에 장착해 눈의 정보를 취득하는 작업이 주를 이루었다. 착용형 컴퓨터 시스템에서 이러한 눈동자의 정보를 취득하여 활용하는 연구는 이제 시작되고 진행되고 있는 단계이다. 특히 HMD에 장착되어서 눈동자의 상호작용하는 연구는 착용형 컴퓨터 시스템에서 더욱 중요시 되면서 연구되고 있다. 기술의 발전에 따른 착용형 컴퓨터 장비들이 경량화되고 소형화되면서 간단하고 편리하게 상호작용 하는 연구가 진행되는데 이상적인 연구가 눈동자를 이용하는 방법이기 때문이다. 이러한 연구의 발전으로 영상을 취득하는 카메라가 HMD와 일체화를 시도하고 있다. 이와 관련된 연구로는 Tanriverdi와 susan의 연구를 예로 들 수 있는데 이들 연구들에서는 눈동자의 정보를 이용하여 원하는 대상을 응시하고 응시 시간의 누적을 통하여 원하는 대상을 선택하는 방법과 한 눈의 깜박임 동작을 통해 선택하는 작업으로 진행하게 되는데 깜박임 동작은 편리하게 사용될 수 있지만 사용자가 눈을 감으면서 앞을 보지 못하게 되는 치명적인 문제가 생기게 되고, 깜박이는 순간에는 눈동자를 찾지 못하게 되는 중요한 문제가 생기게 된다. 또한 응시 지속시간을 통한 연구는 선택을 위해 원하는 대상을 바라보는지 아니면 단순히 이동하면서 바라보게 되는 것 인지에 대한 판단의 문제가 생기게 된다. 이를 마이더스 터치 문제라고 하는데 이를 해결하기 위해서 응시 지속과 깜박임을 이용한 다중 선택 작업을 수행한다. 깜박인 동작의 문제에 대해서 해결 할 수 있는 방법으로 눈을 반만 깜박이는 반 깜박임 동작에 관한 연구를 진행한다. HMD 기반의 눈동자 추적을 이용한 상호작용 구현을 위해서 가장 중요한 문제는 눈동자의 검출과 추적이다. 이는 눈동자의 검출과 움직임이 모든 결과를 결정하기 때문이다. 이러한 눈동자의 검출 및 추적 방법은 여러 분야에서 활용되고 그에 따른 연구가 진행되어 왔다. 착용형 컴퓨터 시스템에서는 하드웨어적인 발전으로 크기가 작아지고 성능이 향상되었지만, 여전히 기존 환경의 방법을 사용하고 있다. 기존 환경에서는 입력을 위해서 키보드, 마우스, 키패드, 터치인터페이스 등의 장치를 필요로 한다. 이는 사용자가 신체부위에 이러한 입력장치를 착용하게 되는데 이는 손의 움직임 제한이나 부자연스러운 동작을 수반하게 되므로 많은 제약을 가져오게 된다. 또한 입력장치의 사용은 사용자에게 손의 자유로움을 허용하지 않는다. 본 논문에서는 착용형 컴퓨터 시스템에서 사용자의 눈동자 정보를 활용한 상호작용 방법을 기반으로 눈동자의 움직임, 응시 지속시간, 반 깜박임 동작을 사용하여 효율적인 응시 상호작용 시스템을 구현하였다. 본 논문의 구성은 1장 서론에 이어, 2장에서는 일반적인 카메라 모델 및 사영기하에 대하여 설명하고 카메라 사영 행렬 추정 방법 및 카메라 교정 기법에 대하여 설명한다. 또한 HMD에 대한 설명과 눈을 이용한 검출 및 추적 기법에 대하여 설명된다. 3장에서는 설명된 이론을 바탕으로 응시 상호작용을 위한 시스템 구성과 설명, 눈의 반 깜박임 동작에 대한 제안된 시스템 이론 및 구현에 관해서 논한다. 4장에서는 3장에서 제안된 시스템의 성능을 평가하고 활용을 위한 응용방안에 대하여 논하며, 5장에서 결론을 맺는다.

등방성 AM-FM 하이브리드 디지털 하프토닝에 관한 연구

조청운 중앙대학교 첨단영상대학원 2017 국내박사

Digital halftoning is very important technology in the printing industries. Diverse researches and patents are produced for every year and very large amount of printing devices and monochrome display devices such as e-ink are used. Objective of our research is developing new AM-FM digital halftoning technique which is recent major research area of digital halftoning technology. First one is solving anisotropy of halftoing pattern produced in error diffusion method. Anisotropy of error diffusion is due to scanning method we will propose new solution method. And we will extend error diffusion method which is limited to one pixel processing to can handle multiple pixels. Second one is to develop digital halftoning method which is based on reaction-diffusion model. The reaction-diffusion model is developed mathematical model to explain about various animal skin texture pattern. In this research we take notice of pattern produced by this model shows continuous transition from spot pattern to stripe pattern and can control the size of produced dot pattern freely, this properties is useful as a AM-FM hybrid technique. In this dissertation we proposed two novel AM-FM hybrid techniques which is new area in digital halftoning technology. First one we proposed is error diffusion method which can generate random processing order. This randomly changing direction method is general technique is applicable not only to grouped pixel but also to non-square pixels. In second method we showed pattern generated by reaction-diffusion model can be applied to digital halftoning results. This method can control size of dot and distance between dots and unique pattern of continuous transition from spot to stripe which is tone-representing method differentiated from stippling method. In this thesis we proposed tow novel AM-FM hybrid digital halftoning techniques. One method applicable to error diffusion resolve anisotropy problem and another method based on reaction-diffusion model is free from anisotropy due to iterative process. All two methods can generate variable size of dots and we showed new techniques is possible in digital halftoning area. 디지털 하프토닝은 인쇄분야에 있어 매우 중요한 기술이다. 매년 매우 많은 연구 와 특허나 나오고 있으며 다양한 인쇄 장치와 e-ink와 같은 단색 디스플레이 장치 가 사용되고 있다. 본 연구의 목적은 최근의 디지털 하프토닝 방법의 주요 연구 분야인 AM-FM 하 이브리드 기법에 있어 새로운 기법을 개발하는 데 있다. 첫 번째는 오차 확산 하 프토닝 방법에서 발생하는 하프토닝 패턴의 비대칭성을 해결하고자 한다. 오차 확 산 방법에서의 비대칭성은 스캐닝 방법에서 기인한 것으로 이에 대한 해결 방안을 제시하고자 한다. 또한 한 픽셀 단위 위주로 되어 있는 오차 확산 방법을 여러 픽 셀 단위에 대해서도 적용할 수 있도록 확장하고자 한다. 두 번째는 반응-확산 모 델을 이용한 하프토닝 방법을 개발하고자 한다. 반응-확산 모델은 다양한 동물의 피부 무늬에 대한 형성을 설명하기 위해 개발된 수학적 모델이다. 본 연구에서는 이러한 모델에 의해 만들어지는 패턴이 점무늬에서 줄무늬까지 연속적으로 변하는 특성과 연속적인 2차원 공간에서 정의되기 때문에 크기의 제어가 자유롭다는 점 때문에 AM-FM 하이브리드 기법으로 유용할 것이라는 점에 착안했다. 본 논문에서는 디지털 하프토닝 기술에 있어 비교적 새로운 분야인 AM-FM 하 이브리드 기법에 대한 새로운 두 가지 기법을 제시한다. 첫 번째 방법은 오차 확 산 방법에 있어 랜덤한 처리순서를 생성할 수 있는 방법을 제안하였다. 임의의 방 향으로 처리순서를 생성하는 방법은 여러 개의 픽셀이 그룹된 경우뿐만 아니라 비 사각형 픽셀에도 적용가능한 범용적인 방법이다. 따라서 단일 픽셀에만 처리되던오차 확산 방법을 1보다 큰 AM에 적용할 수 있게 해준다. 또한 방향이 랜덤하게 바뀜으로 해서 하프토닝 패턴의 비대칭성을 해결할 수 있게 되었다. 두 번째 방법 은 반응-확산 모델에 의해서 생성되는 패턴을 이용하여 하프토닝의 결과를 만들 수 있음을 보였다. 점의 크기와 점의 거리를 제어하여 패턴을 만들 수 있으며 중 간 밝기구간에서는 점 무늬가 줄 무늬로 자연스럽게 전환되어 표현되어 점묘법과 는 다른 톤 표현 방법을 보여준다. 본 연구에서는 새로운 AM-FM 하이브리드 디지털 하프토닝 기법으로써 두 가지 방법을 제시하였다. 오차 확산에 적용할 수 있는 방법은 오차 확산 방법에서의 순 차 처리에 따른 비대칭 패턴 문제를 해결하였으며, 반응-확산 모델에 의한 방법은 반복법인 특성으로 인해 비대칭성이 나타나지 않게 된다. 두 방법 모두 다양한 크 기의 도트 패턴에 사용할 수 있으며 기존의 방법과 다른 새로운 방법으로 디지털 하프토닝을 할 수 있는 가능성을 보였다.

에지 방향성 코렐로그램을 이용한 계층 영상 검색

유은경 중앙대학교 첨단영상대학원 2009 국내석사

멀티미디어 기술의 발전으로 영상 데이터의 수가 증가하였다. 데이터의 양이 증가하면서 원하는 영상을 검색하는 것이 어려워지고 많은 시간이 소요되었다. 이러한 단점들을 해결하고자 영상 자체의 내용을 이용하여 효율적으로 검색 할 수 있는 방법이 연구되었다. 본 논문에서는 영상에서 에지를 추출하여 에지의 강도에 따른 2단계 계층 검색 방법을 제안하였다. 계층 검색을 함으로써 생기는 시간의 소모를 줄이기 위하여 피라미드 영상을 생성한다. 첫 번째 검색 단계에서는 1/2⁴크기 (96×64)의 영상을 이용하고, 두 번째 검색에서는 1/2⁴크기 (192×128)의 영상을 이용한다. 첫 번째 검색 단계에서는 강한 에지(g>128) 를 추출하여 방향을 계산하고 방향 성분을 이용하여 오토 코렐로그램을 계산한다. 특징벡터들로 유사도를 계산하여 1000장 중에 300장의 영상을 걸러낸다. 두 번째 검색 단계에서는 약한 에지 (64<g<192)를 추출하여 첫 번째 검색 단계와 같은 방법으로 특징벡터를 얻고 유사도를 계산하여 300장의 영상 중에서 100장의 영상을 출력한다. 제안한 방법은 정확도와 재현율을 이용하여 다른 알고리즘과의 비교를 통하여 검증하였다. As the number of image data has increased due to development of multimedia technology, it has been difficult and needs a lot of time to retrieve the image data. To solve the fault, an effective research which can retrieve images using their contents has been studied. In this paper, we propose a two step method through hierarchical image retrieval using edge amplitudes. We make pyramid images in order to reduce time from hierarchical image retrieval and use one over sixteen of the image in the first step and one over one over four in the second step. In the first retrieval step, we calculate auto correlogram using edge direction which is detected from strong edges (g>128). And, we calculate similarity from feature vectors and extract 300 images from 1000 images. In the second retrieval step, weak edges (64<g<192) are detected, and similarity is calculated from the feature vectors as the first step. In order to evaluate the performance, we have compared with other algorithms using precision and recall.

웨이블릿 변환을 이용한 영상분석 및 영상복원의 물결현상 제거방법

윤진영 중앙대학교 첨단영상대학원 2009 국내석사

디지털 영상이 멀티미디어의 핵심 매체로 자리를 잡게 되면서 영상의 열화요인을 제거하여 원래의 품질에 가깝게 개선하는 영상복원기술의 활용분야가 더욱 늘어나고 있다. 그러나 영상복원을 수행할 때 영상의 열화(degradation)가 선형공간불변이라고 가정하기 때문에 주파수영역에서 영상복원을 수행하면 그 결과 에지와 같이 밝기값의 변화가 큰 영역 주변에서 물결현상(ringing)이 나타나는 단점이 있다. 본 논문은 물결현상 제거를 위해 새로운 적응적 후처리 필터링 방법을 제안한다. 제안하는 알고리즘은 웨이블릿 변환을 사용하여 영상을 해석하고 영역을 나누어 에지영역과 물결현상영역을 검출한 후 이를 쌍방향필터(bilateral filter)를 이용해 제거한다. 실험결과를 통해서 제안하는 방법이 효과적으로 물결현상을 제거하는 동시에 중요한 에지를 보존할 수 있음을 확인할 수 있다. Digital image find own level core media in multimedia as image restoration technology fields, which remove degradation factor for image enhancement, have been growing. Linear space-invariant image restoration algorithms often introduce ringing artifacts near sharp intensity transition areas. This paper presents a new adaptive post-filtering algorithm for reducing ringing artifact. The proposed method extracts an edge map of the image using the wavelet transform. Based on the edge information, ringing artifacts are detected, and removed by an adaptive bilateral filter. Experimental results show that the proposed algorithm can efficiently remove ringing artifacts with edge preservation.

파노라마 영상 기반의 객체 추적을 위한 특징점을 이용한 프레임 예측

임재현 중앙대학교 첨단영상대학원 2009 국내석사

본 논문은 파노라마 배경에서 현재 PTZ 카메라를 통해 입력된 영상과 가장 유사도가 높은 프레임을 예측하여 객체를 지속적으로 추적하는 알고리듬을 제안한다. 보다 구체적으로, 해리스 코너 추출 방법을 이용하여 파노라마 배경과 현재 영상의 특징점을 추출한다. 특징점 비교는 4개의 소영역에 존재하는 특징점을 이용하여 수행되며, 이를 통해 유사도가 가장 높은 프레임이 예측되면, 객체의 존재 여부를 판단하기 위해 영상 내 전체 특징점을 비교한다. 만약 특징점의 정합이 기준치 이하로 이뤄진다면, 객체의 출현으로 인한 특징점 변화가 생긴 것으로 간주하여, 예측된 프레임에서 현재 입력 프레임을 차분함으로써 객체를 추출하고, 지속적으로 추적을 수행한다. In this paper, we proposed the algorithm for estimation of similarity frame using pan-tilt-zoom camera. We make the panoramic background, and extract the feature points using harris corner detection. Also we extract the feature points of input images. We can then compare the feature points between panoramic background and input image. If we check the existing the object, we compare every features in frame, otherwise, if we estimate the similarity frame, we compare features in 4 sub parts. After estimating, we can extract object from the background, and track the object continuously. So the proposed algorithm is able to use at wide area to detect and track the object.

인체 움직임 분석과 추적을 통한 상호작용 응용에 관한 연구

박왕배 중앙대학교 첨단영상대학원 2009 국내석사

현재 스포트라이트 무대조명 기술은 수동적인 제어를 통한 운용과 사전에 결정된 절차에 따라 운용되고 있다. 최근 Marie Sester등은 조명을 자유자재로 제어하기 위해 카메라가 바닥을 향하도록 천장에 설치하고 움직임이 추적된 사람을 중심으로 조명을 자동으로 작동시키는 작품을 전시하기도 했다. 본 논문에서는 사람이 직접 지시하는 방향으로 조명을 제어하는 시스템을 개발하기 위해 인체 움직임 분석 기술을 사용하여 지시 동작을 추정하는 알고리듬을 제안한다. 알고리듬은 사람의 위치를 찾아 보행 여부를 판단하고 손의 동작을 분석하는 단계로 각각 진행한다. 지정된 위치에 조명을 비추기 위해 카메라를 통해 입력된 영상으로부터 움직임이 있는 영역을 검출한다. 배경 차분(Background Subtraction) 방법을 사용하여 실시간으로 관심 객체를 추출한다. 환경 변화에 의해 발생된 잡음은 모폴로지로 제거하고, 칼만 필터 알고리듬으로 관심 객체의 움직임을 추적한다. 보행 여부의 판단은 주성분 분석(Principal Component Analysis : PCA)과 지정된 시간 간격으로 결정되며, 이 때 사람이 정지 상태면, 머리를 기준으로 손에 이르는 벡터 관계를 계산하여 사용자의 지시 방향을 최종적으로 결정한다. 마지막으로, 다각도로 영상을 촬영하여 각각의 지시하는 방향의 정확도를 실험함으로써 제안하는 알고리듬을 검증했다. Technologies for a spotlight and stage lighting are operated by manual control and procedures determined in advance. M. Sester et al. proposed an approach to control the spotlight ultimately. The camera is installed in a ceiling toward a floor, and the spotlight is focus on the tracked person automatically. In this paper, we propose an efficient algorithm to develop the system controlling the light by analyzing the movement of user. The proposed algorithm is progressed estimating the position of user, recognizing a user movement and tracking movement of user hands respectively. First, in order to light up the specified location, we detect the moving objects from the input frames. We extract the interesting objects in real time using background subtraction. Performing morphologies improves on the removal of noise from the environmental changes. Next, we track the interesting objects using Kalman filter. The judgment of movement is determined by Principal Component Analysis and a designated time period. When user is motionless, we estimate the user’s indication by estimation in relation to Vector from the head to the hand. Through experiments using the multiple views, we confirm that the proposed algorithm can estimate the movement and indication of user more efficiently.

디지털 자동초점을 위한 등방성 점확산함수 추정

김동균 中央大學校 尖端映像大學院 2009 국내석사

본 논문은 디지털 자동초점을 위한 등방성 점확산함수 추정에 관한 새로운 방법을 제안한다. 제안하는 알고리듬은 영상의 윤곽에서 방향을 판단하고 방향에 따라 윤곽 프로파일을 수집한다. 수집한 윤곽 프로파일을 평균하여 계단응답을 만들고 등방성 점확산함수의 특징을 이용하여 점확산함수를 추정한다. 실험을 통해 열화된 영상에서 제안하는 알고리듬으로 점확산함수를 추정하는 과정을 보이고 정확성을 증명한다. This paper presents a circularly symmetric point spread function (PSF) estimation technique for a fully digital auto-focusing system. The proposed algorithm provides realistic, unsupervised PSF estimation by establishing the relationship between one-dimensional ideal step response and two-dimensional circularly symmetric PSF.