DSP & FPGA 기반의 적외선 영상에서 하드웨어 뉴럴 네트워크를 이용한 실시간 고정패턴잡음 제어

박장한(Changhan Park),한정수(Jungsoo Han),천승우(Seungwoo Chun) 대한전자공학회 2009 電子工學會論文誌-CI (Computer and Information) Vol.46 No.4

본 논문은 냉각형 적외선(infrared focal plane array; IRFPA) 영상시스템에서 하드웨어 뉴럴 네트워크를 이용한 실시간 고정패턴잡음 제어를 위해 고속 DSP & FPGA 기반의 H/W 설계 방법을 제안한다. 고정패턴잡음은 검출기의 불균일 보정처리 후에도 관측영상의 온도분포 변화에 의해 발생한다. 이것은 열상 화질의 저하뿐만 아니라 다른 응용에도 문제되는 중요한 요소이다. 냉각형 적외선 영상시스템의 신호처리구조는 저온, 상온, 고온의 3개 테이블을 기준으로 이득(gain) 값과 편차(offset)값을 연산한다. 제안된 방법은 3개 편차 테이블에서 각각 교차되는 영역을 세분화하여 가상의 테이블을 만들고, 입력 영상의 구분된 3개 영역에서 영상의 평균값으로 하드웨어 뉴럴 네트워크의 가중치 값을 조정하여 최적의 온도구간을 선정한다. 이와 같은 방법은 영상의 평균값으로부터 저온, 상온, 혹은 고온의 이득, 편차 테이블을 연산하고, 운용 중에 지속적으로 편차 보상을 적용하지 않아도 된다. 따라서 제안된 방법은 실시간 처리로 관측영상의 온도분포 변화에 의해 발생하는 고정패턴잡음을 제어하여 영상화질의 개선된 결과를 보였다. In this paper, we propose design of hardware based on a high speed digital signal processor (DSP) and a field programmable gate array (FPGA) for real-time suppression of fixed pattern noise (FPN) using hardware neural networks (HNN) in cooled infrared focal plane array (IRFPA) imaging system. FPN appears a limited operation by temperature in observable images which applies to non-uniformity correction for infrared detector. These have very important problems because it happen serious problem for other applications as well as degradation for image quality in our system. Signal processing architecture for our system operates reference gain and offset values using three tables for low, normal, and high temperatures. Proposed method creates virtual tables to separate for overlapping region in three offset tables. We also choose an optimum term of temperature which controls weighted values of HNN using mean values of pixels in three regions. This operates gain and offset tables for low, normal, and high temperatures from mean values of pixels and it recursively don’t have to do an offset compensation in operation of our system. Based on experimental results, proposed method showed improved quality of image which suppressed FPN by change of temperature distribution from an observational image in real-time system.

이종센서 영상탐색기 시험평가를 위한 적외선 표적원 개발

박장한(Changhan Park),송성찬(Sungchan Song),정상원(Sangwoon Jung) 한국전자파학회 2018 한국전자파학회논문지 Vol.29 No.11

본 논문에서는 대지, 대공 표적을 포착․추적할 수 있는 적외선 및 가시광 센서가 탑재된 이종센서 영상탐색기의 종합성능시험을 위해 구축한 HILS(Hardware In-the-Loop Simulation) 시스템 내에 적외선 표적원을 제안한다. 이 통합시스템은 다양한 종류의 표적과 시나리오 기반 이동 표적의 궤적을 모사하기 위해 열원 및 광원을 출력하는 100개의 모듈로 구성하였다. 또한 표적에 대한 위치, 속도, 방향, 배경 클러터와 재밍 환경 등을 모사할 수 있다. 이종센서 영상탐색기의 시험평가를 위해 구축된 HILS 시스템의 전체 시스템 구성과 적외선 표적원의 설계 및 측정 결과를 제시한다. 향후에, 구축된 HILS 시스템에서 모의비행 시나리오 기반으로 동적 실시간 포착․추적에 대한 단일 또는 이종센서가 탑재된 이종센서영상탐색기의 성능을 시험할 예정이다. In this work, infrared targets for a developed hardware-in-the-loop simulation(HILS) system are proposed for a performance test of a dual-sensor imaging seeker equipped with an infrared and a visible sensor that can lock and track for ground and air targets. This integrated system is composed of 100 modules of heat and light sources to simulate various kinds of target and the trajectory of moving targets based on scenarios. It is possible to simulate not only the position, velocity, and direction for these targets but also background clutter and jamming environments. The design and measurement results of an infrared target, such as the HILS system configuration, developed for testing and evaluation of a dual-sensor imaging seeker are described. In the future, it is planned to test the lock-on and tracking performance of an imaging seeker equipped with single or dual sensors dynamically in real time based on a simulation flight scenario in the developed HILS system.

적외선영상에서 배경모델링 기반의 실시간 객체 탐지 시스템

박장한(Changhan Park),이재익(Jaeik Lee) 대한전자공학회 2009 電子工學會論文誌-CI (Computer and Information) Vol.46 No.4

본 논문은 적외선영상(infrared image)에서 배경모델링 기반의 실시간 객체 탐지 기법과 고속 PPC(PowerPC) & FPGA(Field Programmable Gate Array) 기반 개방형 구조의 하드웨어 설계 방법을 제안한다. 개방형 구조는 하드웨어 및 소프트웨어의 이식이용이하고, 확장, 호환성, 관리 및 유지보수 등이 편리한 장점이 있다. 제안된 배경모델링 방법을 개방형 구조에 탑재하기 위하여 입력영상에서 검색영역 템플릿을 성긴 블록으로 구성하여 탐색영역의 크기를 줄인다. 또한, 이전 프레임과 현재 프레임에서 영상의 흔들림이 발생했을 때 보정하기 위해 전역움직임 보상방법을 적용한다. 배경과 객체를 분리는 픽셀 밝기의 시간 분석을 통해 적응적 값을 적용한다. 분리된 객체주변에 발생하는 클러터 제거 방법은 중앙값 필터를 적용한다. 설계된 임베디드 시스템에서 배경모델링, 객체탐지, 중앙값 필터, 라벨링, 합병 등의 방법은 PPC에서 구현하였다. 실험결과 제안된 임베디드 시스템에서 전역 움직임 보정과 배경예측을 통해 실시간으로 객체가 탐지될 수 있음을 보였다. In this paper, we propose an object detection method for real-time in infrared (IR) images and PowerPC (PPC) and H/W design based on field programmable gate array (FPGA). An open H/W architecture has the advantages, such as easy transplantation of H/W and S/W, support of compatibility and scalability for specification of current and previous versions, common module design using standardized design, and convenience of management and maintenance. Proposed background modeling for an open H/W architecture design decreases size of search area to construct a sparse block template of search area in IR images. We also apply to compensate for motion compensation when image moves in previous and current frames of IR sensor. Separation method of background and objects apply to adaptive values through time analysis of pixel intensity. Method of clutter reduction to appear near separated objects applies to median filter. Methods of background modeling, object detection, median filter, labeling, merge in the design embedded system execute in PPC processor. Based on experimental results, proposed method showed real-time object detection through global motion compensation and background modeling in the proposed embedded system.

수면 위의 물체 추적을 위한 영상정보 결합형 빛 산란 보정

이호진(Hojin Lee),박장한(Changhan Park),최병인(Byungin Choi),서종모(Jongmo Seo) 대한전자공학회 2019 전자공학회논문지 Vol.56 No.5

공중에서 수면 위의 물체를 관찰하기 위해서는 물체를 잘 식별하는 기술뿐 아니라 수면 빛 반사와 같은 교란 신호를 억제 혹은 제거할 수 있는 기술이 필요하다. 본 논문에서는 수면 빛 반사를 적응형 감마 보정필터를 이용하여 억제함으로써 공중에서 해상의 물체를 관측하는 데 도움을 주는 방법을 연구하였다. 또한, 빛 반사로 인해 화소값이 포화되어 완전히 소실된 지점의 영상정보를 빛 반사가 없는 지점의 영상자료를 바탕으로 가상의 정보를 만들어 내어 추적 알고리즘의 변형 없이도 물체를 지속적으로 관측할 수 있도록 하였다. To observe an object on water from the sky, suppression of the noise signals such as light scatter on the water surface is needed. In this paper, adaptive gamma correction filter was used to suppress the light scatter, which can enhance the object recognition on the sea. And the continuous tracking of a target in the light-saturated area due to the reflection of light can be done by the prediction from the information of the unsaturated area without modifying the tracking algorithm.

객체 추적기를 위한 전역움직임 보상 기법 H/W 구현

이재익(Jae-Ik Lee),박장한(Changhan Park),안규봉(GyouBong Ahn) 대한전자공학회 2010 대한전자공학회 학술대회 Vol.2010 No.6

얼굴인식 향상을 위한 스테레오 영상에서의 특징점 추출 방법 비교

김현오(Hyunnoh Kim),이세진(Sejin Lee),박장한(Changhan Park),남궁재찬(Jaechan Namkung) 한국멀티미디어학회 2006 한국멀티미디어학회 학술발표논문집 Vol.2006 No.2

본 논문에서는 스테레오 영상을 이용한 3D 얼굴인식의 효율성을 높이기 위해 특징점 추출 방법인 SIFT(Scale Invariant Feature Transform)를 적용하였다. 기존의 블록정합 방법인 MAD(Mean Absolute Difference)와 MSE(Mean Square Error)는 특징점의 선정에 따라 성능에 큰 차이를 보인다. 스테레오 얼굴영상에서 SIFT를 이용하여 특징점을 추출하고, MAD와 MSE를 이용하여 정합한 결과와 SIFT를 이용하여 정합한 결과를 비교했다. 실험을 통해서 스테레오 영상의 좌우 특징점을 벡터의 거리를 계산하여 그 효율성을 검증하였다.

PowerPC 기반 IP 영상 객체 추적기 구현

이재익(Jae-Ik Lee),이준행(Junhaeng Lee),박장한(Changhan Park) 대한전자공학회 2007 대한전자공학회 학술대회 Vol.2007 No.7

In this paper, we implement one tracking scheme based on the block matching using PowerPC system. We implement tracking algorithm uses the information from Infrared (IR) sensor for tracking object. When a occlusion occurs, the proposed algorithm predicts movements of an object using the historical tracking information and it can keep the object tracking.

운송드론을 위한 영상기반 착륙점 추적알고리즘 연구

김홍봉(Hong Bong Kim),송태언(Tae Eun Song),박장한(Changhan Park),최병인(Byungin Choi) 대한전자공학회 2019 전자공학회논문지 Vol.56 No.1

본 논문은 운송드론의 영상기반 착륙을 위한 착륙점 영상추적 알고리즘 적용연구에 관한 것이다. 현재까지 대부분의 연구개발에서 운송드론은 GPS같은 위성항법 기반으로 착륙을 하고 있으나, 착륙시의 안전을 고려하여 운용자가 영상으로 안전여부를 확인하고 착륙지점을 지정하는 운용 방안이 필요하다고 본다. 본 연구에서는 운송드론이 착륙지점에 다가가며 운용자가 드론이 보내온 영상에서 착륙점을 지정하고, 이를 추적하여 드론이 착륙하는 운용개념을 가정하고, 이에 적합한 세 종류의 영상추적기 (MOSSE, KCF, DSST)에 대한 성능비교연구 결과를 기술한다. 특히 착륙지점 표식의 크기가 드론이 다가감에 따라 크게 변하는 특징과 추적기의 실시간성을 고려한 영상추적기의 패러미터 설정에 대한 방안을 제안한다. MOSSE와 KCF필터의 경우 추적창 크기가 고정되어 있어 드론이 착륙점에 다가가며 영상추적 필터링 시간의 변화가 거의 없으나, DSST 알고리즘의 경우 최대추적창 크기 패러미터를 480픽셀에서 60픽셀로 변화시키면 필터링 속도가 최대 약 8배 빨라진다. 그리고 최대추적창 크기 패러미터가 120픽셀일 때 추적성능과 필터링시간이 우수함을 보여준다. 상용드론으로 획득한 비행영상을 활용하여 각 영상추적기 성능평가 결과를 보이고, 향후 운송드론에 본 연구에서 수행한 영상추적기를 어떻게 적용할지에 대한 방향을 제시한다. This paper is concerned with visual trackers for vision-based landing of delivery drones. To date most delivery drones have depended on GNSS (Global Navigation Satellite System) like GPS (Global Positioning System) for landing. However, we believe that for security reasons the drone operator should make sure the landing spot is clear by watching the streaming video from the drone and point the final landing spot in the image. In this study assuming an operational concept in which the operator points the landing spot on the drone video as the drone approaches the landing place, a comparison study of three visual trackers (MOSSE, KCF, DSST) is described. Especially, considering a distinctive property that the landing mark size increases dramatically as a drone draws near the landing place and real-time requirement of visual tracker, we propose how to adjust parameters of the visual trackers. For the size of tracking window is fixed in MOSSE and KCF filters, the time spent for filtering is almost constant as drone approaches the landing mark. However, in case of DSST, as the maximum tracking window size parameter changes from 480 pixels to 60 pixels, the filtering speed becomes almost eight times faster. When the maximum tracking window size parameter is 120 pixels, good performance is shown in terms of tracking and filtering time. Video data obtained from flying a commercial drone are utilized for a performance evaluation and comparison study, and methods to apply the results to delivery drones are proposed.