룩업테이블 방식의 영상 변형 시스템을 위한 FPGA 설계 구현

이은상 서울과학기술대학교 2013 국내석사

This paper presents a real-time hardware architecture to deform images. Image Deformation contain transformation according to camera calibration and image rectification of stereo vision etc. the Proposed system in this paper used DDRRAM, SSRAM and reconfigurable hardware(FPGA) for hardware configurations. The entire process is based on Look-Up Table (LUT). This table presents a relation between original image and image to be deformed. The image to be deformed and the LUT are stored in two different memories; DDRRAM and SSRAM. FPGA make a new Image matching two kinds of data. Using LUT and FPGA allows us to generate different hardware configurations. therefore, This system architecture increased flexibility about image resolution of image to be deformed or a variety of image Deformation. Sample results from the full system (which uses the PC application to generate and download LUT and transfer deformed image ) operating show image Deformation according to LUT and holding frame rates . 인간의 감각 중 시각은 다른 감각에 비하여 월등히 많은 정보를 받아드린다. 이런 인각의 시각를 모방한 이미지 센서는 단순한 평면 이미지와 그 이미지를 시간의 순서대로 나열하여 교체하는 동영상을 생성하여 출력해준다. 오늘날 이 이미지 센서는 여러 가지 장비들과 결합되어 단순한 영상정보 획득을 벗어난 새로운 기능을 만들어냈다. 그 기능으로 움직임 감지, 오브젝트 측정, 마커인식 등을 예로 들 수 있다. 이 기능들을 구현하려면 엄청난 양의 컴퓨팅 파워가 필요하여 연구가 미진했던 것이 사실이지만 마이크로 프로세서의 발전으로 연산량을 감당 할 수 있게 된 현재는 계산된 정보의 신뢰도를 높이는 문제가 중요한 문제로 대두되고 이와 관련된 연구가 활발히 진행되고 있다. 3차원의 세계와 카메라에 의하여 영상 이미지사이의 관계를 규명하는 과정 중 영상의 신뢰도를 높이기 위한 과정으로 영상이미지의 보정 또는 교정 등의 과정이 있고 이 과정은 영상이미지를 일정한 규칙에 따라서 변형시키는 것이다. 이에 본 논문은 카메라 영상 이미지를 변형하는 과정을 FPGA를 활용한 하드웨어 처리 중 기억 장치를 사용하여 영상이미지를 저장하고 저장된 룩업테이블과 1:1 사상을 수행하는 FPGA구조를 제안한다. 처리 루틴의 병렬화가 아닌 변형 후 이미지의 픽셀구성정보를 모두 저장하고 있음으로서 FPGA를 이용한 병렬처리가 아닌 실시간 사상방식이고 보정 또는 교정뿐 만 아니라 원하는 이미지로의 축소 확대등을 가능하게 만드는 영상 이미지 변환기에 가까운 것이다. 이를 위해 DDRRAM과 SSRAM을 기억장치로 사용하고 카메라와 룩업 테이블을 다운로드 할 수 있는 시스템을 구성한다. 그리고 이미지변형 후 USB 3.0 인터페이스를 통하여 PC로 영상이미지를 전송하고 출력하여 보정된 이미지를 확인한다.

고해상도 컬러 영상 워핑의 실시간 성능 개선을 위한 하드웨어 가속기 설계

이유진 서울과학기술대학교 2017 국내석사

본 논문은 FPGA(Field Programmable Gate Array)를 활용한 고해상도 컬러 영상 워핑 시스템을 다룬다. 제한된 클록 자원에서 영상을 실시간으로 처리하기 위해서는 출력 픽셀의 생성에 소요되는 클록 사이클 수 조건을 고려해야 한다. 기존의 컬러 영상 워핑 구조에서는 저해상도 영상을 실시간 처리하였으나, 하드웨어를 설계할 때에 병렬처리 및 파이프라인 등의 하드웨어 특성을 고려하지 않았다. 따라서 기존 구조에 고해상도 영상을 적용하는 데에는 어려움이 있으며, 이를 위해서는 고해상도 영상의 실시간 처리에 요구되는 클록 사이클 수 조건을 만족시키도록 처리 속도를 향상시키는 것이 필요하다. 본 논문은 처리 속도를 향상시키는 방안으로 영상 캐시 알고리즘과 파이프라인 구조를 적용한다. 분할된 메모리 구조를 사용하여 보간 연산에 사용되는 4개의 픽셀을 동시에 읽어옴으로써 메모리 접근에 소요되는 시간을 감소시키며, 파이프라인 구조를 적용하여 매 클록 사이클마다 출력 픽셀을 생성하도록 한다. 제안한 시스템을 검증하기 위하여 4가지 실험을 수행한다. 테스트 패턴 영상을 활용한 영상 워핑 실험을 수행하여 워핑 결과 영상의 정확성을 확인하며, 제안한 구조를 실제 하드웨어에 적용하여 시스템의 메모리 접근 동작을 검증하고 영상 워핑의 실시간성을 확인한다. 마지막으로 렌즈 왜곡 보정 실험을 수행하고 실험 결과를 확인함으로 제안한 시스템의 실용성을 확인한다. In this paper, a high resolution color image warping system based on Look-Up Table(LUT) using an Field Programmable Gate Array(FPGA) is presented. Image warping generates a geometrically transformed output image which consists of coordinate transformation, interpolation operation, and memory access. High resolution image warping in real-time requires radical increase of processing speed, thus a new image cache algorithm to reduce the cache memory access time is proposed. This method divides the cache memory into four cache memory modules for simultaneous readout of four input image pixels while considering color filter array(CFA) pattern of an image sensor and CFA image warping. In addition, a pipeline structure from the cache memory to an interpolator is shown to guarantee the generation of an output image pixel at each system clock cycle. The proposed high resolution color image warping system is applied to an FPGA, and experimental results are presented to show the validity of the proposed method.

PIDA제어기를 이용한 효율적 역진자시스템 시뮬레이션 설계

박종갑 서울과학기술대학교 산업대학원 2015 국내석사

본 연구에서는 PID(proportional integral derivative)제어기가 가질 수 있는 두 개의 영점보다 더 많은 극점을 가지는 3차 이상의 고차원 시스템에 대하여 PID제어기의 설계가 어렵다는 사실은 알려져 있으며, 3차 이상의 고차원 시스템 에서 PID제어기가 설계가 어렵다는 [4] 것에 나타나듯이 이에 대해 시스템을 수 학적으로 모델링 후 Matlab을 이용하여 상태방정식을 전달함수로 바꾸고 식(3.3)고차원에서의 실행한 근궤적과 나이키스선도를 통해 시스템의 불안정한 것을 확인 하였다. 이를 통하여 기존의 PID제어기에 2차미분이 추가된 PIDA제어기를 시뮬레이션을 통해 실험하고 제어적 오차를 줄이고 동작제어 시스템에 대한 게인 값의 증감소를 통해 비교 분석하여 최적의 게인 값을 찾는데 의의가 있다. In this study, PID (proportional integral derivative) and can have the controller, the fact that it is difficult to design a PID control with respect to third-order or higher-dimensional systems that have more polar than two zeros are known the cage, as shown in the difficult design PID control [4] in the third-order or higher-dimensional systems, to mathematically model the system against this equation by changing the state equation for the transfer function using Matlab it was confirmed unstable thing of the system via the executed muscle trajectory and age Kisurido in (3.3) high-dimensional. This experiment by simulation PIDA controller is second-order differential is added to the conventional PID control, reduce the regulatory error, compared analyzed via an increase decrease in the gain values of the motion control system, the optimum gain value there is a significance to find.

영상 데이터 캐시와 룩업테이블을 활용한 영상 워핑 시스템의 FPGA 구현

최용준 서울과학기술대학교 일반대학원 2014 국내석사

본 논문은 FPGA(field programmable gate array)를 활용한 룩업테이블(look-up table) 기반 영상 워핑(image warping) 시스템에서 픽셀 데이터의 획득 시, 메모리 접근 시간을 단축하기 위한 영상 데이터 캐시 알고리즘을 제안한다. 입력 영상의 픽셀 좌표를 이용하여 변형된 출력 영상을 생성하는 워핑 시스템은 주로 메모리와의 읽기/쓰기 작업으로 구성되므로, 메모리 접근에서 소요되는 시간이 실시간 동작 구현의 가능 여부를 결정하게 된다. 영상의 워핑에서 SDRAM만을 이용하는 경우 메모리 및 메모리 컨트롤러 등에서 생기는 시간 지연 문제로 인해 실시간 동작 구현에는 적합하지 않다. 이를 위해서 입력 영상을 블록 단위로 분할하여 영상 데이터 캐시로 미리 저장하고, 출력 영상의 생성 시에는 영상 데이터 캐시에 저장되어 있는 픽셀 데이터를 참조하는 알고리즘을 사용한다. 또한, 입력 영상의 픽셀 좌표를 참조하기 위한 영상 룩업테이블을 생성하는 오프라인에서 캐시의 동작 및 순서 또한 모두 결정하여 캐시 룩업테이블을 생성한다. 이를 이용하면 매우 간단한 구조를 가진 FPGA의 워핑 시스템을 구현할 수 있다. 오프라인 상에서 FPGA의 모든 동작을 결정하여 생성된 영상 룩업테이블과 캐시 룩업테이블을 활용한 워핑 시스템에서의 하드웨어 전체 구조 및 핵심 동작에 대해 제시한다.

PIDA 제어기를 이용한 역진자형 이동 로봇의 동작 제어

주윤식 서울과학기술대학교 2013 국내석사

In this paper, a comparison of two control structures are presented for the motion control of a two-wheeled inverted pendulum mobile robot using PID controller. In the case of the first control structure[3] it controls the angle and position of the mobile robot independently, and then the motion control of the mobile robot is fulfilled using weighted sum according to angle and position controllers. On the other hand, in the case of the second control structure[4] it controls the motion of the mobile robot using the control signal of position controller to the reference of the angle controller like the mobile robot's intuitive movement that the mobile robot moves forward or backward according to slanted direction of the body under stable situations. Because of such a difference between the first control structure and the second control structure, the difficulty of the position control for the mobile robot arises when using PID controller in the second control structure unlike the first control structure. In order to solve this problem, the use of the PIDA controller is proposed to control the motion of the mobile robot in the second control structure. Where PID and PIDA controller are designed using a trial and error method. Also, validity of the motion control of the mobile robot using PIDA controller in the second control structure is verified by the simulation and the experiment. 역진자형 이동 로봇이 스스로 균형을 유지하도록 하기 위해서는 기울어진 몸체의 방향으로 바퀴를 계속 움직여주어야 하며, 이때 바퀴를 구동시키는 양쪽 DC모터에 의해 역진자형 이동 로봇의 기울기와 위치 혹은 속도가 결정되기 때문에 역진자형 이동 로봇은 SIDO 시스템이다. 따라서 SISO 시스템에 적합한 PID 제어기를 활용하여 역진자형 이동 로봇의 동작을 제어하기 위해서는 기울기를 제어하는 PID 제어기와 위치 혹은 속도를 제어하는 PID 제어기, 두 개의 PID 제어기를 활용하여야 한다. 여기서 PID 제어기를 활용한 역진자형 이동 로봇의 동작 제어 시스템에는 다음과 같은 두 가지 제어 구조가 있다. 먼저 첫 번째 제어 구조[3]는 역진자형 이동 로봇의 기울기와 위치를 각각 서로 독립적으로 제어하고, 이때의 기울기와 위치 제어기에 의한 가중 합을 이용하여 역진자형 이동 로봇의 동작을 제어한다. 반면에 두 번째 제어 구조[4]는 역진자형 이동 로봇의 위치 제어기에서 생성된 제어 신호를 기울기 제어기의 레퍼런스로 이용하여 역진자형 이동 로봇의 동작을 제어하는데 이는 이동하려는 방향으로 역진자형 이동 로봇의 몸체를 기울여 움직이는 방식으로 역진자형 이동 로봇의 동작을 매우 직관적으로 표현한 제어 구조이다. 이때 첫 번째 제어 구조와 달리 두 번째 제어 구조를 이용하여 역진자형 이동 로봇의 속도가 아닌 위치를 제어할 경우 제어 성능이 좋지 못하며, 또한 위치 제어기의 PID 게인 값을 설정하기 매우 어려운 문제가 발생한다. 이러한 두 번째 제어 구조에서의 위치 제어기 설계에 대한 어려움을 서로 다른 두 제어 시스템의 구조적 차이점과 근 궤적 방법 등을 이용하여 보이고 이를 해결하기 위한 방안으로 두 번째 제어 구조의 위치 제어기로 PID 제어기에 오차에 대한 2차 미분이 추가된 PIDA 제어기의 활용을 제안한다. 본 논문에서는 두 번째 제어 구조에서 PIDA 제어기를 활용한 역진자형 이동 로봇의 위치 제어에 대한 타당성을 시뮬레이션과 실험을 통하여 검증하며, 이때 PID와 PIDA 제어기의 게인 값은 반복적인 실험을 통한 시행착오 방법을 이용하여 설계한다.

FPGA를 활용한 컬러 영상 워핑의 실시간 구현

김봉규 서울과학기술대학교 2015 국내석사

본 논문은 FPGA(Field Programmable Gate Array)를 활용한 컬러 영상 워핑(color image warping)에 대해 다룬다. 기존에 사용되었던 컬러 영상 워핑의 방식은 Bayer RGB 영상을 카메라에 장착된 ISP(Image Signal Processor)나 프로세서에서 컬러 영상인 RGB24 영상으로 변환한 후, R, G, B 색상별로 각각 워핑을 실행하여 출력 영상을 생성하였다. 허나 메모리 크기의 제약을 받는 임베디드 시스템에서는 영상 크기의 3배에 해당하는 컬러 영상을 사용하여 워핑 작업을 진행하기에는 메모리 처리량 부분이나 연산 과정에서 적용하기가 쉽지 않다. 본 논문에서 제안하는 컬러 영상 워핑 방식은 Bayer RGB 영상에서의 영상 워핑 후 컬러 영상으로 변환하는 방식으로, 기존 구조와 비교하였을 때 영상 워핑과 컬러 변환의 순서만 바꾸면서 영상 워핑에 필요한 메모리 크기 및 처리량을 1/3로 줄이고, 연산 과정도 1/3로 줄인다. 제안하는 구조를 이용하여 컬러 영상 워핑을 진행하면서 기존과 비슷한 수준의 컬러 영상을 생성할 수 있지만, Bayer RGB 영상에서 영상 워핑 후 컬러 변환 작업을 진행할 때 기존 구조에 비해 출력 영상의 한 픽셀을 생성하기 위해 필요한 입력 영상 마스크의 크기가 커지는 단점이 발생하고, 출력 영상이 기존 구조보다 흐릿해지는 결과가 생긴다. 이 부분을 해결하기 위해 Bayer RGB 영상에서 영상 워핑과 컬러 변환 과정을 동시에 진행하는 두 번째 구조를 제안한다. 제안하는 두 번째 구조는 기존에 두 번이나 실행해야했던 양선형 보간법(bilinear interpolation)을 한 번만 하면서도 첫 번째 구조에서 발생한 흐림 현상을 해결하고 기존 구조를 이용하여 생성한 출력 영상과 거의 동일한 결과를 제시한다. 제안하는 구조의 장단점을 제시하며, PC 상에서 알고리즘 확인을 위해 실험을 진행한다. 또한 FPGA를 활용한 영상 워핑의 실시간 구현을 위해 제안하는 첫 번째 구조를 FPGA에 적용하여 실험하고, 결과를 제시한다. 마지막으로 렌즈 왜곡 보정을 위한 워핑 구조를 적용하여 워핑 전과 후의 출력 컬러 영상을 확인함으로 추후의 다양한 알고리즘에서 응용될 수 있음을 확인한다. In this paper, a structure of real-time color image warping using Field Programmable Gate Array(FPGA) is presented. Image warping is a spatial transformation distorting an original image, and an elementary operation is moving pixel data to another position. In the case of conventional color image warping structure, in order to perform warping must be prepared RGB color image. Also requires a memory size of 3 times of the image size. On the other hand, the proposed structure is using Bayer RGB image for warping, needs only 1 times memory size and bandwidth. And the number of operations for generating the output pixel can be reduced to even one-third. Another proposal structure is to configure the image warping and color demosaicing at the same time. In this case, it is possible to reduce the total amount of calculation for generating. Both structure produce a substantially similar color image that generated by using the conventional structure. Using PC program, Two structure's algorithms are verified. Finally, the first structure is implemented using FPGA, and experimental results are presented.

MSR 모델 개선 및 채도 보상 알고리즘을 이용한 컬러 영상 보정

최창원 서울과학기술대학교 산업대학원 2012 국내석사

본 논문에서는 영상의 대비를 향상시키는 Retinex 알고리즘을 기반으로 영상의 Dynamic Range를 조정하여 기존의 Retinex 알고리즘보다 선명도를 향상시키면서 알고리즘의 연산 양을 줄여 연산 속도를 개선할 수 있는 알고리즘에 대해 제안한다. Image Sensor로부터 입력받은 영상에서 Dynamic Range가 비대칭적인 경우 전체적인 대비가 한쪽으로 치우치게 되어 밝은 영역이 포화된 것처럼 보이거나 어두운 영역의 사물이 보이지 않는 것처럼 사람이 인지하게 되는데 이러한 영상의 경우 명도 값 기준으로 대비를 개선하게 되면 보이지 않는 것처럼 인지된 영역의 영상을 인지할 수 있다. 기존의 Retinex 알고리즘을 개선한 MSRCR의 경우에는 컬러 복원 함수를 적용했음에도 불구하고 영상의 선명도가 기존 영상보다 현저하게 낮아지거나 명도 대비가 지나치게 밝아지는 경향이 있다. 이를 개선하기 위하여 기존의 MSR 알고리즘을 구현하는데 사용되는 로그 연산 양을 줄여 연산 시간을 단축시키고 MSR 모델에서 제거된 채도 성분을 보상하는 방법을 제안하였다. 실험결과 기존의 MSRCR과 비교하였을 때 제안한 방법의 연산 속도가 줄어들었고 채도 보상을 통하여 선명도가 향상되었음을 확인할 수 있었다. In this paper, it proposes the algorithm that improve the speed of image processing operation by reducing the amount of operation of the algorithm and the clarity compare to existing Retinex algorithm by adjusting the Dynamic Range of an input image. In case that the dynamic range is asymmetric on inputted image from image sensor, human eyes are perceived a bright region of things is to lighten and a dark region is to darker because it causes overall contrast as one-sided. It can be seen the region perceived as invisible by improving contrast based on brightness. MSRCR model improved existing Retinex algorithm is significantly lower than the sharpness of original image, or contrast tends to grow excessively. In order to improve these problems, I proposed that the new method to reduce the amount of log operations used to implement MSR model and to compensate for the saturation removed by being estimated illumination ingredients. It was proved by the experiment that the image processing time of the proposed algorithm did slow down and the clarity was improved by saturation compensation compared with existing MSRCR model.

광 픽업 성능 평가기를 위한 디지털 매트릭스 회로 설계

김신영 서울과학기술대학교 산업대학원 2012 국내석사

광 픽업이란 다양한 광학소자, 액츄에이터, 전자회로소자, 기계소자 등으로 구성되는 부품으로 광디스크 드라이브에서 데이터의 기록 및 재생을 위한 핵심 부품이다. 이 부품은 100여 과정이 넘는 공정과정을 통해 조립되며 정밀한 동작을 보장하기 위해서는 광학 및 기계소자들의 조립 정밀도가 확보되어야 한다. 그리고 광디스크 드라이브에 탑재되기 전 특수한 계측장비를 사용하여 전수 검사를 통해 양품과 불량품을 판정한다. 이러한 광 픽업 생산 공정의 가장 마지막 단계인 검사/평가 공정에 사용되는 장비가 광 픽업 성능 평가기이다. 광 픽업 성능 평가기는 광 픽업의 출력신호를 사용하여 측정신호를 생성하고 측정신호의 DC/AC전압레벨을 측정하여 광 픽업의 성능을 평가한다. 측정신호를 생성하는 회로는 아날로그 부품들로 구성되고 측정신호를 생성하는 과정이 매트릭스 연산과 유사하여 아날로그 매트릭스 회로라고 부른다. 아날로그 매트릭스 회로는 높은 정밀도가 요구되지만 아날로그 회로의 특성상 측정오차가 존재하고 및 노이즈에 민감하다. 그리고 연산에 사용하는 OP-AMP의 특성으로 인하여 측정신호에 왜곡이 발생할 수 있다. 또한 많은 수의 아날로그 부품들로 구성되므로 업그레이드 및 회로의 수정이 필요할 경우 번거로움 작업이 요구되고 원격지원시 어려움이 존재한다. 본 논문에서는 이러한 아날로그 회로의 문제점을 해결하기 위해 디지털 방식의 매트릭스 회로를 제안한다. 부동 소수점 방법과 MUX와 DEMUX를 사용하여 FPGA의 자원을 적게 사용하면서도 높은 정밀도의 연산회로를 제안한다. 또한 실험을 통해 기존 아날로그 매트릭스 회로에서 생성한 측정신호와 비교하여 성능을 검증하고자 한다. Optical pick-up, which is the core part for data record and play in optical disk drives, is assembled by assembly process through 100 steps and is guaranteed performance by optical pick-up performance evaluator before mount in disk drive. Optical pick-up performance evaluator is particular purpose measurement instrument to check performance of the whole optical pick-up. Measurement circuit consists of analog electronic components generates measurement signals as matrix operation. Measurement circuit consists of analog electronic components generates measurement signals as matrix operation. So It is a analog matrix circuit. Analog matrix circuit needs a high precision. But there are measurement circuit errors due to the characteristic of analog circuit. And there are many issues such as a distortion of signals, remote revision and upgrade problems etc. In this paper, digital matrix circuit is proposed to address some issues in analog matrix circuit.