선박 주변 객체 인식 실시간 처리를 위한 영상 전처리 하드웨어 가속기 구현

이효찬(Hyo-chan Lee),정다은(Da-eun Jung),이성주(Seoung-Ju Lee),문대철(Dai-tchul Moon),임태호(Tae-ho Im) 한국통신학회 2020 한국통신학회 학술대회논문집 Vol.2020 No.2

건물 특성 정보를 이용한 딥러닝 기반 건물 인식 강화 방법에 관한 연구

이효찬(Hyo-Chan Lee),김성호(Seong-Ho Kim),김정안(Jeong-An Kim),여초(Yu Cha),문대철(Dai-Tchul Moon),임태호(Tae-Ho Im) 한국통신학회 2019 한국통신학회 학술대회논문집 Vol.2019 No.1

해상 객체 인식을 위한 이진 분할 알고리즘 하드웨어 가속기 설계

이효찬(Hyo-chan Lee),송현학(Hyun-Hak Song),뤼징신(Jing-Lin Lwo),왕비(Fei Wang),고학림(Hak-Lim Ko),임태호(Tae-Ho Im) 한국정보통신학회 2020 한국정보통신학회 종합학술대회 논문집 Vol.24 No.1

해상 객체 인식은 자율운항선박의 지능형 보조 시스템으로써 컴퓨터가 영상 분석을 통해 선박 주변에 존재하는 위험 물체가 검출되면 자동으로 회피하여 선박의 안전운항을 돕는다. 이러한 자율 운항을 위해 요구사항과 기능이 다양해지고 복잡해지면서 프로세서 기반의 소프트웨어의 성능은 저하되기 때문에 실시간 처리 기술의 필요성이 대두되고 있다. 이에 대응하여 본 논문에서는 실시간 객체 인식을 위해 소프트웨어의 병목현상을 제거하고, 해상 객체 인식에 핵심이 되는 이진 분할 알고리즘을 하드웨어를 설계하여 가속화하였다. 또한, FPGA에 구현하여 적용한 결과 기존 알고리즘 수행시간 대비 약 20배 빠른 성능을 얻을 수 있었다. The intelligent assistance system of a maritime autonomous surface ship, object detection in maritime supports the safe operation of a ship by detecting and avoiding dangerous objects in the near of the ship through digital image analysis with a computer. With the diversified and complexity requirements and functions, the performance of processor-based software degrades. Therefore, the importance of real-time processing technology is increasing for the autonomous operation of ships. In this regard, this study removed the bottleneck of software for real-time object recognition and designed and accelerated binary segmentation algorithm hardware, which is the core of object detection in maritime. Furthermore, it was able to obtain a performance approximately 20 times faster than the existing algorithm by implementing and applying it to the FPGA.

이미지 잡음에 강인한 CNN 기반 건물 인식 방법

이효찬,박인학,임태호,문대철,Lee, Hyo-Chan,Park, In-hag,Im, Tae-ho,Moon, Dai-Tchul 한국정보통신학회 2020 한국정보통신학회논문지 Vol.24 No.3

인간의 눈과 같이 이미지에서 유용한 정보를 추출하는 기능은 인공지능 컴퓨터 구현에 필수적인 인터페이스 기술이다. 이미지에서 건물을 인식하여 추론하는 기술은 다양한 형태의 건물 외관, 계절에 따른 주변 잡음 이미지의 변화, 각도 및 거리에 따른 왜곡 등으로 다른 이미지 인식 기술 보다 인식률이 떨어진다. 지금까지 제시된 컴퓨터 비전(Computer Vision) 기반의 건물 인식 알고리즘들은 건물 특성을 수작업으로 정의하기 때문에 분별력과 확장성에 한계가 있다. 본 논문은 최근 이미지 인식에 유용한 딥러닝의 CNN(Convolutional Neural Network) 모델을 활용하는데 건물 외관에 나타나는 변화, 즉 계절, 조도, 각도 및 원근에 의해 떨어지는 인식률을 향상시키는 새로운 방법을 제안한다. 건물 전체 이미지와 함께 건물의 특징을 나타내는 부분 이미지들, 즉 창문이나 벽재 이미지의 데이터 세트를 함께 학습시키고 건물 인식에 활용함으로써 일반 CNN 모델 보다 건물 인식률을 약 14% 향상됨을 실험으로 증명하였다. The ability to extract useful information from an image, such as the human eye, is an interface technology essential for AI computer implementation. The building recognition technology has a lower recognition rate than other image recognition technologies due to the various building shapes, the ambient noise images according to the season, and the distortion by angle and distance. The computer vision based building recognition algorithms presented so far has limitations in discernment and expandability due to manual definition of building characteristics. This paper introduces the deep learning CNN (Convolutional Neural Network) model, and proposes new method to improve the recognition rate even by changes of building images caused by season, illumination, angle and perspective. This paper introduces the partial images that characterize the building, such as windows or wall images, and executes the training with whole building images. Experimental results show that the building recognition rate is improved by about 14% compared to the general CNN model.

선박안전 운항을 위한 이진 분할 알고리즘 기반 해상 객체 검출 하드웨어 가속기 설계 및 구현

이효찬,송현학,이성주,전호석,김효성,임태호,Lee, Hyo-Chan,Song, Hyun-hak,Lee, Sung-ju,Jeon, Ho-seok,Kim, Hyo-Sung,Im, Tae-ho 한국정보통신학회 2020 한국정보통신학회논문지 Vol.24 No.10

해상 객체 검출은 선장이 육안으로 해상 주변의 충돌 위험성이 있는 부유물을 컴퓨터를 통해 자동으로 검출하여 사람이 확인하는 방법과 유사한 정확도로 인지하는 방법을 말한다. 기존 선박에서는 레이더의 전파를 통해 해상 부유물의 유무와 거리를 판단하였지만 형체를 알아내어 장애물이 무엇인지는 판단할 수 없는 약점이 있다. 반면, 카메라는 인공지능 기술이 발달하면서 물체를 검출하거나 인식하는데 성능이 우수하여 항로에 있는 장애물을 정확하게 판단할 수 있다. 하지만, 디지털 영상을 분석하기 위해서는 컴퓨터가 대용량의 화소를 연산해야 하는데 CPU는 순차적 처리 방식에 특화된 구조이기에 처리속도가 매우 느려 원활한 서비스 지원은 물론 안전성도 보장할 수 없게 된다. 따라서 본 논문에서는 해상 객체 인식 소프트웨어를 개발하였고 연산량이 많은 부분을 가속화하기 위해 FPGA로 구현하였다. 또한, 임베디드 보드와 FPGA 인터페이스를 통해 시스템 구현 완성도를 높였으며 소프트웨어 기반의 기존 구현 방법보다 약 30배의 빠른 성능을 얻었고 전체 시스템의 속도는 약 3배 이상이 개선되었음을 확인할 수 있었다. Object detection in maritime means that the captain detects floating objects that has a risk of colliding with the ship using the computer automatically and as accurately as human eyes. In conventional ships, the presence and distance of objects are determined through radar waves. However, it cannot identify the shape and type. In contrast, with the development of AI, cameras help accurately identify obstacles on the sea route with excellent performance in detecting or recognizing objects. The computer must calculate high-volume pixels to analyze digital images. However, the CPU is specialized for sequential processing; the processing speed is very slow, and smooth service support or security is not guaranteed. Accordingly, this study developed maritime object detection software and implemented it with FPGA to accelerate the processing of large-scale computations. Additionally, the system implementation was improved through embedded boards and FPGA interface, achieving 30 times faster performance than the existing algorithm and a three-times faster entire system.

고속 해상 객체 분류를 위한 양자화 적용 기반 CNN 딥러닝 모델 성능 비교 분석

이성주 ( Seong-ju Lee ),이효찬 ( Hyo-chan Lee ),송현학 ( Hyun-hak Song ),전호석 ( Ho-seok Jeon ),임태호 ( Tae-ho Im ) 한국인터넷정보학회 2021 인터넷정보학회논문지 Vol.22 No.2

최근 급속도로 성장하고 있는 인공지능 기술이 자율운항선박과 같은 해상 환경에서도 적용되기 시작하면서 디지털 영상에 특화된 CNN 기반의 모델을 적용하는 관련 연구가 활발히 진행되고 있다. 이러한 해상 서비스의 경우 인적 과실을 줄이기 위해 충돌 위험이 있는 부유물을 감지하거나 선박 내부의 화재 등 여러 가지 기술이 접목되기에 실시간 처리가 매우 중요하다. 그러나 기능이 추가 될수록 프로세서의 제품 가격이 증가하는 문제가 존재해 소형 선박의 선주들에게는 비용적인 측면에서 부담이 된다. 또한 대형 선박의 경우 자율운항선박의 시스템을 감안할 때, 연산 속도의 성능 향상을 위해 복잡도가 높은 딥러닝 모델의 성능을 개선하는 방법이 필요하다. 따라서 본 논문에서는 딥러닝 모델에 경량화 기법을 적용해 정확도를 유지하면서 고속으로 처리할 수 있는 방법에 대해 제안한다. 먼저 해상 부유물 검출에 적합한 영상 전처리를 진행하여 효율적으로 CNN 기반 신경망 모델 입력에 영상 데이터가 전달될 수 있도록 하였다. 또한, 신경망 모델의 알고리즘 경량화 기법 중 하나인 학습 후 파라미터 양자화 기법을 적용하여 모델의 메모리 용량을 줄이면서 추론 부분의 처리 속도를 증가시켰다. 양자화 기법이 적용된 모델을 저전력 임베디드 보드에 적용시켜 정확도와 처리 속도를 사용하는 임베디드 성능을 고려하여 설계하는 방법을 제안한다. 제안하는 방법 중 정확도 손실이 제일 최소화되는 모델을 활용해 저전력 임베디드 보드에 비교하여 기존보다 최대 4~5배 처리 속도를 개선할 수 있었다. As artificial intelligence(AI) technologies, which have made rapid growth recently, began to be applied to the marine environment such as ships, there have been active researches on the application of CNN-based models specialized for digital videos. In E-Navigation service, which is combined with various technologies to detect floating objects of clash risk to reduce human errors and prevent fires inside ships, real-time processing is of huge importance. More functions added, however, mean a need for high-performance processes, which raises prices and poses a cost burden on shipowners. This study thus set out to propose a method capable of processing information at a high rate while maintaining the accuracy by applying Quantization techniques of a deep learning model. First, videos were pre-processed fit for the detection of floating matters in the sea to ensure the efficient transmission of video data to the deep learning entry. Secondly, the quantization technique, one of lightweight techniques for a deep learning model, was applied to reduce the usage rate of memory and increase the processing speed. Finally, the proposed deep learning model to which video pre-processing and quantization were applied was applied to various embedded boards to measure its accuracy and processing speed and test its performance. The proposed method was able to reduce the usage of memory capacity four times and improve the processing speed about four to five times while maintaining the old accuracy of recognition.

시각장애인을 돕기 위한 딥러닝 음성/영상 인식 기반 임베디드 시스템 구현

전호석(Jeon Ho Seok),이효찬(Hyo Chan Lee),송현학(Hyun hak Song),임태호(Tae ho Im) 한국통신학회 2020 한국통신학회 학술대회논문집 Vol.2020 No.2

항로표지 보호를 위한 디지털 영상기반 해무 강도 측정 알고리즘

유은지 ( Eun-ji Ryu ),이효찬 ( Hyo-chan Lee ),조성윤 ( Sung-yoon Cho ),권기원 ( Ki-won Kwon ),임태호 ( Tae-ho Im ) 한국인터넷정보학회 2021 인터넷정보학회논문지 Vol.22 No.6

미래 해상 환경 변화에 맞춰 해상 항로표지가 다양한 분야에 걸쳐 활용되며 쓰임이 증대되고 있다. 해상 항로표지는 항행하는 선박의 위치, 방향 및 장애물의 위치를 알려주는 항행보조시설로, 현재는 단순히 선박의 안전 항해를 도울 뿐 아니라, 여러 센서와 카메라를 탑재하여 해양 기상환경을 파악하고 기록하는 수단으로 변모하고 있다. 하지만 주로 선박과의 충돌로 인해 소실되며 특히 해무로 인한 관측 시야 저하로 안전사고가 발생한다. 해무 유입은 항만, 해상교통 등에 위험을 초래하고 시간과 지역에 따라 발생 가능성의 차이가 커 예측이 쉽지 않다. 또한, 전 해역에 분포되어있는 항로표지의 특성상 개별 관리가 어렵다. 이를 해결하고자 본 논문에서는 항로표지에 설치된 카메라에서 촬영한 영상으로 해무 강도를 측정하는 방안을 통하여 해양 기상환경을 파악해 보완하고 날씨로 인한 항로표지 안전사고를 해결하는 것을 목적으로 한다. 설치가 어렵고 높은 비용이 드는 광학 및 온도 센서 대신 항로표지에 설치된 카메라의 일반 영상을 사용하여 해무 강도를 측정한다. 덧붙여 다양한 해역에서의 실시간 해무 파악을 위한 선행 연구로, 안개 모델(Haze Model), Dark Channel Prior(DCP)를 이용해 해무 강도 측정 기준을 제시한다. DCP를 적용한 영상에서 특정 픽셀값의 문턱값(Threshold value)을 설정하고, 이를 기준으로 전체 영상에서 해무가 존재하지 않는 픽셀의 수를 통해 해무 강도를 추정한다. 합성 해무 데이터셋과 실제 해무 동영상을 캡처해 만든 실제 해무 데이터셋으로 해무 강도 측정 여부를 검증했다. In line with future changes in the marine environment, Aids to Navigation has been used in various fields and their use is increasing. The term “Aids to Navigation” means an aid to navigation prescribed by Ordinance of the Ministry of Oceans and Fisheries which shows navigating ships the position and direction of the ships, position of obstacles, etc. through lights, shapes, colors, sound, radio waves, etc. Also now the use of Aids to Navigation is transforming into a means of identifying and recording the marine weather environment by mounting various sensors and cameras. However, Aids to Navigation are mainly lost due to collisions with ships, and in particular, safety accidents occur because of poor observation visibility due to sea fog. The inflow of sea fog poses risks to ports and sea transportation, and it is not easy to predict sea fog because of the large difference in the possibility of occurrence depending on time and region. In addition, it is difficult to manage individually due to the features of Aids to Navigation distributed throughout the sea. To solve this problem, this paper aims to identify the marine weather environment by estimating sea fog level approximately with images taken by cameras mounted on Aids to Navigation and to resolve safety accidents caused by weather. Instead of optical and temperature sensors that are difficult to install and expensive to measure sea fog level, sea fog level is measured through the use of general images of cameras mounted on Aids to Navigation. Furthermore, as a prior study for real-time sea fog level estimation in various seas, the sea fog level criteria are presented using the Haze Model and Dark Channel Prior. A specific threshold value is set in the image through Dark Channel Prior(DCP), and based on this, the number of pixels without sea fog is found in the entire image to estimate the sea fog level. Experimental results demonstrate the possibility of estimating the sea fog level using synthetic haze image dataset and real haze image dataset.

어업 원격 전자 모니터링 시스템을 위한 심층학습 기반 어류 수 측정 방법에 관한 연구

송현학(Song Hyun Hak),이효찬(Lee Hyo Chan),고만재(Go Man Jae),이성주(Lee Seoung Ju),문대철(Moon Dai Tchul),임태호(Im Tae Ho) 한국통신학회 2019 한국통신학회 학술대회논문집 Vol.2019 No.6

심층학습 모델을 이용한 카셰어링 얼굴 인식 시스템 개발

송현학(Hyun-Hak Song),이효찬(Hyo-Chan Lee),박인학(In-Hag Park),전호석(Ho-Seok Jeon),유민호(Min-Ho You),유승욱(Seung-Uk Yu),최은호(Eun-Ho Choi),임태호(Tae-ho Im),문대철(Dai-Tchul Moon) 한국통신학회 2018 한국통신학회 학술대회논문집 Vol.2018 No.11