Text Localization using Valid Optical Flow for Recognition of Slab Numbers

SeungBo Shim,SungHoo Choi,SangWoo Kim 제어로봇시스템학회 2010 제어로봇시스템학회 국제학술대회 논문집 Vol.2010 No.10

The goal of this study is to develop a new algorithm to determine the placement of text in images using two consecutive frames. The algorithm consists of two steps: detection of top and bottom boundaries (TBB) and determination of left and right boundaries (LRB) of the texts. For accurate detection of the LRB, several algorithms are proposed in this paper. First, morphological and geometrical information of the letters is used to identify TBB. Next, coarse LRB are determined using an optical flow, which is rendered by the combined methods of Lucas/Kanade and Horn/Schunck algorithms in video sequences. Finally, the texts are localized from the image based on optical flow field information. Experimental results of the text localization have 95.7 % recall. The algorithm is developed in a module and can hence be embedded in a steel product management system easily.

YOLO-v3을 활용한 건설 장비 주변 위험 상황 인지 알고리즘 개발

심승보(Seungbo Shim),최상일(Sang-Il Choi) 한국산학기술학회 2019 한국산학기술학회논문지 Vol.20 No.7

최근 정부는 건설 산업의 재해율과 사고 사망률이 전체 산업 중 높은 비율을 차지한다는 점을 개선하기 위하여 새로운 대책을 강구하고 있다. 특히 4차 산업혁명의 시대적 흐름에 맞춰 ICT 기술과 융합된 건설 기술 개발에 집중적으로 투자하고 있다. 이런 상황에 대응하고자 본 논문에서는 건설 기계를 사용하는 작업에서 작업자의 안전성 향상을 위한 방법으로, 건설 기계 운전자와 주변 작업자 간의 작업 상황 정보를 공유하고 인지할 수 있는 개념을 제시하였다. 그리고 해당 개념의 일부를 실현하고자 카메라를 이용한 인공 지능 기반 영상처리 기술을 활용하여 토공 작업에 접목시켰다. 그 중에서도 다짐 장비를 이용한 실험을 통해 YOLO-v3 기반의 영상 처리 알고리즘으로 토공 작업 중에 주변 작업자 상황을 인지하고 위험 상황 여부를 판단할 수 있는 알고리즘을 구현하였다. 그 결과 본 알고리즘은 동영상에서 초당 15.06프레임을 처리하며 90.48%의 정확도로 건설 기계 주변 위험 상황을 인지할 수 있다. 향후 이 같은 기술을 활용하여 건설 현장의 안전사고 예방에 기여하고자 한다. Recently, the government is taking new approaches to change the fact that the accident rate and accident death rate of the construction industry account for a high percentage of the whole industry. Especially, it is investing heavily in the development of construction technology that is fused with ICT technology in line with the current trend of the 4th Industrial Revolution. In order to cope with this situation, this paper proposed a concept to recognize and share the work situation information between the construction machine driver and the surrounding worker to enhance the safety in the place where construction machines are operated. In order to realize the part of the concept, we applied image processing technology using camera based on artificial intelligence to earth-moving work. Especially, we implemented an algorithm that can recognize the surrounding worker’s circumstance and identify the risk situation through the experiment using the compaction equipment. and image processing algorithm based on YOLO-v3. This algorithm processes 15.06 frames per second in video and can recognize danger situation around construction machine with accuracy of 90.48%. We will contribute to the prevention of safety accidents at the construction site by utilizing this technology in the future.

Fast R-CNN을 이용한 도로노면파손 객체 추출 알고리즘 개발

심승보(Seungbo Shim),전찬준(Chanjun Chun),최상일(Sangil Choi),류승기(Seung-Ki Ryu) 한국통신학회 2019 한국통신학회 학술대회논문집 Vol.2019 No.1

콘크리트 균열 탐지 성능 향상을 위한 적대적 학습에 관한 연구

심승보(Shim, Seungbo),최상일(Choi, Sang-Il),공석민(Kong, Suk-Min),이성원(Lee, Seong-Won) 대한토목학회 2020 대한토목학회 학술대회 Vol.2020 No.10

건설 산업에서 크레인 안전사고의 유형과 원인에 대한 통계적 분석

심승보(Seungbo Shim),최상일(Sang-Il Choi),전찬준(Chan Jun Chun),김창용(Chang-Yong Kim) 한국통신학회 2018 한국통신학회 학술대회논문집 Vol.2018 No.1

데이터 증강을 위한 순환 생성적 적대 신경망 기반의 아스팔트와 콘크리트 균열 영상 간의 변환 기법

심승보,Shim, Seungbo 한국ITS학회 2022 한국ITS학회논문지 Vol.21 No.5

The safe use of a structure requires it to be maintained in an undamaged state. Thus, a typical factor that determines the safety of a structure is a crack in it. In addition, cracks are caused by various reasons, damage the structure in various ways, and exist in different shapes. Making matters worse, if these cracks are unattended, the risk of structural failure increases and proceeds to a catastrophe. Hence, recently, methods of checking structural damage using deep learning and computer vision technology have been introduced. These methods usually have the premise that there should be a large amount of training image data. However, the amount of training image data is always insufficient. Particularly, this insufficiency negatively affects the performance of deep learning crack detection algorithms. Hence, in this study, a method of augmenting crack image data based on the image translation technique was developed. In particular, this method obtained the crack image data for training a deep learning neural network model by transforming a specific case of a asphalt crack image into a concrete crack image or vice versa . Eventually, this method expected that a robust crack detection algorithm could be developed by increasing the diversity of its training data.

적대적 학습을 이용한 도로 노면 파손 탐지 알고리즘

심승보,Shim, Seungbo 한국ITS학회 2021 한국ITS학회논문지 Vol.20 No.4

도로 노면 파손 탐지는 쾌적한 주행 환경과 안전사고의 예방을 위해 필요하다. 도로 관리 기관은 자동화 기술 기반의 검사 장비와 시스템을 활용하고 있다. 이러한 자동화 기술 중에서도 도로 노면의 파손을 탐지하는 기술은 중요한 역할을 수행한다. 최근 들어 딥러닝을 이용한 기술에 대한 연구가 활발하게 진행 중이다. 이러한 딥러닝 기술 개발을 위해서는 도로 영상과 라벨 영상이 필요하다. 하지만 라벨 영상을 확보하기 위해서는 많은 시간과 노동력이 요구된다. 본 논문에서는 이러한 문제를 해결하기 위하여 준지도 학습 기법 중 하나인 적대적 학습 방법을 제안했다. 이를 구현하기 위해서 5,327장의 도로 영상과 1,327장의 라벨 영상을 사용하여 경량화 심층 신경망 모델을 학습했다. 그리고 이를 400장의 도로 영상으로 실험한 결과 80.54%의 mean intersection over union과 77.85%의 F1 score를 갖는 모델을 개발하였다. 결과적으로 라벨 영상 없이 도로 영상만을 학습에 추가하여 인식 성능을 향상시킬 수 있는 기술을 개발하였고, 향후 도로 노면 관리를 위한 기술로 활용되길 기대한다. Road surface damage detection is essential for a comfortable driving environment and the prevention of safety accidents. Road management institutes are using automated technology-based inspection equipment and systems. As one of these automation technologies, a sensor to detect road surface damage plays an important role. For this purpose, several studies on sensors using deep learning have been conducted in recent years. Road images and label images are needed to develop such deep learning algorithms. On the other hand, considerable time and labor will be needed to secure label images. In this paper, the adversarial learning method, one of the semi-supervised learning techniques, was proposed to solve this problem. For its implementation, a lightweight deep neural network model was trained using 5,327 road images and 1,327 label images. After experimenting with 400 road images, a model with a mean intersection over a union of 80.54% and an F1 score of 77.85% was developed. Through this, a technology that can improve recognition performance by adding only road images was developed to learning without label images and is expected to be used as a technology for road surface management in the future.

주행 안전을 위한 joint deep learning 기반의 도로 노면 파손 및 장애물 탐지 알고리즘

심승보,정재진,Shim, Seungbo,Jeong, Jae-Jin 한국ITS학회 2021 한국ITS학회논문지 Vol.20 No.2

인구의 감소 및 고령화 사회가 진행되면서 운전자의 평균 연령은 높아지게 된다. 그에 따라 잠재적인 사고의 위험성이 높은 고령 운전자들은 자율 주행형 개인 이동체가 필요하게 된다. 이러한 이동체가 도로 주행 중에 안전성을 확보하기 위하여 여러 장애물에 대응할 기술이 요구된다. 그 중에서도 주행 중에 마주할 수 있는 차량, 자전거, 사람과 같은 동적 장애물뿐만 아니라 도로 노면의 불량 상태와 같은 정적 장애물을 인식하는 기술이 가장 우선적으로 필요하다. 이를 위해서 본 논문에서는 두 종류의 장애물을 동시에 탐지할 수 있는 심층 신경망 알고리즘을 제안했다. 이 알고리즘을 개발하기 위해서 1,418장의 영상을 이용하여 7종의 동적 장애물에 표기한 annotation data와 도로 노면 파손을 표시한 label 영상을 확보했다. 이를 이용하여 학습한 결과, 46.22%의 평균 정확도로 동적 장애물을 탐지하고 74.71%의 mean intersection over union으로 도로 노면 파손을 탐지했다. 또한 한 장의 영상을 처리하는데 평균 소요시간은 89ms로 일반 차량보다 느린 개인 이동 차량에 사용하기 적합한 알고리즘을 개발했다. 향후 주행 중 마주할 있는 도로 장애물을 탐지하는 기술을 활용하여 개인 이동 차량의 주행 안전성이 향상되길 기대한다. As the population decreases in an aging society, the average age of drivers increases. Accordingly, the elderly at high risk of being in an accident need autonomous-driving vehicles. In order to secure driving safety on the road, several technologies to respond to various obstacles are required in those vehicles. Among them, technology is required to recognize static obstacles, such as poor road conditions, as well as dynamic obstacles, such as vehicles, bicycles, and people, that may be encountered while driving. In this study, we propose a deep neural network algorithm capable of simultaneously detecting these two types of obstacle. For this algorithm, we used 1,418 road images and produced annotation data that marks seven categories of dynamic obstacles and labels images to indicate road damage. As a result of training, dynamic obstacles were detected with an average accuracy of 46.22%, and road surface damage was detected with a mean intersection over union of 74.71%. In addition, the average elapsed time required to process a single image is 89ms, and this algorithm is suitable for personal mobility vehicles that are slower than ordinary vehicles. In the future, it is expected that driving safety with personal mobility vehicles will be improved by utilizing technology that detects road obstacles.

Focal loss와 데이터 증강 기법을 이용한 콘크리트 박락 탐지 심층 신경망 알고리즘

심승보,최상일,공석민,이성원,Shim, Seungbo,Choi, Sang-Il,Kong, Suk-Min,Lee, Seong-Won 한국터널지하공간학회 2021 한국터널지하공간학회논문집 Vol.23 No.4

콘크리트 구조물은 노후화와 외부 환경에 의한 요인으로 훼손된다. 이 같은 훼손은 가장 먼저 균열로 나타나고 향후에는 박락으로도 진행된다. 이러한 콘크리트 손상은 구조물이 갖는 본래의 설계 지지력을 감소시키는 주된 원인으로 작용할 수 있어 구조물의 안정성에 부정적인 영향을 미친다. 이러한 종류의 손상이 지속되면 안전사고로도 이어질 가능성이 있어 적절한 보수와 보강이 필요하다. 이를 위해서는 구조물에 대한 정확하고 객관적인 상태 점검이 이루어져야 하며 손상 영역을 탐지할 수 있는 센서 기술 또한 필요하다. 따라서 본 논문에서는 박락을 탐지할 수 있는 딥러닝 기반의 영상처리 알고리즘을 제안했다. 연구 과정에서 298장의 박락 영상을 확보하였으며, 이 가운데 253장을 학습용으로 사용했고, 나머지 45장을 테스트용으로 사용하였다. 아울러 본 논문에서는 탐지 성능을 향상하기 위해 향상된 손실함수와 데이트 증강 기법을 적용하였다. 그 결과 콘크리트 박락의 탐지 성능이 80.19%의 평균 중첩 정확도로 나타났다. 본 논문에서는 딥러닝 기반의 영상 처리 기법을 통해 콘크리트 박락을 탐지하는 기술을 개발했고, 향상된 손실 함수와 데이터 증강 기법으로 성능을 향상시키는 방법을 제안했다. 이 같은 기술은 향후 구조물의 정확한 점검과 진단에 활용될 것으로 기대된다. Concrete structures are damaged by aging and external environmental factors. This type of damage is to appear in the form of cracks, to proceed in the form of spalling. Such concrete damage can act as the main cause of reducing the original design bearing capacity of the structure, and negatively affect the stability of the structure. If such damage continues, it may lead to a safety accident in the future, thus proper repair and reinforcement are required. To this end, an accurate and objective condition inspection of the structure must be performed, and for this inspection, a sensor technology capable of detecting damage area is required. For this reason, we propose a deep learning-based image processing algorithm that can detect spalling. To develop this, 298 spalling images were obtained, of which 253 images were used for training, and the remaining 45 images were used for testing. In addition, an improved loss function and data augmentation technique were applied to improve the detection performance. As a result, the detection performance of concrete spalling showed a mean intersection over union of 80.19%. In conclusion, we developed an algorithm to detect concrete spalling through a deep learning-based image processing technique, with an improved loss function and data augmentation technique. This technology is expected to be utilized for accurate inspection and diagnosis of structures in the future.

딥러닝을 활용한 터널에서의 균열 점검방안에 관한 연구

김진(Kim, Jin),심승보(Shim, Seungbo),황현중(Hwang, Hyun-Joong),찌어 쏘피어니까(Chea Sokpheanika),조계춘(Cho, Gye-Chun) 대한토목학회 2023 대한토목학회 학술대회 Vol.2023 No.10