열화 도로 영상에서 블랙 아이스 영역의 실시간 분할

이옥걸,강선경,정성태 한국컴퓨터정보학회 2022 韓國컴퓨터情報學會論文誌 Vol.27 No.2

In this paper, we proposed a deep learning model based on multi-scale dilated convolution feature fusion for the segmentation of black ice region in road image to send black ice warning to drivers in real time. In the proposed multi-scale dilated convolution feature fusion network, different dilated ratio convolutions are connected in parallel in the encoder blocks, and different dilated ratios are used in different resolution feature maps, and multi-layer feature information are fused together. The multi-scale dilated convolution feature fusion improves the performance by diversifying and expending the receptive field of the network and by preserving detailed space information and enhancing the effectiveness of diated convolutions. The performance of the proposed network model was gradually improved with the increase of the number of dilated convolution branch. The mIoU value of the proposed method is 96.46%, which was higher than the existing networks such as U-Net, FCN, PSPNet, ENet, LinkNet. The parameter was 1,858K, which was 6 times smaller than the existing LinkNet model. From the experimental results of Jetson Nano, the FPS of the proposed method was 3.63, which can realize segmentation of black ice field in real time. 본 논문에서는 운전자한테 실시간으로 블랙 아이스 경고를 보내기 위해서 도로 영상에서 블랙 아이스 영역 분할을 위한 다중 척도 팽창 컨볼루션 특징 융합에 기반한 딥러닝 모델을 제안한다. 제안한 다중척도 팽창 컨볼루션 특징 융합 네트워크는 인코더 블록에 서로 다른 팽창 비율 컨볼루션을 병렬로 추가하고, 서로 다른 해상도 특징 맵에서 서로 다른 팽창 비율을 설정하고, 다중 단계 특징 정보가 함께 융합된다. 다중 척도 팽창 컨볼루션 특징 융합은 수용 영역을 확장함과 동시에 공간의 세부 정보를 잘 보존하고 팽창컨볼루션의 효과성을 높임으로써 기존 모델보다 성능을 향상시킨다. 실험 결과를 통해 본 논문 제안한네트워크 모델은 병렬 평창 컨볼루션 수가 증가함에 따라 성능이 향상되는 것을 알 수 있었다. 제안한방법의 mIoU 값은 96.46%로 U-Net, FCN, PSPNet, ENet, LinkNet 등 기존 네트워크보다 높았다. 그리고파라미터는 1,858K개로, 기존 LinkNet모델보다 6배로 축소하였다. Jetson Nano에서 실험 결과 보면, 제안한 방법의 FPS는 3.63로 실시간으로 블랙 아이스 영역을 실시간으로 분할 할 수 있었다.

Learning Disentangled Representation of Web Addresses via Convolutional-Recurrent Triplet Network for Phishing URL Classification

부석준(Seok-Jun Bu),김혜정(Hae-Jung Kim) Korean Institute of Information Scientists and Eng 2021 정보과학회논문지 Vol.48 No.2

Channel Attention과 그룹 컨볼루션을 이용한 효율적인 얼굴 감정인식 CNN

이명오,윤의녕,고승현,조근식 한국정보과학회 2019 정보과학회논문지 Vol.46 No.12

ecently, studies using the convolutional neural network have been actively conducted to recognize emotions from facial expressions. In this paper, we propose an efficient convolutional neural network that solves the model complexity problem of the deep convolutional neural network used to recognize the emotions in facial expression. To reduce the complexity of the model, we used group convolution, depth-wise separable convolution to reduce the number of parameters, and the computational cost. We also enhanced the reuse of featuRecently, studies using the convolutional neural network have been actively conducted to recognize emotions from facial expressions. In this paper, we propose an efficient convolutional neural network that solves the model complexity problem of the deep convolutional neural network used to recognize the emotions in facial expression. To reduce the complexity of the model, we used group convolution, depth-wise separable convolution to reduce the number of parameters, and the computational cost. We also enhanced the reuse of features and channel information by using Skip Connection for feature connection and Channel Attention. Our method achieved 70.32% and 85.23% accuracy on FER2013, RAF-single datasets with four times fewer parameters (0.39 Million, 0.41 Million) than the existing model.res and channel information by using Skip Connection for feature connection and Channel Attention. Our method achieved 70.32% and 85.23% accuracy on FER2013, RAF-single datasets with four times fewer parameters (0.39 Million, 0.41 Million) than the existing model. 최근 얼굴 표정에서 감정을 인식하기 위한 문제에서 컨볼루션 신경망을 이용한 연구가 활발히 진행되고 있다. 본 논문에서는 사람의 얼굴 표정에서 나타나는 감정을 인식하기 위해 사용하는 딥 컨볼루션 신경망의 모델 복잡도(Complexity) 문제점을 해결한 효율적인 컨볼루션 신경망을 제안한다. 본 논문에서는 모델의 복잡도를 줄이기 위해 그룹 컨볼루션, 깊이별 분리 컨볼루션을 사용하여 파라미터 수와 연산량을 감소시키고 특징 연결을 위한 Skip Connection과 Channel Attention을 사용하여 특징의 재사용성과 채널 정보를 강화하였다. 제안하는 모델의 학습 파라미터 개수는 0.39 M(Million), 0.41 M으로 기존 모델에 비해 4배 이상 적은 수의 파라미터를 사용하여 FER2013, RAF-single 데이터셋에서 각각 70.32%, 85.23%의 정확도를 달성하였다.

GPGPU 기반 Convolutional Neural Network의 효율적인 스레드 할당 기법

김민철,이광엽 사단법인 인문사회과학기술융합학회 2017 예술인문사회융합멀티미디어논문지 Vol.7 No.10

CNN (Convolution neural network), which is used for image classification and speech recognition among neural networks learning based on positive data, has been continuously developed to have a high performance structure to date. There are many difficulties to utilize in an embedded system with limited resources. Therefore, we use GPU (General-Purpose Computing on Graphics Processing Units), which is used for general-purpose operation of GPU to solve the problem because we use pre-learned weights but there are still limitations. Since CNN performs simple and iterative operations, the computation speed varies greatly depending on the thread allocation and utilization method in the Single Instruction Multiple Thread (SIMT) based GPGPU. To solve this problem, there is a thread that needs to be relaxed when performing Convolution and Pooling operations with threads. The remaining threads have increased the operation speed by using the method used in the following feature maps and kernel calculations. 많은 양의 데이터 기반으로 학습하는 neural network 중 이미지 분류나 음성 인식 등에 사용되어 지고 있는 CNN(Convolution neural network)는 현재까지도 우수한 성능을 가진 구조로 계속적으로 발전되고 있다. 제한된 자원을 가진 임베디드 시스템에서 활용하기에는 많은 어려움이 있다. 그래서 미리 학습된 가중치를 사용하지만 여전히 한계점이 있기 때문에 이를 해결하기 위해 GPU의 범용 연산을 위해서 사용하는 GP-GPU(General-Purpose computing on Graphics Processing Units)를 활용하는 추세다. CNN은 단순하고 반복적인 연산을 수행하기 때문에 SIMT(Single Instruction Multiple Thread)기반의 GPGPU에서 스레드 할당과 활용 방법에 따라 연산 속도가 많이 달라진다. 스레드로 Convolution 연산과 Pooling 연산을 수행할 때 쉬어야 하는 스레드가 발생하는 데 이러한 문제를 해결하기 위해 남은 스레드가 다음 피쳐맵과 커널 계산에 활용되는 방법을 사용함으로써 연산 속도를 증가시켰다.

컨볼루션 신경망을 기반으로 한 한글 음악 리뷰 감정 분류 모델 설계 및 분석

정문성,손방용 한국자료분석학회 2018 Journal of the Korean Data Analysis Society Vol.20 No.4

Recently, several researches have shown that sentiment analysis of text data using convolutional neural networks shows efficient performance. In this study, we design a model based on convolutional neural networks that classifies the sentiment of music reviews written in Korean and analyze the performance of the designed model. Generally, a reviews composed of letters should be converted to vectors for use in a neural network based model. In this study, we converted letters to vectors using a lookup table. 80% of the reviews were used as learning data and 20% as evaluation data. The model is designed to have one convolution layer and two fully connected layers. The results showed that classification accuracy was the highest when Leaky ReLU was used, and training speed was the fastest and learning was stable when SELU was used. In addition, as the learning progressed, the accuracy converged to a high level irrespective of the type of activation function, and these experimental results can contribute to the sentiment classification of text data using convolutional neural networks. 최근 텍스트 데이터의 감정 분류에 컨볼루션 신경망을 적용한 결과 효율적인 성능을 나타내고 있음을 여러 연구에서 보이고 있다. 본 연구에서는 한글로 작성된 음악 리뷰의 감정을 분류하는 컨볼루션 신경망 기반의 모델을 설계하고, 설계한 모델의 성능을 분석한다. 일반적으로 문자로 이루어진 음악 리뷰는 신경망 기반의 모델에서 사용할 수 있도록 벡터로 변환되어야 하는데, 본 연구에서는 룩업 테이블을 사용하여 문자를 벡터로 변환하였고, 전체 음악 리뷰의 80%는 학습 데이터, 20%는 평가 데이터로 구분하여 사용하였다. 또한 감정 분류 모델은 한 개의 컨볼루션 층과 두 개의 완전 연결 층을 갖도록 설계하였다. 그리고 이들을 사용하여 네 가지 활성화 함수와 함께 음악 리뷰의 감정 분류를 수행한 결과, Leaky ReLU 함수를 사용하였을 때 분류 정확도가 가장 높았으며, SELU 함수를 사용하였을 때 학습 속도가 가장 빠르고 학습이 안정적으로 이루어지는 모습을 확인하였다. 또한 학습이 거듭될수록 감정 분류 정확도는 활성화 함수의 종류에 상관없이 높은 수준의 정확도로 수렴함을 보였고, 이러한 실험 결과들은 컨볼루션 신경망을 사용하여 텍스트 데이터의 감정을 분류하는 연구에 기여할 수 있을 것으로 본다.

템플릿 컨볼루션 기법을 이용한 충격 압력 저감에 관한 실험적 고찰

정진범(J. B. Jeong),양종모(J. M. Yang ),주병수(B. S. Ju),김경수(K. S. Kim) 유공압건설기계학회 2018 유공압건설기계학회 학술대회논문집 Vol.2018 No.11

In this paper use one of signal process technique is template convolution to reduce impulse pressure caused by rapid input manipulation for electric control hydraulic system. Determined experimentally suitable shape and length of template for reduce impulse pressure. Because template convolution performance determined according to shape and length of template. Use template convolution manipulating input signal of electric control hydraulic system, in accordance observe and analyze impulse pressure signal.

가중치 손실 함수를 가지는 순환 컨볼루션 신경망 기반 주가 예측

김현진,정연승 한국정보처리학회 2019 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.8 No.3

This paper proposes the stock price prediction based on the artificial intelligence, where the model with recurrent convolution neural network (RCNN) layers is adopted. In the motivation of this prediction, long short-term memory model (LSTM)-based neural network can make the output of the time series prediction. On the other hand, the convolution neural network provides the data filtering, averaging, and augmentation. By combining the advantages mentioned above, the proposed technique predicts the estimated stock price of next day. In addition, in order to emphasize the recent time series, a custom weighted loss function is adopted. Moreover, stock data related to the stock price index are adopted to consider the market trends. In the experiments, the proposed stock price prediction reduces the test error by 3.19%, which is over other techniques by about 19%. 본 논문에서는 RCNN (recurrent convolution neural network) 계층 모델을 채택한 인공 지능에 기반을 둔 주가 예측을 제안한다. LSTM (long-term memory model) 기반 신경망은 시계열 데이터의 예측에 사용된다. 다른 한편, 컨볼루션 신경망은 데이터 필터링, 평균화 및 데이터 확장을 제공한다. 제안된 주가 예측에서는 위에서 언급 한 장점들을 RCNN 모델에서 결합하여 적용함으로써 다음날의 주가 종가를 예측한다. 그리고 최근의 시계열의 데이터를 강조하기 위해 커스텀 가중치 손실 함수가 채택되었다. 또한 시장의 상황을 반영하기 위해 주가 인덱스에 관련된 데이터를 입력으로 포함하였다. 제안된 주가 예측 방식은 실제 주가를 대상으로 한 실험에서 3.19%로 테스트 오차를 줄였으며, 다른 방법보다 약 19%의 성능 향상을 거둘 수 있었다.

Deformable CAE 모형을 이용한 효율적인 CT 영상 잡음제거

성언승,한성현,허지혜,임동훈 한국컴퓨터정보학회 2023 韓國컴퓨터情報學會論文誌 Vol.28 No.3

CT 영상의 획득 및 전송 등의 과정에서 발생하는 잡음은 영상의 질을 저하시키는 요소로 작용한다. 따라서 이를 해결하기 위한 잡음제거는 영상처리에서 중요한 전처리 과정이다. 본 논문에서는 딥러닝의 convolutional autoencoder (CAE) 모형에서 기존 컨볼루션 연산 대신 deformable 컨볼루션 연산을 적용한 deformable convolutional autoencoder (DeCAE) 모형을 이용하여 잡음을 제거하고자 한다. 여기서 deformable 컨볼루션 연산은 기존 컨볼루션 연산보다 유연한 영역에서 영상의 특징들을 추출할 수 있다. 제안된 DeCAE 모형은 기존 CAE 모형과 같은 인코더-디코더 구조로 되어있으나 효율적인 잡음제거를 위해 인코더는 deformable 컨볼루션 층으로 구성하고, 디코더는 기존 컨볼루션 층으로 구성하였다. 본 논문에서 제안된 DeCAE 모형의 성능 평가를 위해 다양한 잡음, 즉, 가우시안 잡음, 임펄스 잡음 그리고 포아송 잡음에 의해 훼손된 CT 영상을 대상으로 실험하였다. 성능 실험 결과, DeCAE 모형은 전통적인 필터 즉, Mean 필터, Median 필터와 이를 개선한 Bilateral 필터, NL-means 방법 뿐만 아니라 기존의 CAE 모형보다 정성적이고, 정량적인 척도즉, MAE (Mean Absolute Error), PSNR (Peak Signal-to-Noise Ratio) 그리고 SSIM (Structural Similarity Index Measure) 면에서 우수한 결과를 보였다.

속도 영역에서의 컨볼루션을 이용한 효율적인 궤적 생성 방법

이건(Geon Lee),김도익(Doik Kim) 대한기계학회 2014 大韓機械學會論文集A Vol.38 No.3

로봇에 대한 필요성이 더 이상 산업용 로봇에 국한되지 않고 서비스 로봇 혹은 의료 로봇으로 확대됨에 따라 사람과의 공존을 위해 외부 환경에 즉각적으로 대응이 가능한 궤적 생성 방법이 요구되고 있다. 이에 본 논문에서는 컨볼루션 연산을 이용한 실시간으로 변경 가능한 궤적 생성 방법을 제시한다. 본 논문에서 제시하는 방법은 기존의 컨볼루션 방법과 같이, 시스템의 운동학적 제약 조건 내에서의 궤적을 생성하며 기존 컨볼루션 방법의 모든 특성을 만족한다. 또한, 항상 사다리꼴 모양으로 궤적이 생성되는 특성으로 인한 특정 상황에서 비효율적으로 궤적이 생성될 수 있는 기존 컨볼루션 방법의 단점을 개선시키는 새로운 방법을 제시한다. 모의 실험을 통해 제안하는 방법의 유효성과 적합성을 보이며, 기존 컨볼루션 방법과의 비교를 통해 그 효율성을 보인다. The use of robots is no longer limited to the field of industrial robots and is now expanding into the fields of service and medical robots. In this light, a trajectory generation method that can respond instantaneously to the external environment is strongly required. Toward this end, this study proposes a method that enables a robot to change its trajectory in real-time using a convolution operation. The proposed method generates a trajectory in real time and satisfies the physical limits of the robot system such as acceleration and velocity limit. Moreover, a new way to improve the previous method (11), which generates inefficient trajectories in some cases owing to the characteristics of the trapezoidal shape of trajectories, is proposed by introducing a triangle shape. The validity and effectiveness of the proposed method is shown through a numerical simulation and a comparison with the previous convolution method.

철근콘크리트 손상 특성 추출을 위한 최적 컨볼루션 신경망 백본 연구

박영훈 대한토목학회 2023 대한토목학회논문집 Vol.43 No.4

'Research on the integration of unmanned aerial vehicles and deep learning for reinforced concrete damage detection is actively underway. Convolutional neural networks have a high impact on the performance of image classification, detection, and segmentation as backbones. The MobileNet, a pre-trained convolutional neural network, is efficient as a backbone for an unmanned aerial vehicle-based damage detection model because it can achieve sufficient accuracy with low computational complexity. Analyzing vanilla convolutional neural networks and MobileNet under various conditions, MobileNet was evaluated to have a verification accuracy 6.0~9.0% higher than vanilla convolutional neural networks with 15.9~22.9% lower computational complexity. MobileNetV2, MobileNetV3Large and MobileNetV3Small showed almost identical maximum verification accuracy, and the optimal conditions for MobileNet's reinforced concrete damage image feature extraction were analyzed to be the optimizer RMSprop, no dropout, and average pooling. The maximum validation accuracy of 75.49% for 7 types of damage detection based on MobilenetV2 derived in this study can be improved by image accumulation and continuous learning. 철근콘크리트 손상 감지를 위한 무인항공기와 딥러닝 연계에 대한 연구가 활발히 진행 중이다. 컨볼루션 신경망은 객체 분류, 검출, 분할 모델의 백본으로 모델 성능에 높은 영향을 준다. 사전학습 컨볼루션 신경망인 모바일넷은 적은 연산량으로 충분한 정확도가 확보 될 수 있어 무인항공기 기반 실시간 손상 감지 백본으로 효율적이다. 바닐라 컨볼루션 신경망과 모바일넷을 분석 한 결과 모바일넷이 바닐라 컨볼루션 신경망의 15.9~22.9% 수준의 낮은 연산량으로도 6.0~9.0% 높은 검증 정확도를 가지는 것으로 평가 되었다. 모바일넷V2, 모바일넷V3Large, 모바일넷 V3Small은 거의 동일한 최대 검증 정확도를 가지는 것으로 나타났으며 모바일넷의 철근콘트리트 손상 이미지 특성 추출 최적 조건은 옵티마이 저 RMSprop, 드롭아웃 미적용, 평균풀링인 것으로 분석되었다. 본 연구에서 도출된 모바일넷V2 기반 7가지 손상 감지 최대 검증 정확도 75.49%는 이미지 축적과 지속적 학습으로 향상 될 수 있다.