이기종 컴퓨팅을 활용한 환율 예측 뉴럴 네트워크 구현

한성현,이광엽 사단법인 인문사회과학기술융합학회 2017 예술인문사회융합멀티미디어논문지 Vol.7 No.11

In this paper, we implemented the exchange rate forecasting neural network using heterogeneous computing. Exchange rate forecasting requires a large amount of data. We used a neural network that could leverage this data accordingly. Neural networks are largely divided into two processes: learning and verification. Learning took advantage of the CPU. For verification, RTL written in Verilog HDL was run on FPGA. The structure of the neural network has four input neurons, four hidden neurons, and one output neuron. The input neurons used the US $ 1, Japanese 100 Yen, EU 1 Euro, and UK £ 1. The input neurons predicted a Canadian dollar value of $ 1. The order of predicting the exchange rate is input, normalization, fixed-point conversion, neural network forward, floating-point conversion, denormalization, and outputting. As a result of forecasting the exchange rate in November 2016, there was an error amount between 0.9 won and 9.13 won. If we increase the number of neurons by adding data other than the exchange rate, it is expected that more precise exchange rate prediction will be possible. 본 논문에서는 이기종 컴퓨팅을 활용한 환율 예측 뉴럴 네트워크를 구현했다. 환율 예측에는 많은 양의 데이터가 필요하다. 그에 따라 이러한 데이터를 활용할 수 있는 뉴럴 네트워크를 사용했다. 뉴럴 네트워크는 크게 학습과 검증의 두 과정을 거친다. 학습은 CPU를 활용했다. 검증에는 Verilog HDL로 작성된 RTL을 FPGA에서 동작 시켰다. 해당 뉴럴 네트워크의 구조는 입력 뉴런 네 개, 히든 뉴런 네 개, 출력 뉴런 한 개를 가진다. 입력 뉴런에는 미국 1달러, 일본 100엔, EU 1유로, 영국 1파운드의 원화 가치를 사용했다. 입력 뉴런들을 통해 캐나다 1달러의 원화가치를 예측 했다. 환율을 예측 하는 순서는 입력, 정규화, 고정 소수점 변환, 뉴럴 네트워크 순방향, 부동 소수점 변환, 역정규화, 출력 과정을 거친다. 2016년 11월의 환율을 예측한 결과 0.9원에서 9.13원 사이의 오차 금액이 발생했다. 환율 이외의 다른 데이터를 추가해 뉴런의 개수를 늘린다면 더 정확한 환율 예측이 가능할 것으로 예상된다.

Multi Neural Network를 적용한 映像信號 壓縮 : 멀티뉴럴 네트워크를 적용한 영상 신호 압축

김장원 경원전문대학 1994 論文集 Vol.16 No.2

In this paper, we make use of neural network which is adaptive system to the image compression and reconstruction system. For reduce the correlation of image data, multi-neural network which is connected the each neural network with parallel is used for image compression and reconstruction. Multi-neural network is constructed four simple the three-layers neural networks, In the image compression, Pattern classification is used for the processing method which Classifies similar image patterns to the representative pattern. And then, the image compression and reconstruction which is used more multi-neural network then only DCT is achieved more excellent reconstruction image in the same compression ratio, this image compression system which is reduced the error.

다양한 뉴럴 네트워크를 지원하기 위한 가속기 기반의 시스템 연구의 필요성

박평수(Pyeongsu Park),김장우(Jangwoo Kim) 한국정보과학회 2020 정보과학회 컴퓨팅의 실제 논문지 Vol.26 No.7

뉴럴 네트워크는 우리의 삶을 급속도로 변화시키고 있는 핵심 기술이다. 최근 하드웨어 설계자들은 이들의 중요성을 인식하고 텐서처리장치(TPU)와 같은 하드웨어 가속기들을 제시해왔다. 그 결과, 데이터센터부터 개인용 장치에 이르기까지 다양한 환경에서 하드웨어 가속기가 적용되기 시작하였다. 하지만, 본 논문은 현존하는 가속기들이 간단하고 정형화된 행렬 곱 기반의 연산만을 집중하고 있음을 지적한다. 따라서 이 가속기들은 중요성이 날로 커지는 새로운 보조적 연산을 지원하지 못하고 있다. 보조 레이어가 뉴럴 네트워크 성능에 끼치는 영향을 고려할 때, 이들을 지원하지 못하는 시스템은 성능상의 큰 손실을 감수할 수밖에 없다. 즉, 우리는 시스템상에서 다양한 연산을 지원할 수 있게 하는 것이 매우 중요함을 시사한다. 이와 더불어, 다양한 연산을 효율적으로 지원하기 위한 다양한 시스템 후보들을 살펴보고, 이들의 장단점에 대해서 논의한다. Neural networks are among the most important techniques that have dramatically changed the way we live. To efficiently support neural networks, hardware architects have proposed various neural network accelerators (e.g., TPUs). This has led to a proliferation of hardware accelerators for datacenters and personal devices. However, the scope of these hardware accelerators has been very limited to just the acceleration of simple and structured matrix multiplication operations. Specifically, while emerging helper layers such as pooling and normalization layers play an important role in the performance of neural networks, the current inflexible hardware accelerators are missing huge opportunities due to their restricted scope. These problems have prompted us to develop a computing platform that supports various emerging layers to take advantage of full potential of hardware accelerators. Hereinafter, we discuss various system designs that efficiently support emerging layers and their tradeoffs.

샴 네트워크 기반 객체 추적을 위한 표적 이미지 교환 모델

박성준,김규민,황승준,백중환 한국정보통신학회 2021 한국정보통신학회논문지 Vol.25 No.3

In this paper, we propose a target image exchange model to improve performance of the object tracking algorithm based on a Siamese network. The object tracking algorithm based on the Siamese network tracks the object by finding the most similar part in the search image using only the target image specified in the first frame of the sequence. Since only the object of the first frame and the search image compare similarity, if tracking fails once, errors accumulate and drift in a part other than the tracked object occurs. Therefore, by designing a CNN(Convolutional Neural Network) based model, we check whether the tracking is progressing well, and the target image exchange timing is defined by using the score output from the Siamese network-based object tracking algorithm. The proposed model is evaluated the performance using the VOT-2018 dataset, and finally achieved an accuracy of 0.611 and a robustness of 22.816. 본 논문에서는 샴 네트워크 기반의 객체 추적 알고리즘의 성능 향상을 위한 표적 이미지 교환 모델을 제안한다. 샴 네트워크 기반의 객체 추적 알고리즘은 시퀀스의 첫 프레임에서 지정된 표적 이미지만을 사용하여 탐색 이미지 내에서 가장 유사한 부분을 찾아 객체를 추적한다. 첫 프레임의 객체와 유사도를 비교하기 때문에 추적에 한 번 실패하게 되면 오류가 축적되어 추적 객체가 아닌 부분에서 표류하게 되는 현상이 발생한다. 따라서 CNN(Convolutional Neural Network)기반의 모델을 설계하여 추적이 잘 진행되고 있는지 확인하고 샴 네트워크 기반의 객체 추적 알고리즘에서 출력되는 점수를 이용하여 표적 이미지 교환 시기를 정의하였다. 제안 모델은 VOT-2018 데이터 셋을 이용하여 성능을 평가하였고 최종적으로 정확도 0.611 견고도 22.816을 달성하였다.

문자 수준 컨볼루션 뉴럴 네트워크를 이용한 추천시스템에서의 행렬 분해법 개선

손동희,심규석 한국정보과학회 2018 정보과학회 컴퓨팅의 실제 논문지 Vol.24 No.2

Recommendation systems are used to provide items of interests for users to maximize a company’s profit. Matrix factorization is frequently used by recommendation systems, based on an incomplete user-item rating matrix. However, as the number of items and users increase, it becomes difficult to make accurate recommendations due to the sparsity of data. To overcome this drawback, the use of text data related to items was recently suggested for matrix factorization algorithms. Furthermore, a word-level convolutional neural network was shown to be effective in the process of extracting the word-level features from the text data among these kinds of matrix factorization algorithms. However, it involves a large number of parameters to learn in the word-level convolutional neural network. Thus, we propose a matrix factorization algorithm which utilizes a character-level convolutional neural network with which to extract the character-level features from the text data. We also conducted a performance study with real-life datasets to show the effectiveness of the proposed matrix factorization algorithm. 추천시스템은 기업의 매출을 최대화 하기 위해, 사용자에게 관심도가 높은 제품을 제공해준다. 행렬 분해법은 추천시스템에서 자주 사용되는 방법으로 불완전한 사용자-제품 평점 행렬을 기반으로 한다. 하지만 제품과 사용자의 수가 점점 많아지면서, 데이터의 희소성문제로 인해 정확한 추천이 힘들어졌다. 이러한 문제점을 극복하기 위해, 제품과 관련된 텍스트 데이터를 사용하는 행렬 분해법 알고리즘이 최근에 제시되었다. 이런 행렬 분해법 알고리즘 중, 단어 수준 컨볼루션 뉴럴 네트워크를 사용하는 방법이 단어수준 특징들을 추출하여 텍스트 데이터를 효과적으로 반영한다. 하지만 단어수준 컨볼루션 뉴럴 네트워크에서는 학습해야 하는 파라미터의 수가 많다는 문제점이 있다. 그러므로 본 논문에서는 텍스트 데이터로부터 문자 수준 특징들을 뽑아 내기 위해 문자 수준 컨볼루션 뉴럴 네트워크를 사용하는 행렬분해법을 제안한다. 또한 제안하는 행렬 분해법의 성능을 검증하기 위해 실제 데이터를 이용하여 실험을 진행하였다.

목포항 여객수 및 적정 선복량 추정에 관한 연구

금종수(Jong-Soo Keum),장운재(Woon-Jae Jang) 한국항해항만학회 2003 한국항해항만학회 학술대회논문집 Vol.3 No.-

여객수와 화물량에 대한 예측은 터미널의 개발 및 계획, 선사의 적정선복량 확보를 위해 매우 중요하다. 본 연구에서는 역전파 학습알고리즘을 이용한 뉴럴네트웍을 이용하여 목포항 여객수와 화물량을 예측하였다. 그리고 이동평균법, 지수평활법, 뉴럴네트웍의 예측수행을 평균제곱오차, 절대평균오차로 비교하여 뉴럴네트웍의 예측수행능력이 우수함을 검정하였다. 또한 2005년 목포항 여객수와 화물량을 예측하여 여객선 선복량의 적정성을 분석하였다. The aims of this paper forecast passenger numbers and freight volumes in 2005 years and analyze optimal tonnage of passenger ship. The forecasting of passenger numbers and freight volumes are an important problem in order to determine optimal tonnage of passenger ship, port plan and development. In this paper, the forecasting of passenger numbers and freight volumes are performed by the method of neural network using back-propagation learning algorithm. And this paper compares the forecasting performance of neural networks with moving average method and exponential smooth method. As a result forecasting of passenger numbers and freight volumes are that the neural networks performed better than moving average method and exponential smoothing method on the basis of MSE(mean square error) and MAE(mean absolute error).

뉴럴 네트워크 및 선형 회귀식을 이용한 줄눈 콘크리트 포장의 한계 응력 계산

강태욱,류성우,김성민,조윤호 한국도로학회 2008 한국도로학회논문집 Vol.10 No.3

The finite element method(FEM) was one of tools used to solve problem of previous Concrete Pavement and was applied to Korea Pavement Research Program Study. This study used the ABAQUS and the fortran analysis program to calculate the critical stress on jointed concrete pavement and compared and analyzed the results by using neural networks and linear regression model. In that case, which are not enough analysises by using FEM programs though many input variables, when the results of FEM with NN and linear regression models are compared, there are some differences. The other cases, which are reduced input variables and a lot of analysises each of them, results of Neural Networks(NN) and linear regression models are simulated to them of FEM. But, the result of NN is more exact than them of linear regression at the (0,0), (1,1). On the results of this study, it is suggested that the calculation of stress using NN is more compatible to Korea Pavement Research Program Study. 기존 콘크리트 포장의 단면 설계 시 발생하는 문제점을 해결하기 위해 유한 요소법(FEM)을 이용하여 것이 하나의 방법론으로 부각되었으며 현재 한국형 포장 설계법 개발 연구에서도 적용 중에 있다. 본 연구에서는 ABAQUS와 포트란 해석 프로그램을 이용하여 콘크리트 포장의 한계 응력을 계산하였고, 그 결과를 뉴럴 네트워크와 선형 회귀식을 이용하여 비교 분석하였다. 입력 변수가 많지만 다양한 해석을 하지 못하는 경우(입력변수 6개에 대해 81 경우 수 해석)에 대해 구조해석 결과를 뉴럴 네트워크(이하 NN: Neural Networks)와 선형 회귀식으로 비교한 결과, 구조해석 결과와 다소 차이가 있음을 확인하였다. 반면 입력 변수를 줄이되 다양한 경우에 해석한 경우(입력 변수 3개에 대해 343 경우의 수)의 분석 결과, NN과 선형 회귀식이 구조해석 결과와 매우 유사한 결과가 나타나는 것을 알 수 있었다. 하지만 그래프의 (0,0), (1,1) 부분에서 NN이 선형 회귀식에 비해 더 정확한 것을 확인하였다. 이와 같은 연구 결과를 통해서 한국형 포장 설계법의 핵심인 응력 계산 모듈을 선형 회귀식보다 좀 더 정확한 NN으로 해석하는 것을 제안하였다.

뉴럴 네트워크를 활용한 지식 정보 검색 연구 현황

박혜진,한요섭 전북대학교 문화융복합아카이빙연구소 2022 디지털문화아카이브지 Vol.5 No.1

Knowledge retrieval is an important component for various applications including machine learning. Recently, there are several researches on neural networks and knowledge graphs for better semantic searching performance. We review recent knowledge retrieval methods using term matching-based, neural network-based and neural-symbolic-based knowledge approaches. We also briefly discuss a possible future research directions. 지식 정보 검색은 머신 러닝을 비롯한 여러 응용 프로그램의 기본 구성 요소이다. 최근 지식 정보 검색 분야에서는 시멘틱 검색 능력 향상을 위하여 뉴럴 네트워크와 지식 그래프를 기반으로한 연구가 활발히 진행되고 있다. 본 논문에서는 지식 정보 검색의 대표 기법인 용어 일치 기반 검색, 뉴럴 네트워크 기반 검색 그리고 지식 그래프의 상징성과 뉴럴 네트워크의 연결성을 결합한 지식 정보 검색 연구의 최근 현황을 소개하고 향후 연구 방향도 제안한다.

약물-표적 단백질 연관관계 예측모델을 위한 쌍 기반 뉴럴네트워크

이문환(Munhwan Lee),김응희(Eunghee Kim),김홍기(Hong-Gee Kim) 한국인지과학회 2017 인지과학 Vol.28 No.4

In-silico 기반의 약물-표적 단백질 연관관계 예측은 신약 탐색 단계에서 매우 중요하다. 그러나 기존의 예측모델은 입력 값이 고정적이며 표적 단백질의 특질 값이 가공된 데이터로 한정됨으로써 예측 모델의 확장성과 유연성이 부족하다. 본 논문에서는 약물-표적 단백질 연관관계를 예측하는 확장 가능한 형태의 머신러닝 모델을 소개한다. 확장 가능한 머신러닝 모델의 핵심 아이디어는 쌍기반의 뉴럴 네트워크로써, 약물과 단백질의 미가공 데이터를 사용하여 특질을 추출하고 특질 값을 각각의 뉴럴 네트워크 레이어에 입력한다. 이 방법은 추가적인 지식없이 자동적으로 약물과 단백질의 특질을 추출한다. 또한 쌍기반 레이어는 특질값을 풍부한 저차원의 벡터로 향상 시킴으로써 입력 값의 차이로 인한 편향 학습을 방지한다. PubChem BioAssay(PCBA) 데이터 셋에 기반한 5-폴드 교차 검증법을 통하여 제안한 모델의 성능을 평가했으며, 이전의 모델보다 우월한 성능을 보였다. Predicting compound-protein interactions in-silico is significant for the drug discovery. In this paper, we propose an scalable machine learning model to predict compound-protein interaction. The key idea of this scalable machine learning model is the architecture of pairwise neural network model and feature embedding method from the raw data, especially for protein. This method automatically extracts the features without additional knowledge of compound and protein. Also, the pairwise architecture elevate the expressiveness and compact dimension of feature by preventing biased learning from occurring due to the dimension and type of features. Through the 5-fold cross validation results on large scale database show that pairwise neural network improves the performance of predicting compound-protein interaction compared to previous prediction models.

뉴럴네트워크 기반의 유방암 조기 진단을 위한 분류

윤희진 한국융합학회 2017 한국융합학회논문지 Vol.8 No.12

유방암은 전체 여성의 암환자 중 두 번째로 많으며, 여성의 암으로 인한 사망 원인으로 가장 높은 것으로 나타났다. 유방암은 조기 발견 경우 완치율이 92%에 이른다. 하지만, 조기 발견을 하지 못할 경우 유방암은 전이 율이 매우 높다. 암세포의 전이는 암의 진행이 많이 될수록 다른 장기로의 전이가 더욱 잘 되는 것으로 나타났다. 암의 조기 진단은 삶의 질을 높일 수 있는 중요한 요소이다. 유방암을 검사하는 방법으로는 맘모그래피(Mammography), 초음파, 맘모톰(momotome) 등이 있다. 그 중 맘모그래피는 검사자에게 통증이 적을 뿐 아니라, 쉽게 접근할 수 있어 유방암 검사에 유용하게 사용된다. 본 논문에서는 유방암 진단 데이터로 맘모그래프 데이터를 사용하였다. 본 논문에서는 뉴럴네트워크인 NEWFM(Neural network with weighted fuzzy membership function)를 사용하여 암 조기 진단을 위한 클래스를 분류하였다. NEWFM을 이용하여 데이터를 학습시킨 후 유방암 데이터 분류 결과 정확도가 84.4391%가 나타났다. Breast cancer is the sccond most female cancer patient in the entire female cancer patient, and has emerged as the highest contributor to female cancer deaths. If breast cancer id detected early, the cure rate is 92 percent. However, if early detection fails, breast cancer has a very high rate of metastasis. The transition from cancer to cancer has become more successful as cancer progresses. Early diagnosis of cancer is an important factor in improving quality of life. Examples of breast cancer include Mammograph, ultrasound, and Momotome. Mommography is not only painful for the examiner, but also for easy access to breast cancer exam inations. In this paper, breast cancer diagnosis data mammograph data was used. In addition, the Neural Network were classified for early diagnosis of breast cancer early using NEWFM. After learning of data using NEWFM, the accuracy of the breast cancer data classification was 84.4391%.