CNN 은닉층 증가에 따른 인공지능 정확도 평가: 뇌출혈 CT 데이터

김한준,강민지,김은지,나용현,박재희,백수은,심수만,홍주완 한국방사선학회 2022 한국방사선학회 논문지 Vol.16 No.1

Deep learning is a collection of algorithms that enable learning by summarizing the key contents of large amounts of data; it is being developed to diagnose lesions in the medical imaging field. To evaluate the accuracy of the cerebral hemorrhage diagnosis, we used a convolutional neural network (CNN) to derive the diagnostic accuracy of cerebral parenchyma computed tomography (CT) images and the cerebral parenchyma CT images of areas where cerebral hemorrhages are suspected of having occurred. We compared the accuracy of CNN with different numbers of hidden layers and discovered that CNN with more hidden layers resulted in higher accuracy. The analysis results of the derived CT images used in this study to determine the presence of cerebral hemorrhages are expected to be used as foundation data in studies related to the application of artificial intelligence in the medical imaging industry. 딥러닝은 다량의 데이터 속에서 핵심적인 내용을 요약해 학습하는 알고리즘의 집합으로 의료영상 분야에서 병변을 진단하는 목적으로 사용되기 위해 발전하고 있다. 본 논문에서는 뇌출혈 진단 정확성을 평가하기 위해 CNN을 이용해 뇌실질 CT 영상과 뇌출혈이 의심되는 뇌실질 CT의 진단 정확도를 도출하였다. 은닉층 수에 따른 정확도를 비교한 결과 은닉층이 증가할수록 정확도가 높아졌다. 본 연구에서 도출된 CT 뇌출혈 유무 분석 결과는 앞으로 의료영상 분야와 인공지능 접목에 관한 연구에서 기초 자료로 사용될 것으로 사료된다.

은닉층을 갖는 로지스틱회귀에서의 로버스트추정법

김부용,정은주 숙명여자대학교 자연과학연구소 2003 자연과학논문집 Vol.- No.14

데이터마이닝 기법으로 많이 사용되고 있는 로지스틱회귀분석은 반응변수가 이항형인 경우에 적용되는데, 반응변수의 관측치가 참값이 아니고 일종의 추정치에 해당되는 경우가 있다. 이러한 상황에서는 은닉층을 갖는 로지스틱회귀모형을 적용할 수 있다. 이 모형에서의 추정법으로는 추정된 우도를 최대화시키는 최대추정우도추정법을 사용할 수 있는데, 이 추정법은 최우추정법과 달리 설명번수의 관측치들이 완전분리된 상황에서도 추정량을 얻을 수 있다는 장점을 가지고 있다. 그러나 취우추정량과 같이 최대추정우도추정량은 이상점에 대해서 로버스트하지 않다는 단점의 적합성과 타당성을 최우추정량 및 최대추정우도추정량과 비교분석을 하였는데, 로버스트최대추정우도추정량의 적합성과 타당성이 상대적으로 우수한 것으로 평가되었다. The logistic regression analysis, one of the data mining techniques, is widely used when response variable is dichotomous. There are data sets in which the observed response in not equal to the unobservable true response, due to the misclassification. In these situations a logistic regression model with a hidden layer can be employed. This model is called the hidden logistic model since the unobservable true responses are considered as a hidden layer in neural network. To this model the maximum estimated likelihood estimator can be applied, which always exists even when there is separation in the data set. However this estimator is not robust against the outliers. Thus, a robust estimator is proposed that is called the robust maximum estimated likelihood estimator. And it is shown that the estimator is superior to other estimators in terms of the goodness-of-fit and validity.

심층신경망에서 적절한 은닉층 수와 노드수에 대한 탐색적 자료 분석

이재은,장대흥 한국품질경영학회 2018 한국품질경영학회 학술대회 Vol.2018 No.-

심층신경망에서 적절한 은닉층의 수와 노드 수는 아직까지 명확하게 밝혀지지 못하였다. 하지만 이를 해결하기 위하여 이론적으로 접근을 하게 되면 많은 어려움이 있다. 본 연구에서는 대안적인 방법으로 예측과 분류의 몇 가지 예제를 통하여 탐색적 자료 분석을 이용하여 해법을 찾아보고자 한다. 또한, 선행연구에 의해 알려진 적절한 은닉층수와 노드 수에 대해서도 살펴보고자 한다.

주행속도 예측을 위한 모형 개발 (2차로 지방부 도로 중심으로)

이종필,김성호 대한교통학회 2002 大韓交通學會誌 Vol.20 No.1

This study introduces a developed artificial neural networks(ANN) model as a more efficient and reliable prediction model in operating speed prediction with the 85th percentile horizontal curve of two- way rural highway in the aspect of evaluating highway design consistency. On the assumption that the speed is decided by highway geometry features, total 30 survey sites were selected. Data include curve radius, curve length, intersection angle, sight distance, lane width, and lane of those sites and were used as input layer data of the ANN. The optimized model structure was drawn by number of unit of hidden layer, learning coefficient, momentum coefficient, and change in learning frequency in multi-layer a ANN model. To verify learning performance of ANN, 30 survey sites were selected while data in obtained from the 20 sites were used as learning data and those from the remaining 10 sites were used as predictive data. As a result of statistical verification, the model D of 4 types of ANN was evaluated as the most similar model to the actual operating speed value; R2 was 85% and %RMSE was 0.0204. 본 연구는 도로의 설계일관성 평가를 위해 지방부 2차로 도로의 평면 곡선부 85백분위 주행속도 예측모형을 기존의 회귀모형에 비해 보다 효율적이고 신뢰성 높은 인공신경망 이론을 적용하여 개발하였다. 곡선반경, 곡선길이, 교차각, 시거, 차로폭, 차선(안쪽, 바깥쪽)과 같은 기하구조 특성에 의해 속도가 결정된다는 가정하에 30개 조사지점을 통해 얻어진 자료를 모형의 입력층 자료로 이용하였고, 입력층 변수에 따라 네 가지 유형의 신경망 모형을 제시하였다. 신경망 모형 중 다층신경망 모형을 적용하여 은닉층의 유니트 수, 학습계수, 모멘텀계수, 학습횟수의 변화에 따른 최적 모형 구조를 도출하였다. 신경망 모형의 학습성능을 검증하기 위하여 선정된 30개 조사지점에서 20개 지점을 모형의 학습자료로 나머지 학습되지 않은 10개 지점을 예측자료로 활용하였다. 분석결과, 네 가지 유형의 신경망 모형 중에서 모형 D가 통계적 검증결과 R2값이 85%이며, %RMSE=0.0204로 가장 실제값에 유사한 모형으로 평가되었다.본 연구는 한국과학재단(ERC)의 지원을 받아 연구를 수행하게 되었음.

스왑포인트 결정요소를 이용한 머신러닝 기반의 원/달러 환율 예측 모형에 관한 연구

김영철(Young Churl Kim),이현준(Hyun Jun Lee),김지우(Ji Woo Kim),안재준(Jae Joon Ahn) 한국데이터정보과학회 2018 한국데이터정보과학회지 Vol.29 No.1

경제의 개방화가 이루어지고 국가 간 교류가 더욱 증가하고 있는 상황 속에서, 국제간의 결제 및 금융거래의 기본이 되는 달러화는 대표적 기축통화로써 영향력이 증가하고 있다. 이러한 이유로 정확한 환율 예측에 대한 필요성은 금융시장에서 꾸준히 중요한 이슈로 다루어 지고 있다. 본 연구에서는 환율 및 금리와 관련된 데이터를 입력 값으로 다는 다층퍼셉트론 모형을 통해 원화와 달러화 사이의 환율을 예측한다. 환율 예측의 입력 변수는 외환시장의 스왑포인트 결정요소인 현물환율, 원화금리, 달러화금리, 달러화조달 리스크 프리미엄으로 설정하였으며, 다층퍼셉트론 모형의 은닉층과 노드의 개수를 변화시키면서 실험을 진행하여 환율예측에 가장 최적화된 구조를 탐색한다. 예측의 성과는 실제 환율과의 차이를 통해 측정하며, 정규분포에 기초한 랜덤워크 과정 및 선물환율 결정모형과 비교하여 본 모형의 우수성을 확인한다. 본 연구의 실험결과를 통해 대표적인 인공신경망 모형인 다층퍼셉트론 방법론의 환율 예측력을 확인했으며, 향후 시장 참여자들이 외환 투자에 대한 의사를 결정하고 거래에 참여하는데 도움을 줄 것으로 기대한다. With the globalization of the economy and the increasing interconnection of countries, the influence of the dollar, which is the main key currency of international settlement and financial transactions, is increasing, and the need for precise exchange rate prediction is emerging. In this study, the exchange rate between the korean won and the dollar is predicted by using multi layer perceptron model. The input variables are the spot exchange rate, the korean won interest rate, the dollar interest rate, and the dollar procurement risk premium, which are the determinants of the swap point. Empirical study is carried out by varying the number of hidden layers and nodes in the model to find the optimized model structure for USD/KRW exchange rate prediction. The performance of the prediction is measured by the difference from the actual exchange rate, and the superiority of the suggested model is verified by comparing the performance with the random walk process and forward exchange rate. The results of this study confirm the exchange rate forecasting ability of the multi layer perceptron, which is a representative artificial neural network. Also, the market participants will be supported for the foreign exchange investment by using proposed model in this study.

딥러닝에서 초매개변수 조율을 위한 실험계획법

장대흥,이재은 한국품질경영학회 2019 한국품질경영학회 학술대회 Vol.2019 No.-

딥러닝에서 초매개변수는 딥러닝 모델의 성능을 크게 좌우하는 값들이다. 은닉층의 개수, 은닉층내 은닉노드의 개수, 배치(batch)의 크기, 학습률(learning rate), momentum, 활동화함수 (activation function)의 선택, 가중치 감소시의 규제 강도(regularization strength) 등이 있다. 딥러닝에서 초매개변수의 조율을 위한 방법으로서는 그리드탐색, 임의탐색, 베이지언 방법 등이 있다. Gustave 등 (2018)은 랜덤포리스트에서 초매개변수의 조율을 위한 방법으로서 실험계획법을 사용하는 방법을 새로이 제시하였다. 본 연구에서는 딥러닝에서 초매개변수의 조율을 위한 방법으로서 실험계획법을 사용하는 방법을 제시하고자 한다. 몇 가지 사례를 통하여 이 방법을 구현하여 본다.

출력기반 적응제어기법을 이용한 틸트로터 항공기의 회전익 모드 설계연구

하철근(Cheolkeun Ha),임재형(Jae-hyoung Im) 한국항공우주학회 2010 韓國航空宇宙學會誌 Vol.38 No.3

본 논문에서는 틸트로터 항공기의 회전익 모드에 대한 자율비행 유도제어 알고리즘을 적응제어기법을 이용하여 설계하는 것이다. 이를 위해 우선 출력기반 근사적 궤환선형화 기법을 통하여 알고리즘의 내부루프를 구성하고 그로부터 발생하는 모델오차를 단일 은닉층-신경망을 적용하여 상쇄하였다. 그리고 리아푸노프 안정성 이론에 따른 적응제어 갱신법칙은 선형 관측기를 기반으로 설계하였다. 나아가 외부루프는 경로점 유도법칙으로부터 생성되는 궤적을 추종하도록 하였으며 특히 엄밀한 자동착륙 궤적추종 성능 향상을 위하여 방향각 및 비행경로각 시선유도법칙을 설계하였다. 틸트로터 비선형 모델 시뮬레이션 결과는 콜렉티브 입력에서 보이는 순간적인 작동기 포화현상 이외에는 만족할 만한 안정성과 추종성능을 보여 주고 있다. This paper deals with an autonomous flight controller design problem for a tilt-rotor aircraft in rotary-wing mode. The inner-loop algorithm is designed using the output-based approximate feedback linearization. The model error originated from the feedback linearization is cancelled within allowable tolerance by using single-hidden-layer neural network. According to Lyapunov direct stability theory, the adaptive update law is derived to run the neural network on-line, which is based on the linear observer dynamics. Moreover, the outer-loop algorithm is designed to track the trajectory generated from way-point guidance. Especially, heading and flight-path angle line-of-sight guidance are applied to the outer-loop to improve accuracy of the landing tracking performance. The 6-DOF nonlinear simulation shows that the overall performance of the flight control algorithm is satisfactory even though the collective input response shows instantaneous actuator saturation for a short time due to the lack of the neural network and the saturation protection logic in that loop.

낙동강 유역의 SPI 예측을 위한 심층신경망 개발 및 검증

최영태,이경은,김광섭 한국데이터정보과학회 2019 한국데이터정보과학회지 Vol.30 No.6

본 연구에서, 낙동강 유역의 SPI6를 예측하기 위해 신경망 모형 중 하나인 다층 퍼셉트론 (MLP; multilayer perceptron)을 적용했다. 월별 표준강수지수, 기온, 기온 평년값, 강수량, 강수 평년 값, 강수일수, 그리고 여러가지 세계기후지수를 설명 변수로 사용했으며, 최적의 모형을 찾기 위해 두 가지의 활성함수, 네 가지의 은닉층별 뉴런 수, 다섯 가지 중도탈락 비율 (dropout rate), 다섯 가지 은닉층 수, 두 가지 손실 함수를 고려하였다. 모형 평가 기준으로 검증평균제곱오차 (validation mean square error)를 이용하여 가장 좋은 모형을 찾고자 하였다. SPI6를 예측함에 있어서, (L_1) 정규화를 적용한 모형이 적용하지 않은 모형보다 검증평균제곱오차 (validation mean square error)가 항상 더 낮았으며, 대부분의 지역에서 은닉층 수가 적을수록 검증평균제곱오차 (validation mean square error)가 더 낮은 경향을 보였다. In this study, we applied a kind of deep neural network, a multilayer perceptron (MLP), to predict SPI6 of Nakdong River Basin. The monthly standard precipitation indices, temperature, temperature normal value, precipitation, normal precipitation, precipitation date, and various global climate indexes are used as explanatory variables. To find the optimal model, we consider two active functions, four types of the neurons per a hidden layer, five types of dropout rates, five types of the number of hidden layers, and two loss functions. We use the validation mean square error for the evaluation. The validation mean square error was always lower in the model with L_1 normalization than in the model without the normalization. In most areas, the smaller the number of hidden layers, the lower the validation mean square error.

알파고: 나는 자연종 인간과 둔 바둑을 이겼다 -로봇종 인간의 의식론 서설

정대현 한국과학철학회 2017 과학철학 Vol.20 No.3

It is said that Alphago won the Go game over humans of natural kind. But in order to apply the predicate “wins the Go game” to Alphago a basis for the application of the predicate must be presented. For it presupposes that Alphago has the strong artificial intelligence, which requires that it has abilities of thinking, believing, understanding. I would discuss in the present paper about the notion of consciousness which all those mental abilities are disposed to. The notion of consciousness appears to be understood through the cases of actualization of consciousness on the part of humans of natural kind. They may be summed up by 3 conditions of the first person integration, the perspectival structuality, and phenomenal qualities. Then, would a robot be able to be equipped with these abilities of consciousness? I would discuss what would be the problems or difficulties to allow it to have the abilities and how it would be possible to meet those challenges. 알파고가 자연종 인간과 둔 바둑에서 이겼다고 하지만, 그렇게 말할 수 있기 위해서는 알파고에게 ‘바둑에서 이겼다’라는 술어를 적용할 수 있는 근거가 마련되어야 한다. 이것은 알파고 같은 로봇에게 강한 인공지능을 허용하는 경우이고, 이해, 믿음, 느낌 등의 의식의 일반 능력이 어떻게 작동될 수 있는가의 현실성을 전제하는 것이다. 이 논문은 로봇의 강한 인공지능 중에서 의식의 주제에 한정하여 논의하고자 한다. 자연종 인간의 의식은 이 의식을 현실적으로 실현하는 방식에 의해 조명된다. 이러한 의식은 주체의 경험들을 일인칭적으로 통합하고, 그 통합에 관점적 구조성을 부여하며 그러한 집행의 결과를 감질현상적으로 드러낸다. 그렇다면 로봇은 의식을 갖기 위해 이러한 의식의 3 요소를 어떻게 장착할 수 있을 것인가? 이 논문은 그러한 과제의 어려움을 지적하면서도 그 어려움의 극복이 어떠한 조건에서 가능할 것인가를 논의하고자 한다. 이러한 논의에 중요하게 떠오르는 것은 인간의 잠재의식과 로봇의 은닉층 구조의 대비적 관계이다. 이 대비는 서로에 대한 이해와 가능성을 시사할 것이다.

신경회로망을 이용한 맞대기 용접부의 잔류응력 예측에 관한 연구

차용훈,이연신,성백섭 朝鮮大學校 機械技術硏究所 2000 機械技術硏究 Vol.3 No.2

In order to achieve effective prediction of residual stresses, the series experiment were carried out and measured the residual stresses using the backpropagation algorithm from the neural network and the sectional method. Using the experimental results, the optional control algorithms using a neural network should be developed in order to reduce the effect of the external disturbances on during GMA welding processes. Then the results obtained from this study showed that through comparison between the measured and calculated results, the neural network based on backpropagation algorithm might be controlled weld quality. This system can not only help to understand the interaction between the process parameters and residual stress, but also, improve the quantity control for welded structures.