자료 주기에 따른 벡터시계열모형 결과의 차이

이준용(Jun-Yong Lee),손재영(Jae-Young Son) 한국주택학회 2010 주택연구 Vol.18 No.2

주택시장 및 토지시장과 거시경제 간의 인과관계 및 장기균형 분석에 벡터시계열모형(VAR, VECM 등)을 적용한 연구들이 다수 있으며, 이 연구들은 부동산시장의 이해에 큰 도움을 주고 있다. 그런데 실증분석 결과 간에 차이가 큰 경우가 많지만, 분석대상 기간이 다르기 때문일 수 있다는 가능성 이상에 대해서는 탐구된 바가 없으며 단지 새로운 모형을 시도하는 연구들만이 있었다.우리는 선행연구들이 월별 자료들을 분기 자료로 축소할 때 발생하는 정보의 손실, 각 기관들이 발표하는 분기별 자료 생성 기준의 불일치, 벡터시계열모형의 변수투입 방법 등에서 개선이 여지가 있다고 파악한다. 이들 반영하여 서울시 주택시장 자료에 적용하였는데, 특히 벡터시계열모형의 데이터 요구량이 큰 것에 주목하여 최근에 제안된 월별 GDP 자료 구축방법을 활용하여 월별 자료를 구축하였다. 월별 자료와 분기별 자료를 이용한 분석 간의 비교를 통해 월별 자료를 분기 자료로 변환할 때 정보의 손실이 크다는 사실을 확인하였다. 특히 월별 자료를 쓸 때 분기별 자료가 설명하지 못하는 변수간의 동태적 관계를 분석할 수 있으며, 모형의 설명력도 높았다. Many researchers have employed vector time-series models such as VAR, VECM to understand inner workings of real estate markets as well as interactions with macro-economic variables. Results of such studies are often incompatible, but the reason has not been systematically analyzed. We identify several methodological flaws in the current literature, including loss of informations in converting monthly data into quarterly data. Recent advances in macroeconomics allow us to generate monthly GDP estimates. Using monthly data, and comparing the results with those using quarterly data, we confirm that increasing data frequency greatly improves explanatory power of the vector time-series models.

한국형모델 대기운동벡터 자료동화 전처리개선 및 예보영향평가

손지영,전형욱,김승범 한국기상학회 2021 한국기상학회 학술대회 논문집 Vol.2021 No.10

자료동화란 관측 자료와 단기 예보장을 결합해서 최적의 모델 초기값을 만들어 수치예보모델의 정확도를 개선하는 방법이다. 자료동화 과정은 이상치나 저품질 자료를 제거하는 전처리 과정을 거친다. 자료의 장기적인 모니터링을 통해 문제가 있는 관측 집단을 블랙리스트로 지정하고, 실시간 관측전처리과정 중 해당 집단을 제거한다. 대기운동벡터의 경우 관측 위성, 센서, 위도 및 고도, 고도할당 기법 등에 따라 상대적으로 품질이 다르기 때문에 각 집단별로 주기적으로 블랙리스트를 갱신, 최적화할 필요가 있다. 본 연구에서는 현업 운영 중인 한국형수치예보모델 자료동화 체계의 대기운동벡터 블랙리스트를 갱신하여 전처리 과정을 최적화하고 모델에 미치는 영향을 평가하였다. 기존 전처리과정에서 걸러지지 못한 불량 자료의 제거를 위해 엄격한 자료 검사를 추가하고, 자료 품질이 떨어지는 육상과 해빙 지역의 적외채널 기반 하층 정보를 블랙리스트에 추가하였다. 그 결과, 기존 대비 월평균 13%의 자료를 추가로 걸러내며, 풍속 편향, 제곱근벡터차가 감소하여 전처리과정이 개선되었음을 확인하였다. 개선된 전처리과정을 통한 한국형 수치예보모델의 예보성능 향상을 검증하기 위하여 2020년 7월 모델 5일 예측을 통한 예보성능평가를 실시하였다. 개선된 전처리과정은 라디오존데 관측 자료 대비 모델의 5일 예보장의 바람, 지위고도, 하층 온도에 대해 1-2%의 평균제곱근 오차 개선율을 보였다. 개선된 전처리과정은 전체적인 모델의 예측 성능 향상에 기여한다.

머신러닝을 사용한 탄성파 자료 보간법 기술 연구 동향 분석

배우람,권예지,하완수 한국지구물리.물리탐사학회 2020 지구물리와 물리탐사 Vol.23 No.3

We acquire seismic data with regularly or irregularly missing traces, due to economic, environmental, and mechanical problems. Since these missing data adversely affect the results of seismic data processing and analysis, we need to reconstruct the missing data before subsequent processing. However, there are economic and temporal burdens to conducting further exploration and reconstructing missing parts. Many researchers have been studying interpolation methods to accurately reconstruct missing data. Recently, various machine learning technologies such as support vector regression, autoencoder, U-Net, ResNet, and generative adversarial network (GAN) have been applied in seismic data interpolation. In this study, by reviewing these studies, we found that not only neural network models, but also support vector regression models that have relatively simple structures can interpolate missing parts of seismic data effectively. We expect that future research can improve the interpolation performance of these machine learning models by using open-source field data, data augmentation, transfer learning, and regularization based on conventional interpolation technologies. 탄성파 탐사를 수행할 때 경제적, 환경적 제약 또는 탐사 장비의 문제 등에 의해 탄성파 자료의 일부가 규칙적또는 불규칙적으로 손실되는 경우가 발생하게 된다. 이러한 자료 손실은 탄성파 자료 처리와 해석 결과에 부정적인 영향을 주기 때문에 사라진 탄성파 자료를 복원할 필요가 있다. 탄성파 자료 복원을 위해 재탐사 또는 추가적인 탐사를 진행하는 경우 시간적, 경제적 비용이 발생하기 때문에, 많은 연구자들이 사라진 탄성파 자료를 정확히 복원하기 위한 보간 기법 연구를 진행해왔다. 최근에는 머신러닝 기술 발달에 따라 머신러닝 기법을 활용한 연구들이 진행되고 있고, 다양한 머신러닝 기술들 중에서도 서포트 벡터 회귀, 오토인코더, 유넷, 잔차넷, 생성적 적대 신경망 등의 알고리즘을 활용한 탄성파 자료의 보간 연구가 활발하게 진행되고 있다. 이 논문에서는 이러한 연구들을 조사하고 분석하여 복잡한 신경망 모델뿐 아니라 상대적으로 구조가 간단한 서포트 벡터 회귀 모델을 통해서도 뛰어난 보간 결과를 얻을 수 있다는 것을 확인했다. 추후 머신러닝 기법들을 사용하는 탄성파 자료 보간 연구들에서 오픈소스로 공개된 실제 자료를 이용하며 데이터증식, 전이학습, 기존 기법을 이용한 규제 등의 기술을 활용하면 탄성파 자료 보간 성능을 향상시킬 수 있을 것으로 기대된다.

대용량 자료에 대한 서포트 벡터 회귀에서 모수조절

류지열(Jee-Youl Ryu),곽민정(Minjung Kwak),윤민(Min Yoon) 한국지능시스템학회 2015 한국지능시스템학회논문지 Vol.25 No.1

커널에 대한 모수의 조절은 서포트 벡터 기계의 일반화 능력에 영향을 준다. 이와 같이 모수들의 적절한 값을 결정하는 것은 종종 어려운 작업이 된다. 서포트 벡터 회귀에서 이와 같은 모수들의 값을 결정하기 위한 부담은 앙상블 학습을 사용함으로써 감소시킬 수 있다. 그러나 대용량의 자료에 대한 문제에 직접적으로 적용하기에는 일반적으로 시간 소모적인 방법이다. 본 논문에서 서포트 벡터 회귀의 모수 조절에 대한 부담을 감소하기 위하여 원래 자료집합을 유한개의 부분집합으로 분해하는 방법을 제안하였다. 제안하는 방법은 대용량의 자료들인 경우와 특히 불균등 자료 집합에서 효율적임을 보일 것이다. In support vector machine, the values of parameters included in kernels affect strongly generalization ability. It is often difficult to determine appropriate values of those parameters in advance. It has been observed through our studies that the burden for deciding the values of those parameters in support vector regression can be reduced by utilizing ensemble learning. However, the straightforward application of the method to large scale problems is too time consuming. In this paper, we propose a method in which the original data set is decomposed into a certain number of sub data set in order to reduce the burden for parameter tuning in support vector regression with large scale data sets and imbalanced data set, particularly.

불균형 자료의 분류분석 방법별 성능 비교와 접근 전략 연구

유병주(Byung Joo Yoo) 한국자료분석학회 2021 Journal of the Korean Data Analysis Society Vol.23 No.1

불균형 자료에 대한 분류분석을 하기 위해서는 두 가지 선택의 문제에 직면하게 된다. 하나는 분류분석을 위한 모형의 선택이고 또 다른 하나는 불균형 문제를 해결하기 위한 방법의 선택이다. 그래서 이 논문에서는 훈련표본의 규모나 독립변수의 수, 불균형 정도 등과 같은 데이터의 특징을 고려한 불균형 자료에 대한 순차적인 접근 전략 문제를 다루었다. 이를 위해 이진 분류 분석의 대표적인 모형인 로지스틱 회귀모형, 서포트벡터 머신, 딥러닝 방법을 자료의 특성에 따른 분류 성능을 비교하기 위한 이론적 고찰과 모의실험을 시행하였다. 그리고 자료의 불균형을 해결하기 위한 개선 방법들과 조합했을 때 Tukey의 다중비교를 통하여 분류 성능이 좋은 최적의 결과를 얻기 위한 접근 전략을 식별하기 위한 모의실험을 하였다. 모의실험 결과 자료의 특성중 훈련표본의 수량과 불균형 여부가 지배적인 요소로 작동되는 것을 확인할 수 있었으며, 훈련 표본이 적은 경우는 로지스틱 회귀모형으로 접근하여 과대추출 방법으로 자료의 불균형 문제를 해결하는 방법이 좋고, 훈련표본이 많은 경우는 딥러닝 방법으로 접근하여 가중치 방법이나 과소추출 방법으로 자료의 불균형을 개선하는 방법이 성능이 우수한 추정 결과를 얻을 수 있는 접근 전략임을 확인하였다. In order to perform a classification analysis on imbalanced data, we are faced with two choices. One is the selection of a model for classification analysis, and the other is the selection of a method to solve the imbalance problem. Therefore, in this paper, I dealt with the problem of sequential approach to imbalanced data, taking into account the characteristics of the data such as the size of the training sample, the number of independent variables, and the degree of imbalance. A simulation is conducted to compare the logistic regression model, support vector machine, and deep learning, which are representative models used for binary classification analysis, to compare the classification performance according to the characteristics of the data. In addition, a simulation was performed to identify the approach strategy for obtaining the optimal result with good classification performance through Tukey s multiple comparison when combined with the methods to resolve the imbalance problem. As a result of the simulation, it was confirmed that the number of acquired samples and the presence of imbalance among the characteristics of the data operate as the dominant factors. In the case of small data, the logistic regression model is the best when combine with the over-sampling method to solve the data imbalance problem. In the case of big data, it was confirmed that the deep learning is the best when combine with the weighed estimation or the under sampling method to resolve the data imbalance problem.

자기조직화지도를 이용한 분류문제에서의 결측자료 대체방법 연구

강동주,송주원 한국자료분석학회 2017 Journal of the Korean Data Analysis Society Vol.19 No.3

Self-organizing maps (SOM) (Kohonen, 1990), one of the unsupervised learning neural network models, are used to conduct cluster analysis or visualize high dimensional data in a low dimensional space. Learning vector quantization (LVQ), one of the supervised learning models utilizing the vector quantization method, is an algorithm to adjust decision borders based on a chosen number of nodes for producing bayesian decision borders and usefully applied to discriminant analysis for data with nonlinear decision borders. Here, we conduct a simulation to show that initial nodes of LVQ based on the SOL algorithm performs better in finding optimal nonlinear decision borders than the ones based on the K-mean clustering method. When data with nonlinear decision borders include missing values, imputation can be implemented to fill in missing values. A simulation is conducted to compare the performance of the LVQ method utilizing SOM when missing values are imputed by mean imputation, hotdeck imputation, and a model based imputation. These imputation methods are also applied to impute missing values of glass identification data and misclassification rates of them are compared. Kohonen(1990)에 소개된 자기조직화지도(self-organizing maps, SOM)는 비지도학습(unsupervised learning) 신경망(neural network) 모형의 한 종류로서 고차원 다변량 자료에 대한 군집분석과 저차원 시각화에 사용된다. 학습벡터 양자화(learning vector quantization, LVQ)는 벡터 양자화(vector quantization) 방법을 활용한 지도학습(supervised learning) 모형의 한 종류로서 사전에 정해진 개수의 노드로 구성된 판별경계를 베이즈 판별경계로 미세하게 조정하는 알고리즘이며 비선형 판별경계를 가지는 자료에 대한 판별분석에 유용하게 사용된다. 본 논문에서는 비선형의 판별경계를 구축해야 하는 경우 SOM 방법의 결과노드를 활용하는 것이 K-평균 군집분석의 결과노드를 활용하는 것보다 최적의 판별경계 구성에 유리할 수 있음을 모의실험을 통해 보였다. 또한 결측값이 존재하면서 비선형 판별경계를 가지고 있는 자료에 대해 일반적인 결측값 대체방법인 평균대체, 핫덱대체, 그리고 모형에 근거한 대체 방법으로 대체를 실시하였을 때 SOM을 활용한 LVQ방법의 성능을 모의실험을 통해 알아보고 유리 판별 자료에 각 결측대체방법을 적용하여 판별 결과를 비교하였다.

운고계 자료를 이용하여 기상 현상을 탐지하기 위한 기계학습 기법 적용

이정환(Jung-Hwan Lee),김용혁(Yong-Hyuk Kim),이용희(Yong Hee Lee) 인문사회과학기술융합학회 2018 예술인문사회융합멀티미디어논문지 Vol.8 No.7

구름은 기후와 날씨 변화에서 가장 중요한 요인 중 하나로, 운고계는 구름의 고도와 운량을 자동으로 관측하는데 사용된다. 본 논문에서는 운고계에서 수집한 후방산란자료에 기계학습기법을 적용하여 기상현상을 탐지하는 방법을 제안한다. 먼저, 수집한 후방산란자료에 잡음을 제거하기 위한 방법으로 선형보간법과 잠음제거 오토인코더를 이용하여 잡음소거를 수행한다. 또한, 관측되는 기상현상이 현저히 적기 때문에 언더샘플링을 적용하여 기계학습기법을 적용했다. 적용한 기법으로는 랜덤포레스트, 서포트 벡터 머신, 인공신경망이며, 학습 시간의 문제로 서포트 벡터 머신과 인공신경망의 경우 특징선택으로 학습인자를 줄여 실험을 진행했다. 탐지한 기상현상으로는 강수, 안개, 기압을 다루었으며 지역별상세관측자료(AWS)와 시정자료를 사용했다. 기계학습의 성능평가를 위한 정확도 측도로 F1-점수를 사용했으며 실험에서 강수의 경우 0.3377, 안개의 경우 0.0949, 기압의 경우 0.3494를 보인다. Clouds are one of the most important factors in climate and weather changes, and A ceilometer is used to automatically observe information about cloud altitude and cloudiness. In this paper, we propose a method to detect the presence-or-not of meteorological phenomena by applying machine learning to the back-scattered data collected from the ceilometer. First, to eliminate the noise in the observation data, linear interpolation and denoising autoencoder is used to perform noise elimination on the back-scattered data. Since the meteorological phenomena is remarkably small, the machine learning method was applied after undersampling. The machine learning used are Random Forests, Support Vector Machine, and Artificial Neural Network. In case of support vector machine and artificial neural network due to learning time problems, experiments were performed by reducing learning factors by feature selection. We deal with precipitation, fog, and atmospheric pressure as meteorological phenomena using AWS and visibility data. The F1-score was used as an accuracy measure for the performance evaluation of machine learning. In the experiment, it is 0.3377 for the precipitation, 0.0949 for the fog, and 0.3494 for the atmospheric pressure.

지구과학에서 위치 및 자세 측정의 역할

임무택,박영수,정현기,신영홍,임형래 한국자원공학회 2016 한국자원공학회지 Vol.53 No.3

Position data are important in many science and technology studies. In particular, when targets are on the earth, position data are critically important. If the properties of targets vary according to the vectorial and tensorial situations, we require both the azimuths of targets in vector and the attitude data in space. In this article, we address the meaning of the position, azimuth and attitude in geoscience, geoengineering and geotechnology, and how to measure and utilize them. 과학, 공학, 기술에서 목표가 되는 성질을 연구할 때, 보조 자료로서 위치 자료가 중요할 때가 많고, 지구를 대상으로 할 때는 결정적으로 중요하다. 그와 더불어 연구 목표가 되는 성질이 벡터, 텐서의 상황에따라 그 값이 달라질 때는 그 성질이 벡터로서 가지는 방향, 공간에서의 자세에 관한 자료도 있어야 한다. 이논문에서는 그러한 뜻에서 위치, 방위, 자세 등을 규정하고, 그것들을 측정하고 이용하는 방법들에 대해서 설명한다.

대용량 자료의 분류분석을 위한 분할정복 서포터 벡터 머신

방성완(Sungwan Bang),한석원(Seokwon Han),김재오(Jaeoh Kim) 한국데이터정보과학회 2021 한국데이터정보과학회지 Vol.32 No.3

일반적으로 SVM (support vector machine)은 높은 수준의 분류 정확도와 유연성을 바탕으로 다양한 분야의 분류분석에서 널리 사용되고 있다. 그러나 SVM은 최적화 계산식이 이차계획법(quadratic programming)으로 공식화되어 많은 계산 비용을 필요로 한다. 따라서 컴퓨터 메모리 능력의 제한으로 SVM을 활용한 대용량 자료의 분류분석은 불가능하다. 이러한 문제점을 해결하기 위하여 본 논문에서는 분할정복 (divide and conquer) 알고리즘을 활용한 SVM(DC-SVM) 분류기법을 제안한다. DC-SVM은 먼저 전체 훈련자료를 몇 개의 부분집합으로 무작위로 분할 (divide)한 후, 각각의 부분집합에 대하여 SVM 분류함수를 추정하고, 이들의 결과를 통합 (conquer)하여 최종적인 분류함수를 추정하는 기법이다. 본 논문에서는 모의실험과 실제자료 분석을 통해 제안한 DC-SVM의 효율적인 성능과 활용 가능성을 확인하였다. The support vector machine (SVM) has been successfully applied to various classification areas with great flexibility and a high level of classification accuracy. However, it is infeasible to use the SVM in analyzing massive data because of its significant computational problems such as the limitation of computer primary memory. To overcome such a problem, we propose a divide and conquer based SVM (DC-SVM) method. The proposed DC-SVM divides the entire training data into a few subsets, and applies the SVM onto each subset to estimate its classifier. And then DC-SVM obtains the final classifier by aggregating all classifiers from subsets. Simulation studies are presented to demonstrate satisfactory performance of the proposed method.

불균형의 대용량 범주형 자료에 대한 분할-과대추출 정복 서포트 벡터 머신

방성완,김재오 한국통계학회 2022 응용통계연구 Vol.35 No.2

The support vector machine (SVM) has been successfully applied to various classification areas with a high level of classification accuracy. However, it is infeasible to use the SVM in analyzing massive data because of its significant computational problems. When analyzing imbalanced data with different class sizes, furthermore, the classification accuracy of SVM in minority class may drop significantly because its classifier could be biased toward the majority class. To overcome such a problem, we propose the DOC-SVM method, which uses divide-oversampling and conquers techniques. The proposed DOC-SVM divides the majority class into a few subsets and applies an oversampling technique to the minority class in order to produce the balanced subsets. And then the DOC-SVM obtains the final classifier by aggregating all SVM classifiers obtained from the balanced subsets. Simulation studies are presented to demonstrate the satisfactory performance of the proposed method. 일반적으로 support vector machine (SVM)은 높은 수준의 분류 정확도를 제공함으로써 다양한 분야의 분류분석에서 널리 사용되고 있다. 그러나 SVM은 최적화 계산식이 이차계획법(quadratic programming)으로 공식화되어 많은 계산 비용이 필요하므로 대용량 자료의 분류분석에는 그 사용이 제한된다. 또한 불균형 자료(imbalanced data)의 분류분석에서는 다수집단에 편향된 분류함수를 추정함으로써 대부분의 자료를 다수집단으로 분류하여 소수집단의 분류 정확도를 현저히 감소시키게 된다. 이러한 문제점들을 해결하기 위하여 본 논문에서는 다수집단을 분할(divide)하고, 소수집단을 과대추출(oversampling)하여 여러 분류함수들을 추정하고 이들을 통합(conquer)하는 DOC-SVM 분류기법을 제안한다. 제안한 DOC-SVM은 분할정복 알고리즘을 다수집단에 적용하여 SVM의 계산 효율을 향상시키고, 과대추출 알고리즘을 소수집단에 적용하여 SVM 분류함수의 편향을 줄이게 된다. 본 논문에서는 모의실험과 실제자료 분석을 통해 제안한 DOC-SVM의 효율적인 성능과 활용 가능성을 확인하였다.