A Robust Ensemble Classification for Drifting Concepts

Kyupil Yeon 호서대학교 기초과학연구소 2014 기초과학연구 논문집 Vol.22 No.1

The concept drift phenomenon in a data stream mining refers to any circumstances under which the target concept changes over time abruptly or gradually. A machine learning algorithm should be equipped with some instruments in order to track such changing concepts whatever its extent or rate of drift is. In this article, we introduce a regression-based ensemble learning algorithm which is robust to outliers and fastly adapts to any concept drift as well. Fast adpatation to concept drift is materialized by regression-type combiners and robustness is facilitated into the algorithm by utilizing a 少一 likelihood estimation. Some simulation results with artificial data sets with concept drift verify that the proposed method shows a good classification accuracy under concept drift and various level of noises.

Stacking Based Ensemble with Instance Selection in Random KNN

Kyupil Yeon 한국자료분석학회 2020 Journal of the Korean Data Analysis Society Vol.22 No.4

Nearest neighbor classification is a simple and quite effective method. But it has some drawbacks in that it suffers from both so called the curse of dimensionality and computational burden when there are lots of examples. A lot of features in high dimensional data degrade the performance of KNN due to the noisy and redundant variables. Hence some kinds of feature selection mechanism is essential to KNN. Random KNN simplifies the feature selection problem by utilizing an ensemble of KNNs constructed with randomly selected subsets of features. Two kinds of enhancements of the random KNN methodology are proposed in this paper. One is to add an instance selection procedure and the other is to determine the weights by training another combining model instead of simple voting in the random KNN. These two additional procedures applied to the random KNN can improve the classification performance of the original random KNN, which is verified by some data analyses with a real data set.

부분공간 정렬을 통한 비지도 도메인 적응 분류 모형 비교 분석

연규필(Kyupil Yeon) 한국자료분석학회 2023 Journal of the Korean Data Analysis Society Vol.25 No.1

본 논문에서는 비지도 도메인 적응(unsupervised domain adaptation, UDA) 방법 중에서 차원축소 및 부분공간 정렬(subspace alignment)에 기반한 방법론들을 비교 연구하였다. 비지도 도메인 적응은 타겟 도메인(target domain)에 레이블 정보가 주어지지 않은 경우에 서로 다르지만 연관되어 있는 레이블 정보가 충분한 소스 도메인(source domain)의 데이터를 활용하여 타겟 도메인에서도 성능이 우수한 분류 모형을 구축하고자 하는 것이 목표이다. 두 도메인의 입력공간이 동질적인(homogeneous) 상황을 가정하더라도 데이터 생성의 기저 분포가 다른 것이 일반적이므로 소스 도메인에서 구축한 분류 모형이 타겟 도메인에서는 분류 성능이 매우 떨어질 수 있다. 따라서 도메인에 상관없이 분류 성능이 우수한 특징(feature) 변수를 유도하여 모형 구축에 활용하여야 한다. 대표적인 방법으로 주성분 분석을 이용한 차원축소와 부분공간의 기저 벡터 정렬(alignment)에 기반한 부분공간 정렬 도메인 적응(subspace alignment DA) 방법과, 부분공간의 기저벡터 정렬 및 분포 정렬에 기반한 부분공간 분포 정렬 도메인 적응(subspace distribution alignment DA) 방법을 이미지 인식 데이터 분석을 통해 비교 분석하였다. 또한, 부분공간 유도시 지도 주성분 분석(supervised PCA)을 활용하면서 부분공간 정렬을 통한 도메인 적응을 구현하는 방법을 제안하고 앞의 두 방법과 비교하였다. 이미지 분류에 있어서 부분공간 정렬 도메인 적응 방법보다 부분공간 분포 정렬 도메인 적응 방법이 대체로 더 우월한 결과를 보였고, 제안된 지도 주성분 분석 및 부분공간 정렬 기반 도메인 적응 방법은 일부 상황에서 가장 우수한 성능을 보임을 확인하였다. Unsupervised domain adaptation (DA) aims to build a classification model that performs well in the target domain by utilizing some data or information from a source domain that is different but associated with the target domain and has sufficient labeled instances. In this paper, a comparative study on unsupervised domain adaptation methods using subspace alignment was conducted. Two main algorithms are considered. One is the subspace alignment DA and the other is the subspace distribution alignment DA. They are based on dimension reduction using PCA (principal component analysis) and basis vector alignment of the subspace or distribution alignment of the subspace. In addition, a method for realizing domain adaptation through subspace alignment while utilizing supervised PCA for subspace derivation was proposed and compared with the previous two methods. In an image classification data analysis, it was confirmed that the subspace distribution alignment domain adaptation method showed superior results than the subspace alignment domain adaptation, and the proposed domain adaptation method utilizing a supervised PCA and subspace alignment showed the best performance in some situations.

A Copula Based Unsupervised Domain Adaptation for Image Classification

Seungmin Lee(Seungmin Lee),Kyupil Yeon(Kyupil Yeon) 한국자료분석학회 2024 Journal of the Korean Data Analysis Society Vol.26 No.2

In this paper, we present an unsupervised domain adaptation algorithm for image classification using principal component analysis (PCA) and Gaussian copula function alignment. The motivation of the proposed algorithm stems from the idea of CORAL algorithm which extracts domain invariant features by aligning the correlation structure between a source and a target domain. However, it suffers from the fact that highly skewed marginal distributions happen to distort the correlation structure so that it may cause a negative transfer. Therefore we utilize a copula function that enables us to analyze separately the dependency structure and the marginals by Sklar’s theorem. In particular, we propose to align the Gaussian copula correlations in the copula feature spaces instead of aligning the correlation matrices in the original space. Considering the extremely skewed distribution of SURF image features in Office-Caltech10 data set we apply PCA first in order to extract some skewness-mitigated principal features and then derive copula features to align for domain adaptation by using CORAL idea with Gaussian copula correlation matrices. The proposed method showed a good classification accuracy when applied to image classification problem in an unsupervised domain adaptation setting.

A Copula Based Unsupervised Domain Adaptation for Image Classification

Seungmin Lee,Kyupil Yeon 한국자료분석학회 2023 한국자료분석학회 학술대회자료집 Vol.2023 No.1

In this paper, we propose an unsupervised domain adaptation algorithm for image classification using principal component analysis (PCA) and Gaussian copula function alignment. The method is similar to the CORAL algorithm which aligns the correlation structure between source and target domains, but different in that it applies correlation alignment in copula spaces instead of the original variable spaces. Since a copula function enables us to analyze separately the dependency structure from the marginal distributions, the proposed algorithm is considered to be robust to a severely skewed characteristic of the marginals that can distort the correlation structure among the variables. We compared several feature level domain adaptation algorithms for image classification using office-caltech10 data set, and verified the proposed method showed better classification accuracy in an unsupervised domain adaptation framework.

간호학 연구에서 효과크기의 사용에 대한 고찰

강현철(Kang, Hyuncheol),연규필(Yeon, Kyupil),한상태(Han, Sang-Tae) 한국간호과학회 2015 Journal of Korean Academy of Nursing Vol.45 No.5

족저압을 이용한 평지보행과 계단하강 전환보행 판별

김판권(Pankwon Kim),이진규(Jinkyu Lee),연규필(Kyupil Yeon),신충수(Choongsoo S. Shin) 한국자료분석학회 2018 Journal of the Korean Data Analysis Society Vol.20 No.1

본 연구의 목적은 족저압을 이용하여 평지보행과 평지에서 계단하강으로 전환하는 보행을 구분하는 검출 알고리즘을 개발하고 검증하는 것이다. 피실험자는 각각 평지보행과 평지에서 계단하강 전환보행을 수행하였다. 족저압을 기초로 하여 각 동작 별로 발의 접촉시간, 초기 접촉시 내외측 압력중심, 전후방 압력중심, 내외측 압력중심의 이동범위, 전후방 압력중심의 이동범위를 계산하여 보행환경을 판별하는 설명변수로 활용하였다. 각 설명변수에 대한 상자그림과 대응표본 t-검정을 수행한 결과, 발의 접촉시간, 초기 접촉 시 내외측 및 전후방 압력중심, 그리고 전후방 압력중심의 이동범위가 보행환경 간 유의한 평균 차이를 보였다(p<0.001). 이러한 설명변수들을 이용하여 평지보행과 계단하강 전환보행을 판별하는 로지스틱 회귀모형을 생성하고 정확도, 민감도, 특이도 등을 평가하였다. 이 모형에 의한 보행환경 분류 결과는 정확도, 민감도, 특이도가 각각 98.2%, 100% 그리고 96.4%로 나타났다. 결론적으로 로지스틱 회귀모형을 이용하여 생성한 모델은 높은 정확도로 평지보행과 평지에서 계단하강 전환보행을 구분해 낼 수 있었다. 본 연구에서 개발한 보행환경 구분 모형을 추후 보행보조장치에 적용하면 보행환경 식별 능력을 향상시킬 수 있을 것으로 기대된다. The purpose of this study was to develop and validate a detection algorithm that distinguishes between the level walking (LW) and the transition walking from level to stair descent (TW-LSD) based on plantar pressure. Subjects performed LW and TW-LSD. Based on the plantar pressure, the stance time, vertical ground reaction force, anteroposterior (AP) and mediolateral (ML) center of pressure (COP) at initial contact (IC) and AP/ML range of COP were calculated for explanatory variables. After analyzing the results of boxplot and paired t-test for the explanatory variables, the stance time, the ML and AP COP at IC, and AP range of COP were significantly different between LW and TW-LSD (all, p<0.001). Logistic regression models were generated using response variables and explanatory variables. Accuracy, sensitivity, and specificity were 98.2%, 100%, and 96.4%, respectively, as the result of walking condition classification using this model. In conclusion, the model generated by the logistic regression method could distinguish between the LW and TW-LSD with high accuracy.

인자의 불확정성을 반영한 인자점수 추출 및 인자점수 회귀모형에의 응용

윤영주(Young Joo Yoon),연규필(Kyupil Yeon) 한국자료분석학회 2023 Journal of the Korean Data Analysis Society Vol.25 No.6

인자분석(factor analysis)은 다변량 자료로부터 잠재인자를 추출하여 차원축소를 통한 다차원 자료 해석에 많이 사용되고 있는 분석법이다. 또한 추출된 인자에 대한 개별 관측치들의 인자점수(factor scores)를 산출하여 후속적인 회귀분석에 활용하기도 한다. 이러한 인자모형은 인자적재행렬이나 특이분산 등의 모수가 일의적으로 결정되지 않는 모수의 불확정성(parameter indeterminacy)과, 인자모형의 모수가 결정된 상황에서도 잠재인자가 일의적으로 결정되지 않는 인자의 불확정성(factor indeterminacy)이라는 특성을 갖는다. 본 논문에서는 인자의 불확정성과 이를 계량화한 거트만 기준값에 대하여 살펴보고, 인자점수 산출시 인자의 불확정적인 부분까지 반영하여 추정함으로써 이를 활용하여 인자점수 회귀모형의 설명력과 예측의 정확도를 높이고자 한다. 즉, 인자점수를 설명변수 값으로 활용하는 인자점수 회귀모형에서 반응변수와 인자간의 상관계수가 최대가 되도록 인자의 불확정적 부분을 반영한 인자점수를 추출하여 활용하는 방법을 제안한다. 기존의 인자점수와 수정된 인자점수를 기반으로 하는 회귀모형을 모의실험과 실제 데이터에 대한 분석을 통하여 비교한다. 데이터 분석 결과 제안된 인자점수를 이용하는 경우에 회귀모수 추정의 정밀도 및 추정된 회귀모형의 설명력이 더 높음을 확인하였다. Factor analysis is a multivariate analysis method widely used to extract latent factors from high dimensional data and interpret multidimensional data through dimension reduction. Additionally, factor scores of individual observations for the extracted factors are calculated and used in a subsequent regression analysis. This factor model has the characteristics of parameter indeterminacy which means parameters such as the factor loading matrix or unique variance are not uniquely determined, and factor indeterminacy which represents that latent factors are not uniquely determined even in situations where the parameters of the factor model are determined. In this paper, we examine the indeterminacy of factor scores and propose a new method of calculating factor scores that maximize the correlation coefficient between a response variable and a factor in a factor score regression model. Simulations and real data analysis were conducted to compare the existing factor scores using the regression method and the proposed factor scores utilizing the indeterminate part of factors in factor score regression setting. As a result of data analysis, it was confirmed that the estimation accuracy of regression model was higher when using the proposed factor scores.

자율주행 차량의 스티어링 휠 디자인에 따른 사용자 경험 측정 도구 개발

우민선(Min Sun Woo),이인규(In Gyu Lee),김법민(Beop Min Kim),연규필(Kyupil Yeon),김용민(Yong Min Kim) 한국자료분석학회 2023 Journal of the Korean Data Analysis Society Vol.25 No.6

본 연구의 목적은 자율주행 5단계 차량 내에서 스티어링 휠 디자인에 따른 탑승자의 사용자 경험을 측정하는 표준화된 도구를 개발하는 것이다. 문헌 고찰을 통해 구성된 사용자 경험 예비문항에 대해 전문가 집단을 대상으로 내용타당도를 증명한 후 문항 분석을 시행하였으며 문항 20개를 초기 문항으로 선정하였다. 이후 18개의 스티어링 휠 디자인에 대해 21명의 실험 참가자를 대상으로 사용자 경험 설문을 진행하였다. 각각의 디자인은 독립적인 상황으로 간주되어 21명의 실험 참가자에게 수집된 378부의 설문 데이터를 기반으로 도구의 타당도와 신뢰도를 검증하였다. 타당도 분석 결과, 총 19개의 문항을 통해 인자 4개가 추출되었으며 각 인자의 이름을 ‘신뢰감’, ‘사용 의도’, ‘공간 활용성’, ‘정보 접근성’으로 명명하였다. 신뢰도 분석 결과, 인자 4개와 전체 도구의 신뢰도는 모두 Cronbach’s α 계수가 0.7 이상인 것을 확인하였다. 본 연구에서는 자율주행 차량의 다양한 스티어링 휠 디자인을 대상으로 활용될 수 있는 사용자 경험 측정 도구를 개발하였으며, 추후 개발될 스티어링 휠 디자인에 대해 사용자 경험을 평가하는 표준화된 측정 도구로서 활용될 수 있을 것으로 기대한다. The purpose of this study is to develop a standardized scale for measuring the user experience of passengers regarding the steering wheel design in Level 5 autonomous vehicles. Preliminary items for user experience were constructed through literature review, and content validity was proved for the expert group. After a pilot test of 20 items, a user experience survey was conducted with 21 participants, evaluating 18 steering wheel designs. Each design was considered an independent case, and reliability and validity were confirmed based on 378 survey data collected from 21 participants. As a result of the validity analysis, four factors were extracted through a total of 19 items. Each factor was named ‘Trust', ’Intention to use', ‘Space utilization', and ’Information accessibility'. The reliability of four factors and the total scale confirmed that Cronbach's α coefficient was higher than 0.7. In this study, a user experience measurement scale that can be applied to various steering wheel designs of autonomous vehicles was developed. It is expected that it can be used as a standardized measurement scale to evaluate user experience for the steering wheel design to be developed in the future.