A sparse large margin semi-supervised learning method

최호식,김진석,김용대 한국통계학회 2010 Journal of the Korean Statistical Society Vol.39 No.4

In this paper, we propose a sparse semi-supervised learning method, which combines the large margin approach and the L1 constraint. The main contribution of the paper is to develop an efficient optimization algorithm. The objective function to be minimized in a large margin semi-supervised learning method is non-convex and non-differentiable, and hence special optimization algorithms are required. For this purpose, we develop an optimization algorithm, which is a hybrid of the CCCP and the gradient LASSO algorithm. The advantage of the proposed method over existing semi-supervised learning methods is that it can identify a small number of relevant input variables while keeping the prediction accuracy high. Also, the proposed algorithm is simple enough that it can be applied to various real problems without being much hampered by computational limitations. To confirm these advantages, we compare the proposed method with the standard semi-supervised method by analyzing simulated as well as real data sets.

방사선학적 치근단병소의 크기와 특징에 대한 치근단낭종 및 육아종의 상관관계연구

최호식,이우철,손원준,금기연,배광식,백승호 大韓齒科保存學會 2010 Restorative Dentistry & Endodontics Vol.35 No.1

The purpose of this study was to find out the relationship of radiographic lesion size, gender, age of patients and radiographic character to the diagnosis of periapical cyst and granuloma. The data was collected from 187 periapical lesions of 167 patients who undergone apical surgery at Department of Conservative Dentistry, Seoul National University Dental Hospital from 2003 to 2005. The lesion were surgically removed and send for biopsy to the Oral Pathology Laboratory. From the initial radiograph, lesion size was calculated using PiViweSTAR (INFINITT, Korea) program. The obtained data were statistically evaluated using SPSS (p<0.05). The result were as followings: 1. From 187 biopsy samples, the incidence of periapical cyst was 28.34% and granuloma was 65.24%. 2. There was a significant correlation between periapical cyst and the size of radiographic lesion (p<0.01). 3. There were no significant correlations between age, gender, location of lesion and the final diagnosis (p>0.05). 4. There was a significant correlation between the non-demarcation of the lesion and the incidence of periapical granuloma (p<0.01). 본 연구는 2003년부터 2005년까지 서울대학교 치과병원 보존과에 내원한 환자 중 치근단수술을 시행한 환자 167명에서 생검을 위해 적출한 187개의 치근단병소를 대상으로 하였다. 수술 후 조직검사 결과 얻은 진단명과 환자의 진단기록에서 환자의 성별, 나이, 발병 부위, 방사선 사진 상의 특징 그리고 병소의 크기와의 상관관계를 조사하였다. 초진시 방사선 사진에서 치근단병소의 크기를 PiViewSTAR (INFINITT, Korea)를 이용하여 화소를 계산함으로써 면적을 구하였다. 이를 바탕으로 통계 분석프로그램 SPSS (version 12.0K, SPSS Inc., Chicago, IL, USA)를 이용해 방사선사진상 크기와 진단명과의 상관관계를 조사하였다. 나이와 진단명과의 상관관계는 일원배치 분산분석을 시행하고 성별, 부위, 방사선사진상의 특징과 진단명과의 상관관계는 교차분석을 통해 카이제곱검정으로 조사하여 다음과 같은 결론을 얻었다. 1. 187의 치근단병소 조직검사결과 치근단병소 중 치근단낭종의 비율은 28.34%, 육아종의 비율은 65.24%, 기타병소의 비율은 6.42%로 나타났다. 2. 방사선사진상 병소의 크기가 커질수록 치근단 낭종일 확률이 높았다(p<0.01). 3. 나이, 성별, 발병부위와 진단명사이에서 유의 한 상관관계가 없었다(p>0.05). 4. 병소의 경계가 명확하지 않은 것과 치근단육아종의 발생빈도는 통계적으로 유의한 상관관계를 보였다(p<0.01).

단조증가 제약식을 가진 단순회귀분석 방법과 응용

최호식 한국자료분석학회 2017 Journal of the Korean Data Analysis Society Vol.19 No.5

Recently, various constraints have been used as a way to reflect the structure of data in models. In this paper, we consider sum to zero condition and monotonicity constraint of parameters in simple regression model with ordered categorical variable and continuous dependent variables. The sum to zero condition is comparatively advantageous in terms of interpretation rather than that of estimating with a reference level, and monotonicity condition can be useful for the parameter estimation when the distribution of sample is different from population. In this study, we consider a range of parametric effects of ordered categorical variable as a penalty, and develop an algorithm that efficiently calculates the estimator under a linear constraint. As a practical example of the proposed method, we estimate effects of education on income from the US census data in 2011 and convert multilevel categorical variables into categorical variables with a smaller number of levels. In addition, we apply carbon dioxide emission data. We identify increasing pattern of total carbon dioxide emission and note a relation with isotonic regression method. 최근 여러 학습모형에서 자료가 가지는 구조를 모형에 반영하기 위한 방안으로 다양한 제약 조건들이 활용되고 있다. 본 논문에서는 순서형 범주형 설명변수와 연속형 종속변수를 가진 단순회귀분석모형에서, 모수에 대한 영합(sum to zero) 조건과 단조증가 제약조건을 고려한다. 영합 조건은 기준수준을 정하여 추정하는 방식보다 해석적인 면에서 비교우위에 있으며, 단조증가조건은 표본과 모집단과의 상이한 분포로 인해 야기되는 추정량의 편의를 제거하는 데 유용할 수 있다. 연구에서는 순서형 범주형 설명변수의 모수 효과의 크기를 벌점항으로 고려하여, 선형제약식하에서 효율적으로 추정량을 계산하는 알고리즘을 개발하고 이의 특징을 살펴본다. 제안된 방법의 실제 응용사례로써, 2011년 미국 센서스 데이터로부터 학력이 소득에 미치는 영향을 추정하고, 다수준으로 이루어진 학력변수를, 보다 작은 수준수를 가지는 재조합 수준을 가진 범주형 설명변수로 변환하는 방안을 제시한다. 또한, 1990년부터 2008년까지 우리나라의 이산화탄소 배출 총량 데이터에 적용하여 이산화탄소 배출 총량이 단조증가하는 패턴을 확인하고 등위회귀분석(isotonic regression)방법으로의 관련성을 모색한다.

경시적 자료에 대한 분위수 회귀 축소추정방법

최호식,강현철,한상태 한국자료분석학회 2012 Journal of the Korean Data Analysis Society Vol.14 No.2

The longitudinal data refers broadly to data in which the response of each experimental unit or subjects is observed on multiple occasions or varying time. Since multiples observations within a subject are correlated, the mixed model approach using random effects are widely used. However, it tends to inflate effects of covariates when there are large heterogeneity of an individual. In this paper, we consider quantile regression approach which is known to be more robust to such heterogeneous situations. And regularization or shrinkage of these individual effects toward a common value can help modify this inflations effect. From simulations and real data analysis, we show that the proposed penalized quantile regression estimator performs better than the competitors. 경시적 자료(longitudinal data)는 한 개체를 반복적으로 관찰하거나 시간의 추이에 따라 표집된 자료를 일컫는다. 이러한 자료는 여러 관측치들이 한 개체 내에서 표집되기 때문에 구조적인 상관성을 내포한다. 널리 사용되고 있는 혼합모형(mixed model)은 임의효과(random effect)를 통해 구조적인 상관성을 반영할 수 있는 장점을 가지고 있다. 그러나 동일 개체내의 자료들이라도 이질성 경향이 짙은 자료에서는 혼합모형을 통한 추정은 참효과를 과대추정하는 경향이 있는 것으로 알려져 있다. 이러한 점을 개선하고자 Koenker(2004)는 분포가정에 덜 의존하는 벌점화된 분위수 회귀분석을 경시적 자료에 적용하여 이질적인 특성을 가진 개체내 효과를 축소추정하는 방법을 제안하였다. 그러나 Koenker의 방법은 편의추정을 하는 단점을 가지고 있는데, 본 연구에서는 이를 개선한 축소추정 방법을 제안하고자 한다. 모의 실험자료 및 실제 자료분석을 통하여 제안하는 모형이 기존의 모형들보다 우수함을 보였다.

An Extension of COSSO Algorithm by Combining Variables

최호식 한국자료분석학회 2007 Journal of the Korean Data Analysis Society Vol.9 No.5

In the situation in which the number of variables(p) is comparatively larger than the number of sample(n) and there exist variables which have the same effects in the classifier, this paper presents a new variable selection algorithm extending COSSO (COmponent Selection and Smoothing Operator) by utilizing grouped variables. A grouped variable is composed of a component in the kernel expansion of a classifier. The construction of a kernel classifier is carried out by COSSO with the components made from grouped variables. From the results of simulations with synthetic and real data sets, the proposed method is verified to improve the performance of a kernel classifier and enhance the interpretability of the model.

빅 데이터 분석을 위한 지지벡터기계

최호식,박혜원,박창이 한국데이터정보과학회 2013 한국데이터정보과학회지 Vol.24 No.5

We cannot analyze big data, which attracts recent attentions in industry and academy, by batch processing algorithms developed in data mining because big data, by definition, cannot be uploaded and processed in the memory of a single system. So an imminent issue is to develop various leaning algorithms so that they can be applied to big data. In this paper, we review various algorithms for support vector machines in the literature. Particularly, we introduce online type and parallel processing algorithms that are expected to be useful in big data classifications and compare the strengths, the weaknesses and the performances of those algorithms through simulations for linear classification. 최근 산/학계에서 주목받고 있는 빅 데이터는 정의상 한꺼번에 자료를 메모리에 올려 분석할 수 없기 때문에 기존의 데이터마이닝 시대에 개발된 일괄처리 (batch processing) 방식의 알고리즘을 적용할 수 없게 된다. 따라서 가장 시급히 해결해야 하는 문제는 기존의 여러 가지 기계학습방법을 빅 데이터에 적용할 수 있도록 분산처리 (distributed processing)를 수행하는 적절한 알고리즘을 개발하는 것이라 볼 수 있다. 본 논문에서는 분류문제에서 각광받는 지지벡터기계 (support vector machines)의 여러 알고리즘을 살펴보고자 한다. 특히 빅 데이터 분류문제에 유용할 것으로 예상되는 온라인 타입 알고리즘과 병렬처리 알고리즘에 대하여 소개하고, 이러한 알고리즘들의 성능 및 장단점을 선형분류에 대한 모의실험을 통해서 살펴본다.

A Penalized Regression Based Repeat Sales Price Index Estimation

최호식,연규필 한국자료분석학회 2014 Journal of the Korean Data Analysis Society Vol.16 No.6

Transaction-based HPI (house price index) in a low transaction-volume area inferred by the repeat sales price model frequently suffers from high volatility of the estimated indexes because of the thin file of the house prices traded at least over two times during the whole periods of interest. We tackle the problem by using a penalized regression for constructing repeat sales indexes which are induced from smoothed regression coefficients for some properly selected regularization parameter. As a regularization term we consider a ridge type penalty materialized with the difference of two adjacent coefficients in order to make the estimated regression coefficients smoothed enough to induce the corresponding stable house price indexes. The proposed method is applied to the real data set and the results show its superiority to the ordinary repeat sales model especially for the house price indexes in a thin file area.

관성센서 신호만을 활용한 종·횡방향 도로 노면 관측기 설계

최호식,김주희 제어로봇시스템학회 2023 제어로봇시스템학회 국내학술대회 논문집 Vol.2023 No.6

종분류 그룹정보를 활용한 혈류감염 마이크로바이옴 자료의 분류방법

최호식 한국자료분석학회 2019 Journal of the Korean Data Analysis Society Vol.21 No.2

Recently, researches are being actively carried out to analyze impacts of microbiome on human body in many fields including medicine. Microbiome is a generic term for genomic information of intestinal microorganisms which coexist in the human body and generally has more information than genome about DNA sequencing. Since it contains information about external environment factors, it is used to analyze the relationship with response variables. Expression data of microbiome is obtained by measuring number of intestinal microorganisms and has two characteristics. First, each sample has different intestinal environments, and hence variation of microbial population is large. For this reason, centered log ratio transform is usually used. Second, microorganisms are classified in 7 levels in taxonomy. In this paper, we describe a classification method which reflects positive simplex constraint, and introduce a way which utilizes group information in taxonomy. We investigate characteristics of the proposed classification method via microbiome data which is related to the presence or absence of bloodstream infection. 최근 의학을 비롯한 여러 분야에서 마이크로바이옴이 인체에 미치는 영향력을 분석하는 연구가 활발하게 진행 중에 있다. 마이크로바이옴은 인체에 공존하고 있는 장내 미생물의 유전체 정보를 총칭하는 용어로, 일반적으로 염기서열 배열에 관한 유전체 정보보다 풍부한 정보를 가지고 있다. 특히, 외부 환경적 요인 등의 정보도 포함하고 있는 것으로 알려져 있어 질병과 같은 반응변수와의 연관성 분석에 활용되고 있다. 마이크로바이옴의 발현 자료는 장내 미생물의 개체수로 측정되어 얻어지며, 크게 두 가지 특징을 가지고 있다. 첫째, 표본 관측치별로 장내의 환경이 다양한 관계로 각 미생물의 개체수는 척도에서 상당한 차이를 보인다. 하나의 대안으로 전체 미생물의 발현량 총합대비 각 미생물의 발현량의 비율을 분석에 활용할 수 있다. 둘째, 변수역할을 하는 미생물은 생물종분류에 따른 7단계의 위계적으로 분류된 군집정보를 가지고 있다. 본 연구에서는 비율의 합이 1로 제한된 심플렉스 제약식을 모형에 반영하는 방법을 설명하고, 종분류 그룹정보를 활용하는 분류방법을 소개하고자 한다. 혈류감염 유무와 관련된 마이크로바이옴 실제 발현 자료를 통해 방법의 특징을 살펴보고 그 유용성을 모색한다.

통계적 기계학습에서의 ADMM 알고리즘의 활용

최호식,최현집,박상언 한국데이터정보과학회 2017 한국데이터정보과학회지 Vol.28 No.6

최근 여러 분야에서 데이터에 근거한 분석방법론에 대한 수요가 증대됨에 따라 이를 처리할 수 있는 최적화 방법이 발전되고 있다. 특히 통계학과 기계학습 분야의 문제들에서 요구되는 다양한 제약 조건은 볼록 최적화 (convex optimization) 방법으로 해결할 수 있다. 본 논문에서 리뷰하는 alternating direction method of multipliers (ADMM) 알고리즘은 선형 제약 조건을 효과적으로 처지 할 수 있으며, 합의 방식을 통해 병렬연산을 수행할 수 있어서 범용적인 표준 최적화 툴로 자리매김 되고 있다. ADMM은 원래의 문제보다 최적화가 쉬운 부분문제로 분할하고 이를 취합함으로써 복잡한 원 문제를 해결하는 방식의 근사알고리즘이다. 부드럽지 않거나 복합적인 (composite) 목적 함수를 최적화할 때 유용하며, 쌍대이론과 proximal 작용소 이론을 토대로 체계적으로 알고리즘을 구성할 수 있기 때문에 통계 및 기계학습 분야에서 폭 넓게 활용되고 있다. 본 논문에서는 최근 통계와 관련된 여러 분야에서 ADMM알고리즘의 활용도를 살펴보고자 하며 주요한 두 가지 주제에 중점을 두고자 한다. (1) 목적식의 분할 전략과 증강 라그랑지안 방법 및 쌍대문제의 설명과 (2) proximal 작용소의 역할이다. 알고리즘이 적용된 사례로, 벌점화 함수 추정 등의 조정화 (regularization)를 활용한 방법론들을 소개한다. 모의 자료를 활용하여 lasso 문제의 최적화에 대한 실증결과를 제시한다. In recent years, as demand for data-based analytical methodologies increases in various fields, optimization methods have been developed to handle them. In particular, various constraints required for problems in statistics and machine learning can be solved by convex optimization. Alternating direction method of multipliers (ADMM) can effectively deal with linear constraints, and it can be effectively used as a parallel optimization algorithm. ADMM is an approximation algorithm that solves complex original problems by dividing and combining the partial problems that are easier to optimize than original problems. It is useful for optimizing non-smooth or composite objective functions. It is widely used in statistical and machine learning because it can systematically construct algorithms based on dual theory and proximal operator. In this paper, we will examine applications of ADMM algorithm in various fields related to statistics, and focus on two major points: (1) splitting strategy of objective function, and (2) role of the proximal operator in explaining the Lagrangian method and its dual problem. In this case, we introduce methodologies that utilize regularization. Simulation results are presented to demonstrate effectiveness of the lasso.