임상시험에서 이분형 결측치 처리방법의 비교연구

안구성,김동재,An, Koosung,Kim, Dongjae 한국통계학회 2016 응용통계연구 Vol.29 No.3

임상시험에서 흔히 발생하는 결측치 중 이분형 결측치에 대한 논의를 하였다. 본 논문에서는 결측치가 발생하는 기재를 논의하고 기존의 여러 이분형 결측치 대체 방법과 수정된 결측치 대체방법을 소개하였다. 이후 각 결측치 대체 방법을 실제 자료에 적용하여 모의 실험을 진행하였다. 실제 자료의 성격 및 결측률의 변화에 따른 결측치 대체 방법들의 성능비교를 통해 진행하였다. 마지막으로 각 결측치 대체 방법에 대한 모의 실험 결과를 요약하고 토의하였다. We discussed how to handle missing binary data clinical trials. Patterns of occurring missing data are discussed and introduce missing binary data imputation methods that include the modified method. A simulation is performed by modifying actual data for each method. The condition of this simulation is controlled by a response rate and a missing value rate. We list the simulation results for each method and discussed them at the end of this paper.

딥러닝을 활용한 적응형 비트레이트 스트리밍 서비스 연구 동향

윤원준(Won Joon Yun),최민석(Minseok Choi),김중헌(Joongheon Kim) 한국통신학회 2022 한국통신학회 학술대회논문집 Vol.2022 No.2

적응형 비트레이트 스트리밍 서비스는 사용자 품질을 보장하면서 동시에 대역폭을 최적화하는 기술이다. 유튜브, 넷플릭스 등에서 이미 활용하고 있는 기술이다. 인공지능의 발전에 따라 적응형 비트레이트 스트리밍 분야에서도 초해상화, 강화학습을 이용한 비트레이트 조절 등의 연구가 활발하게 수행되고 있다. 본 논문은 적응형 비트레이트 스트리밍의 개념을 소개하고, 초해상화를 통한 적응형 비트레이트 스트리밍에서의 품질 향상, 심층강화학습을 통한 비트레이트 조절에 관한 연구 동향을 소개하고, 앞으로의 연구 방향을 제시한다.

설문자료의 결측치 처리방법에 관한 연구: 다중대체법과 재조사법을 중심으로

고길곤,탁현우 서울대학교 한국행정연구소 2016 行政論叢 Vol.54 No.4

Even though many studies warn of the impact of missing values on analytical results, in practice, researchers simply rely on the listwise deletion method for their own convenience. Some argue that the multiple imputation method is inferior to the callback method even if they want to utilize it. This paper tries to integrate the multiple imputation method with the callback method. As the callback method is costly, the appropriate ratio is a practically and theoretically important question. This survey tries to suggest a ratio using survey and simulation data. According to the results of the analysis, the multiple imputation method does not cause significant statistical bias regardless of missing mechanisms or correlation among variables if the missing rate is less than 30%. In particular, including more auxiliary variables related to the missing structural mechanism can increase the performance of the multiple imputation. Hence, the callback approach can be used to reduce the missing rate below 30% and the multiple imputation to improve the validity of the results of analysis. 결측치에 대한 고민 없이 분석에서 제외하는(완전제거법) 경우, 기술통계 뿐만 아니라 상관관계나 회귀계수 같은 변수 간 관계에 대한 분석결과에도 영향을 미친다는 사실이 알려져 있다. 하지만 재조사법과 다중대체법과 같은 통계적 방법 등 ‘결측치를 어떻게 처리할 것인가’에 대한 연구에 비해 이들의 실질적인 활용방법에 관한 연구는 부족한 실정이다. 본 논문은 재조사법과 통계적 대체방법의 장점을 결합한 분석방법을 제시하였다. 단순히 재조사법과 다중대체법 간의 상대적 우월성 평가에 맞추기보다는, 이들을 적절히 조화한 비용효과적인 결측치 보정 가능성을 제시하였다. 또한, 그 성능을 평가하기 위해 가상데이터에 대한 시뮬레이션 자료와 실제 설문자료를 이용하여 분석 결과의 타당성을 교차 검증하였다. 분석 결과 시뮬레이션과 실제 데이터를 이용한 분석 모두에서 결측 메커니즘이나 변수 간 관계 등과 상관없이 결측률이 약 30% 이하인 경우 통계적 다중대체법이 통계적 편의를 유발하지 않는 것으로 나타났다. 또한, 특정 변수의 결측된 원인을 설명할 수 있는 변수인 종속변수나 분석모형에 포함되지 않더라도 결측된 변수를 설명할 수 있는 관측된 변수(보조변수)를 대체모형에 포함하는 경우, 통계적 대체방법의 성능은 더욱 향상되는 것으로 나타났다. 따라서 결측률이 높은 자료에서도 재조사법을 통해 결측률을 일정 수준 이하로 낮추는 경우 통계적 대체방법을 통해 분석결과의 타당성을 높일 수 있음을 확인하였다.

결측치 대체방법에 대한 경험적 비교

이승주,전성해 한국지능시스템학회 2009 한국지능시스템학회 학술발표 논문집 Vol.19 No.1

대용량의 데이터베이스로부터 숨겨진 패턴을 찾아내는 데이터 마이닝 과정에서 결측치 대체는 데이터의 전처리 과정에서 필요한 작업이다. 결측치가 포함된 불완전한 데이터보다는 결측치를 대체한 완전한 데이터 집합으로부터의 마이닝 작업이 더 향상된 결과를 기대할 수 있게 된다. 본 논문에서는 현재 통계학 분야에서 개발되어 사용되는 결측치 대체 기법들에 대하여 알아보고 통계 패키지와 결측치 대체 알고리즘에 따른 경험적 비교를 수행한다. 이를 통하여 주어진 데이터 마이닝 작업에 가장 적절한 결측치 대체 기법을 결정할 수 있도록 한다.

강건하고 설명 가능한 스마트 미터 데이터 결측치 대체 기법

한유나,문지훈,노승민,장항배 한국전자거래학회 2022 한국전자거래학회지 Vol.27 No.3

To handle the issues related to climate change and the energy crisis, smart grid and microgrid technologies based on renewable energy and energy storage systems are receiving lots of attention. In particular, accurate short-term load forecasting (STLF) is essential in establishing energy strategies in the energy management system, a significant element of the smart grid; herein, external factors, such as time-stamps and weather information, and historical electric load are utilized as input variables for the construction of STLF models. However, various internal and external aspects may cause missing values in smart meter data, which deteriorate the performance of the forecasting model due to a lack of training data. To address this issue, this study proposes a missing value imputation method for smart meter data. We first collect building electrical energy consumption data from commercial and industrial buildings in South Korea and configure various input variables related to the building electrical energy consumption. We then construct a missing value imputation model based on LightGBM (short for Light Gradient Boosting Machine) to replace missing values via 5-fold and 10-fold cross-validations, assuming that 20% and 10% of the missing values exist. We finally apply SHAP (short for SHapley Additive exPlanations) to the LightGBM model for different buildings and cross-validations to represent the interpretability of these models. Through various experiments, the LightGBM model derived better performance than other famous machine learning models in missing value imputation, and the input variables related to the days of the week were the significant variables in constructing the missing value imputation model. 최근 기후변화와 에너지 위기에 대응하기 위해, 신재생에너지 및 에너지저장장치를 활용하는 스마트 그리드와 마이크로 그리드 기술이 주목받고 있다. 특히, 스마트 그리드의 주요 요소인 에너지관리시스템에서 정확한 단기 전력수요 예측은 에너지 전략 수립에 있어 매우 중요하며, 통상적으로 시간과 기상 정보와 같은 외부 요인 및 과거 전력 사용량이 단기 전력수요 예측 모델의 입력변수로 활용된다. 하지만, 다양한 내부 및 외부 요인으로 인해 스마트 미터 데이터의 결측치가 발생할 수 있으며, 이는 학습 데이터 부족으로 인해 예측 모델의 성능을 저하하는 요인이 된다. 이러한 문제를 다루기 위해, 본 연구는 스마트 미터 데이터의 결측치 대체 기법을 제안한다. 먼저, 국내의 일반용과 산업용 건물의 전력 사용량을 수집하고, 전력 사용량과 연관성을 갖는 다양한 외부 요인을 입력변수로 구성한다. 다음으로, LightGBM 기반의 결측치 대체 모델을 구성하여 결측치가 20%, 10%가 존재한다는 가정에 따라, 5겹과 10겹 교차검증을 통해 결측치를 대체한다. 마지막으로, 건물별, 교차검증별로 LightGBM에 SHAP을 적용하여 모델의 해석 가능성을 제시한다. 다양한 실험을 통해, LightGBM은 여러 기계학습 모델보다 더 나은 결측치 대체 성능을 보였으며 시간과 공휴일 여부와 관련된 입력변수들이 결측치 추정 모델 구성에 주요 변수임을 확인할 수 있었다.

그래프 기반 준지도 학습을 이용한 속성값 전파 결측치 추정

신유경(Yukyung Shin),신현정(Hyunjung Shin) 한국정보과학회 2019 정보과학회 컴퓨팅의 실제 논문지 Vol.25 No.10

데이터의 레코드들 중에 하나 이상의 속성값이 없는 경우는 비일비재하다. 많은 경우에 있어서 데이터의 수 대비 결측치가 없는 완전레코드의 수의 비율이 적다. 이에 대하여 평균값, 최빈값, 그리고 중앙값 등으로 대체하는 통계적 방법이 가장 보편적으로 쓰이고 있다. 또한 기계학습에서도 k-최근접 이웃탐색이나 의사결정나무 등을 활용한 결측치 추정방법들이 자주 활용된다. 전자는 각 속성의 대표하는 값으로 대체하는 전역적 방법인데 반해 후자는 해당 레코드와 유사한 레코드들의 속성값으로 대체하는 지역적 방법이라 할 수 있다. 그러나 한 속성의 값이 대부분 결측된 경우라면 두 방법 모두 활용하기 어렵다. 이러한 한계를 극복하기 위하여, 본 연구에서는 결측치의 속성과 상관성이 큰 이웃 속성들로부터 값을 추정하는 방법을 제안한다. 속성 간 상관성을 기반으로 하여 한 속성의 대부분의 값이 결측이 되더라도 활용할 수 있다. 제안 방법론으로는 속성들 간의 상관계수로 이루어진 상관 그래프를 만들고, 그래프 기반 준지도 학습을 적용한다. 결측치는 다른 속성값들로부터 상관계수에 비례하여 전파되어 추정된다. 본 논문에서 제안한 결측치 대체 추정 방법과 기존에 결측치 대체에 많이 사용하는 통계적 방법과 기계학습을 비교하여 실험을 진행하였다. The number of data records without one or more attributes is very large. In many cases, few complete records are available without missing the data values. Statistical methods that replace the missing values with mean, mode and median are commonly used. In machine learning algorithms such as K-nearest neighborhood or decision tree, the missing values are replaced by estimation methods. The statistical method is a global method that replaces each attribute with a representative value, whereas the machine learning algorithm is a local method that replaces the attribute values similar to the records. However, it is difficult to use both methods for records that contain almost all the missing values. In order to overcome these limitations, in this paper, we propose a method to estimate values from neighborhood properties associated with large correlation with the missing attribute. It is based on correlation between attributes, and can be used even if the attributes carry almost missing values. In this proposed method, a correlation graph representing correlation coefficients related to attribute values was constructed based on graph-based semi-supervised learning. Missing values were estimated in proportion to the correlation coefficient derived from related attributes. In this paper, the proposed method compared the statistical method and machine learning algorithm, which are generally used for missing value imputation.

행정조사분석에서의 결측치 처리방법 - NORM을 활용한 다중대체방법을 중심으로

김덕준(金德俊) 한국국정관리학회 2007 현대사회와 행정 Vol.17 No.1

  행정ㆍ정책현상을 대상으로 계량분석방법의 적용이 증대되어 왔으나 분석자료에 수반되는 결측치의 처리문제는 관심대상에서 제외되어 왔다. 하지만 결측치의 존재는 분석자료의 불완전성을 가져오며 도출된 추정치의 불편성을 훼손시키며 통계적 검증의 신뢰성을 과장함으로써 분석결과의 타당성을 크게 저하시킨다.<BR>  따라서 본 논문은 결측치 보완방법으로서의 다중대체방법의 논리를 점검하고, 이를 실제 행정ㆍ정책연구의 분석자료에 적용하여 그 결과와 방법론적 함의를 논의하였다. 분석의 결과, 다중대체방법은 결측치의 발생기제가 무작위 방식일 때 효과적 보완방법으로 평가된다. 또한 그 발생기제에 상관없이 결측치 비율이 어느 수준 이상 높다면 일반적 보완방법인 완전사례분석보다 효율적인 것으로 평가된다.   This study illuminates the logic of multiple imputation (MI) method for missing data in public administration research. Based on theoretical background, the paper utilizes NORM version 2.03 program to apply the MI method to a real incomplete data set.<BR>  Results clearly indicate that the MI method is an effective solution for missing data especially in case of MAR (missing at random) data. Regardless of the mechanism underlying the missing data, in addition, the MI method can be evaluated as a more effective remedy than the general complete case analysis method if the proportion of missing data is relatively high.

설문조사 연구에서 결측치의 영향과 대체방법의 적절성에 대한 실증연구

고길곤,탁현우,이보라 한국정책분석평가학회 2014 政策分析評價學會報 Vol.24 No.3

본 연구는 설문조사를 활용한 연구에서 결측치가 분석결과에 미치는 영향을 살펴보았다. 행정학과 정책학의 많은 분야에서 설문조사가 활용되고 있으나, 결측치에 대한 연구는 부족한 상황이다. 또한, 결측치를 대체하는 이상적 방법은 재조사법(callback)으로 알려져 있으나, 시간과 비용문제로 실현되기 어렵고, 현실적 대안인 통계적 접근법도 아직 실효성에 대한 연구가 부족한 상황이다.이에 본 연구는 실제 설문조사 자료를 바탕으로 재조사법을 참값으로 가정한 상태에서 결측치에 대한 처리를 하지 않은 경우(완전제거법)와 통계적 접근법(다중대체법)을 활용한 경우에 대하여, 주요변수의 기술통계량과 회귀계수의 크기 및 통계적 유의미성을 비교하였다. 분석결과에 따르면 결측발생메커니즘이 완전임의결측을 따르지 않으면 완전제거법을 사용하는 경우 분석결과의 타당성에 문제가 발생하고 있었다. 다중대체법은 결측치 발생에 따른 편의를 완화하는데 기여를 하고 있으나 사용되는 변수에 따라 그 정도가 다른 것으로 나타났다. 따라서 행정학과 정책학 연구에서 설문조사를 활용하는 경우 결측률에 대한 정보, 완전임의결측 가정의 타당성 정도에 대한 분석 결과가 충분히 제공되어야하며, 향후 결측치를 실질적으로 처리할 수 있는 방법에 대한 후속연구가 필요하다고 할 수 있다.

결측치를 포함한 데이터의 k-평균 군집분석 방법 비교

양대경(Daegyeong Yang),명재성(Jasung Myung),이승훈(Seunghoon Lee),송주원(Juwon Song) 한국자료분석학회 2023 Journal of the Korean Data Analysis Society Vol.25 No.6

군집분석이란 개체 간 유사성을 포착하여 유사한 특징을 공유하는 개체들을 동일 군집으로 모으고 이질적인 개체들을 다른 군집을 정의해내는 비지도 학습 방법이다. 다양한 군집분석 방법이 제안되어 있으며 최적화 군집 방법 중 각 군집의 중심과 개체 간의 유클리디안 거리를 최소화하는 k-평균 군집분석은 가장 기본적인 방법으로 널리 사용되고 있다. 하지만 데이터에 결측이 존재하는 경우, 각 군집의 중심에서 결측이 발생한 개체까지의 거리를 계산하는 것이 불가능하므로 결측자료는 군집으로 분류되지 않는 문제가 발생하며 결측 자료를 제외한 군집분석의 결과는 예측하기 어렵다. 이러한 상황에 대해 대처하기 위해 결측치가 발생하더라도 관측된 정보만을 근거하여 군집분석을 수행하거나 결측치를 대체한 후 군집분석을 수행하는 다양한 방법들이 제안되어 있다. 본 연구에서는 결측 자료를 포함하고 있는 데이터에 대해 k-평균 군집분석을 수행할 방법들을 탐구하였으며, 모의실험을 통해 해당 방법들의 성능을 평가하였다. 모의실험을 통한 평가 결과, 결측치를 대체한 다음 k-평균 군집분석을 수행하는 것이 가장 좋은 성능을 보였으며, 결측치 대체 방법 중에서는 k-최근접 이웃(k-nearest neighbors) 대체가 가장 좋은 성능을 보였다. Cluster analysis is an unsupervised learning method to find heterogeneous clusters that capture similarities among items and separate different items into different clusters. Various cluster analysis techniques have been proposed, and the k-means clustering method, which minimizes the sum of Euclidean distances between cluster centroids and individual entities, is widely recognized as a standard cluster analysis method. When data include missing values, it is challenging to conduct cluster analysis, because it is impossible to calculate distances between centroids of clusters and incomplete items, resulting in excluding classification of these items. Techniques have been suggested to handle missing values in k-means clustering, including conducting cluster analysis after imputation of missing values or cluster analysis based on available information. In this study, we explore methods to perform k-means cluster analysis on data with missing values and evaluate performance of these methods using a simulation. The results of simulation studies indicate that conducting k-means cluster analysis after imputation yields the better performance than the one based on available information. Among the various imputation methods, k-nearest neighbors imputation performed the best.

특성도를 이용한 결측치 대체방법

김형주,김동재,Kim, Hyungju,Kim, Dongjae 한국통계학회 2017 응용통계연구 Vol.30 No.3

임상시험에서 어떻게 결측치를 다룰 것인가 하는 것은 큰 문제이다. 주로 주분석에서 사용하는 ITT원칙은 결측치가 어떠한 메커니즘을 따른다는 가정 하에 결측치를 대체 하지만 가정에 대한 타당성이 불확실한 문제가 있다. 즉, 올바른 결측치 대체방법은 매우 중요하다. 본 연구에서는 Kang과 Kim (1997)이 제안한 일치도와 유지도의 개념을 이용하여 새로운 결측치 대체방법을 제안하였다. 또한 실제자료를 이용하여 예제를 제시하고 Monte Carlo 모의실험을 통하여 기존방법과 대체 성능을 비교하였다. How to handle missing data is a main issue in clinical trials. We impute missing data based on missing data that follows a mechanism according to the intention-to-treat rule. However, using the right imputation method for missing data is very important because this supposition is unclear. We suggest a new imputation method for missing data using agreement and maintenance introduced by Kang and Kim (1997). We give an example and adapt a Monte Carlo simulation to compare the performance between the established method and the suggested method.