새로운 규칙유도 알고리즘과 앙상블 기법의 하이브리드 알고리즘 - 설명력을 중심으로 -

황근성 서울과학기술대학교 2021 국내석사

최근 머신러닝 알고리즘에서 해석력 관련된 연구가 많이 진행되고 있다. 그 중 해석력을 중심으로 연구되고 있는 알고리즘은 규칙 유도방식과 의사결정나무가 있다. 본 연구는 해석력을 개선한 새로운 분기 기준에 대한 연구 논문을 바탕으로 해석력이 높은 새로운 규칙 유도 알고리즘을 제시한다. 또한, 규칙 유도 알고리즘에서 생성된 규칙들의 조건들이 분리조건과 동질조건 두 가지로 구분될 수 있음을 보이고, 분리조건을 경우에 따라서 규칙에서 제거될 수도 있음을 보였다. 이러한 과정을 통해 본 논문에서 조건의 개수가 줄어든 간결 규칙을 유도했다. 규칙 유도 알고리즘으로 모든 규칙을 생성할 경우, 정확도 측면에서 앙상블 알고리즘보다 뒤떨어진다. 따라서 본 논문은 훈련 데이터로 새로운 규칙 유도 알고리즘과 앙상블 알고리즘 두 개를 도출한 뒤, 이를 차례대로 활용하는 하이브리드 알고리즘을 제시한다. 실험 결과, 본 논문은 케이스별로 60%에서 90%에 해당하는 데이터를 규칙 유도 알고리즘으로 처리하고 나머지 데이터를 앙상블 알고리즘으로 처리할 경우, 100%의 데이터를 앙상블 기법으로 처리하는 알고리즘과 대등한 수준의 정확도를 보여줬다. 또한 60%에서 90%의 데이터를 기준으로 규칙을 생성하여 비교했을 때, 기존 의사결정나무 알고리즘보다 해석력 측면에서 뛰어난 지표를 보여줬다. 결과적으로 의사결정나무보다 더 높은 해석력을 가진 규칙을 생성함과 동시에 앙상블과 대등한 성능을 보여줌을 확인할 수 있었다. Recently, a lot of researches related to interpretability in machine learning algorithms are being conducted. Among them, algorithms that are being studied focusing on interpretation are rule induction method and decision tree. This study proposes a new rule induction algorithm with high interpretability based on a research paper on a new branching criterion with improved interpretability. In addition, it was shown that the conditions of the rules generated by the rule induction algorithm can be classified into two types, a separation condition and a homogeneous condition, and the separation condition may be removed from the rule in some cases. Through this process, a concise rule with fewer conditions was derived in this paper. When all rules are generated by the rule induction algorithm, it is inferior to the ensemble algorithm in terms of accuracy When all rules are generated by the rule induction algorithm, it is inferior to the ensemble algorithm in terms of accuracy. Therefore, this paper presents a hybrid algorithm that derives two new rule induction algorithms and ensemble algorithms from the training data set and uses them in turn. As a result of the experiment, The thesis shows that when 60% to 90% of data are processed by the rule induction algorithm and the rest of the data are processed by the ensemble algorithm, the same level of accuracy as the ensemble algorithm processing of 100% data In addition, when rules were created and compared based on 60% to 90% of data, it showed superior indicators in terms of interpretability than the existing decision tree algorithm. As a result, it was confirmed that it generated rules with higher interpretation power than the decision tree and at the same time showed the same performance as the ensemble.

CKKS를 사용한 개인 정보 보안 규칙 유도

최지현 서울과학기술대학교 2024 국내석사

Rule learning is the use of rules to identify or classify data. Rule learning can be broadly divided into two types: decision tree and rule induction. Decision Tree is a popular and widely used rule learning method due to its advantages of high explanatory power because it can be viewed visually and the model is easy to interpret. However, decision trees also have disadvantages. They are The irrelevant condition problem. Irrelevant conditions that are not related to the model can make it difficult to interpret the model and reduce accuracy. Rule induction, in contrast, does not have this problem. On the other hand, data privacy is becoming increasingly important in systems that perform training and inference based on data. In particular, data privacy is important in fields such as finance and healthcare, where the data itself contains a lot of individual information, and data leakage can lead to privacy violations or criminal issues. Data privacy is also necessary when the input itself should not be exposed, and when the model itself has a financial value. In this study, we propose homomorphic rule induction to use rule induction in environments where data privacy is important. To this end, we consider the fol- lowing three issues that arise from using homomorphic ciphers: efficient rule generation using modified-gini, efficient training using only one variable, and efficient inference by collecting all rules in one ciphertext. The proposed training method can be trained on encrypted data without decryption, providing high data piracy. The learning time of homomorphic rule induction is on average 1,120 times slower for ciphertext training than for plaintext training, and the inference time is on average 64 times slower for ciphertext inference than for plaintext inference. This is a very efficient implementation compared to homomorphic algorithms, which are typically over 2,000 times slower than plaintext algorithms. In addition, when comparing the accuracy of encrypted data and unencrypted plaintext data using the homomorphic rule induction method, the average difference is 0.018, which shows that the accuracy of plaintext and ciphertext is not significantly different, indicating that homomorphic rule induction can be used in practice. 규칙 학습은 규칙을 사용하여 대상을 식별하거나 분류하는 작업이다. 규칙 학습은 크게 decision tree와 rule induction으로, 두 가지로 나눌 수 있다. 그중 decision tree는 시각적으로 볼 수 있고, 모델의 해석이 쉬워 설명력이 높다는 장점 때문에 인기 있고, 많이 사용되는 규칙 학습 방법이다. 하지만 decision tree에도 단점이 존재한다. 바로 무관한(irrelevant) 조건 문제이다. 모델과 상관없는 무관한 조건이 모델의 해석을 어렵게 하고, 정확도를 하락시킬 수 있다. 이에 반하여 rule induction 이런 단점이 없는 특징이 있다. 한편, 데이터를 기반으로 학습과 추론을 수행하는 시스템에서의 data privacy의 중요성이 높아지고 있다. 특히 금융, 의료같이 데이터 자체가 개인 정보를 많이 포함하고 있어 데이터의 유출이 사생활 침해나 법적 문제로 이어질 수 있는 분야에는 data privacy가 중요하다. 입력 자체가 노출되면 안 될 때, 모델 자체가 금전적인 가치를 지닐 때도 data privacy가 필요하다. 본 연구에서는 rule induction을 data privacy가 중요한 환경에서 사용하기 위해 동형 rule induction을 제안한다. 이를 위해 우리는 동형 암호를 사용함으로써 발생하는 다음의 세 가지를 고려하였다. 즉, 이것은 modified-gini를 사용한 효율적인 규칙선택, 1개의 변수만 사용한 효율적인 학습, 모든 규칙을 하나의 암호문에 모아 효율적인 추론이 가능하게 함이다. 제안 학습 방법은 암호화된 데이터에 대해 복호화없이 학습이 가능하여 높은 data privacy를 제공한다. 동형 rule induction의 학습 시간은 평문 학습 시간 대비 암호문 학습 시간이 평균 1,120배 느리고, 추론 시간은 평문 추론 시간 대비 암호문 추론 시간이 평균 64배 느리다. 이는 일반적인 평문 알고리즘 대비 동형 알고리즘이 일반적으로 2,000배 이상 느린 것에 비교하면 상당히 효율적인 구현이라 할 수 있다. 또한, 동형 rule induction 방법을 사용해 암호화된 데이터와 암호화되지 않은 평문 데이터의 정확도를 비교했을 때 차이의 평균은 0.018이며, 이는 평문과 암호문의 정확도가 큰 차이를 보이지않으므로, 동형 rule induction이 실제 사용이 가능함을 보여준다.

불균형 데이터의 오버샘플링 최적 조합 탐색과 규칙 유도 알고리즘의 해석력 비교

김재호 서울과학기술대학교 2023 국내석사

데이터의 클래스 불균형 문제는 현실 세계에서 필연적으로 발생할 수밖에 없는 현상이다. 일반적으로 머신러닝 모델은 데이터셋의 클래스들 사이에 균형을 가정하고 학습하기 때문에, 소수 클래스의 샘플이 부족하면 모델은 소수 클래스를 잘 학습하지 못할 수 있으며, 이로 인해 예측 성능이 저하될 수 있다. 이러한 문제를 해결하기 위해서 데이터셋과 문제의 특성에 따라 오버샘플링 방법이 적절하게 선택되어야 하며, 적절한 방법을 찾기 위해서는 실험과 평가를 통해 내 데이터셋과 문제에 가장 적합한 오버샘플링 방법을 찾아야 한다. 본 연구에서는 위와 같은 문제를 고려하여 서로 다른 오버샘플링 방법을 섞어서 사용할 경우, 최적의 조합은 과연 어떤 조합인지를 탐색하였다. 해석력 관점에서 규칙 유도 알고리즘 모델의 경우 여러 앙상블과 같이 데이터셋을 결합하여 사용하는 방식이 아니기 때문에 단일 데이터셋을 사용하여 학습을 진행해야 하는데, 최적 조합의 오버샘플링 데이터셋과 오버샘플링 종류별 규칙 유도 알고리즘의 해석력이 어떻게 다른지를 비교하였다. CART 모델을 이용하여 오버샘플링 조합에 대한 학습을 진행했을 때 2.85%의 정확도 향상과 5.87%의 F1-Score의 향상이 가능하였음을 확인하였으며, 오버샘플링 조합을 잘못 선택하였을 때는 –5.15%의 정확도 감소와 –9.35%의 F1-Score 감소가 있을 수 있음을 확인하였으며, 해석력 기준에서도 오버샘플링을 했을 때 데이터가 Raw 데이터로 학습을 진행했을 때보다 Rule의 개수나 Condition의 개수가 많아지는 것을 확인할 수 있었다. 오버샘플링 조합과 데이터 종류에 따라서 모델의 성능이 다르며, 대중적으로 많이 사용되는 오버샘플링 방법이라고 반드시 좋은 결과를 가져오는 것이 아니라는 것을 확인하였다. 또한 오버샘플링을 잘못 선택할 경우 오히려 모델의 성능을 감소 시킬 수도 있고, 해석력 또한 오버샘플링 방법에 따라서 유의미한 변화가 있을 수 있으므로 실험과 평가를 통하여 내 데이터셋과 문제에 적합한 방법을 찾는 것이 중요하다. This study focuses on exploring the optimal combination of oversampling techniques and comparing the interpretability of rule induction algorithms. The class imbalance problem in data is an inevitable phenomenon in the real world. Machine learning models generally assume a balanced distribution among classes in the dataset, and when the number of samples in the minority class is limited, the model may not effectively learn the minority class, leading to a degradation in prediction performance. To address this issue, an appropriate oversampling method should be chosen based on the characteristics of the dataset and the problem at hand. In this study, we aimed to explore the optimal combination of different oversampling methods by experimenting with various combinations and evaluating their performance on the dataset. From an interpretability perspective, rule induction algorithms, such as CART (Classification and Regression Trees), typically do not combine datasets as ensembles, but rather rely on a single dataset for training. Therefore, we compared the interpretability of different oversampling combinations and rule induction algorithms using a single dataset. The results showed that when using the CART model to train on the optimal oversampling combination, we achieved an improvement of 2.85% in accuracy and 5.87% in F1-score. On the other hand, choosing the wrong oversampling combination resulted in a decrease of 5.15% in accuracy and 9.35% in F1-score. Furthermore, from an interpretability standpoint, we observed that oversampling led to an increase in the number of rules and conditions compared to training with raw data. Overall, this study highlights the importance of considering both prediction performance and interpretability when dealing with the class imbalance problem through oversampling. The findings emphasize the potential benefits of carefully selecting the optimal oversampling combination for improving both accuracy and interpretability in rule induction algorithms.

지역 민감도를 활용한 태풍 피해 위험수준 예측 모델 연구

하광림 서울과학기술대학교 2022 국내석사

본 연구에서는 태풍 피해의 위험 수준이 지역 특성에 따라 다른 것을 기반으로 지역 특성을 반영한 위험 수준을 지역 특성 데이터와 앙상블 모델을 활용해서 예측 모델을 생성한 후 지역에 따른 위험 수준을 예측하고 다름을 실증했다. 지역 특성 데이터로 태풍의 피해와 관련이 있는 건물 노후도, 농가수, 하천이나 댐의 수 등과 같은 데이터를 수집했으며, 수집된 데이터를 전처리 및 가공한 후 지역 특성이 반영된 지역 민감도를 도출했다. 도출된 지역 민감도와 태풍의 거리, 풍속, 강수 정보를 이용하여 위험 수준을 도출하고, 지난 10년 동안 발생한 25개의 태풍 정보를 포함하여 15만 개 이상의 행을 갖는 학습 데이터 세트를 구성했다. 이렇게 구성된 학습 데이터 세트를 이용해 XGBoost 머신러닝 알고리즘으로 태풍 피해의 위험 수준 예측 모델을 생성했다. 그 결과로 생성한 예측 모델의 학습 데이터를 적용한 예측 정확도는 0.953였으며, 2012년 8월 발생한 태풍 볼라벤을 평가 데이터로 적용한 예측 정확도는 0.908로 나타났다. 또한, 생성한 예측 모델의 변수중요도는 거리, 지역 민감도, 강수량 순서로 나타나 지역 민감도가 위험 수준 예측 모델에서 의미 있는 변수임을 확인했다. 실증으로는 최근 발생한 태풍 오마이스(2021년 8월) 데이터를 이용해서 시·군·구별 태풍 피해의 위험 수준을 예측하였으며, 예측 결과 경남(사천·거제) 지역이 상대적으로 위험 수준이 높게 나타났으며, 실제 뉴스에서 발표된 태풍 피해가 심한 지역과 유사했다. 태풍으로 인한 피해가 지역적으로 차이가 있는 것을 고려하면, 근본적인 예방과 대응이 필요하다. 본 연구를 통해 태풍으로 인한 피해의 위험 수준을 빅데이터로 분석하고 머신러닝으로 예측하여 그에 알맞은 예방 및 안전 대책을 수립할 수 있을 것으로 기대한다. 또한, 본 연구를 통해 얻은 지역 특성 위험 수준과 예측 모델로 태풍의 피해뿐만 아니라 홍수 범람, 호우 등의 피해를 지역적으로 예방하고 대응하는데 기초가 되는 자료로 활용되기를 기대한다. In this study, based on the fact that the risk level of typhoon damage differs according to regional characteristics, the risk level reflecting regional characteristics was generated using regional characteristic data and ensemble model, and then the risk level according to each region was predicted and the difference was demonstrated. As regional characteristic data, data such as the age of buildings, the number of farmhouses, and the number of rivers and dams related to typhoon damage were collected, and after pre-processing and processing the collected data, regional sensitivity reflecting regional characteristics was derived. The risk level was derived using the derived local sensitivity and typhoon distance, wind speed, and precipitation information, and a training data set with more than 150,000 rows including information on 25 typhoons that occurred over the past 10 years was constructed. Using this training data set, the XGBoost machine learning algorithm created a model for predicting the risk level of typhoon damage. As a result, the prediction accuracy of applying the training data of the generated prediction model was 0.953, and the prediction accuracy of applying Typhoon Bolaven, which occurred in August 2012 as the evaluation data, was 0.908. In addition, the importance of variables in the generated prediction model appeared in the order of distance, regional sensitivity, and precipitation, confirming that regional sensitivity is a meaningful variable in the risk level prediction model. As empirical evidence, the risk level of typhoon damage by city, county, and district was predicted using data from the recent Typhoon Omais (August 2021). and was similar to the severe typhoon damage announced in the actual news. Considering the regional differences in damage caused by typhoons, fundamental prevention and response are necessary. Through this study, it is expected that the risk level of typhoon damage can be analyzed with big data and predicted using machine learning to establish appropriate preventive and safety measures. In addition, it is expected that the regional characteristic risk level and prediction model obtained through this study will be used as a basis for preventing and responding to damage such as floods and heavy rains as well as typhoon damage locally.

BASS의 이분확장 모형

엄석준 서울산업대학교 2008 국내석사

신제품의 수요가 확산되는 과정을 설명하는 대표적인 모형은 Bass 확산모형이다. Bass 확산모형이 1969년에 논문에 소개된 이후 Bass 모형을 보완한 많은 확장 모형이 제시되었다. 이들 확장 모형은 크게 두 부류로 나누어진다. 하나는 광고비나 가격, 혹은 소득 등과 같은 추가적 변수 등을 도입한 부류이고, 다른 하나는 변수는 추가하지 않되 파라미터를 추가하여 Bass 모형의 단순성을 확장한 부류이다. 본 논문은 후자 부류의 가장 일반화된 형태를 도입하여, 이를 이분 조각 모형으로 단순화시킨 모형을 제시한다. Bass 모형의 형태를 결정짓는 파라미터인 혁신계수와 모방계수를 이분화하는 시점은 전체 평균오차자승합이 최소가 되는 시점을 택한다. 국내의 이동통신 가입자수와 자동차 판매대수, 그리고 미국의 8개의 내구재 판매 데이터를 토대로 분석한 결과는 다음과 같다. 첫째, 10개의 사례 중 하나를 제외하면 나머지 모두에서 이분시점을 중심으로 평균오차자승합이 일봉(uni-modal)형태를 보였다. 이는 이분조각모형이 의미가 있음을 보여준다고 할 수 있다. 둘째, 이분 시점은, 당기 수요가 최대가 되는 시점보다 작은 경우가 80%로 대다수가 이륙시점(takeoff time)과 최대수요시점(peak time)사이에 존재하고 있다. 평균오차자승합은 10개 모두가 이분조각 모형이 Bass 모형의 단일 파라미터 모형보다 작게 나왔다. 모방계수는 주로 이분시점 이전에는 Bass 모형의 모방계수보다 크고 이분시점 이후에는 작은 경향을 보였다. 혁신계수는 그 반대의 경향을 나타내었다. 이러한 결과는 이분조각 모형이 Bass모형보다 데이터 적합도의 측면에서 우수함을 보여주고 있다.

확장된 Bass 모형과 로지스틱 모형에 의한 신제품 확산패턴 분석

홍석기 서울과학기술대학교 2010 국내박사

본 논문은 이분조각 Bass모형을 통해 국내 및 미국 제품과 서비스의 확산패턴을 분류 및 분석한다. 이분조각 Bass모형을 토대로 신제품의 확산패턴을 어떻게 분류할 수 있는지에 대한 분류방법과 제품 및 서비스의 확산패턴을 분석한다. 또한 국내 확산모형에 관한 문헌 중 최대의 데이터를 수집하여 확산패턴을 분석한다. 신제품의 확산관련 논문은 세 가지로 나눌 수 있는데, 첫째 확산 모형을 제시하고 기존 모형과 비교 하는 것이고, 둘째, 기존에 제시된 확산모형을 이용하여 확산패턴을 규명하거나 사례분석에 활용하는 논문, 셋째, 확산 모형 하에서 가격이나 보조금, 그리고 마케팅의 적정 수준을 결정하는 논문이다. 본 논문은 두 번째에 해당되어 기존의 이분조각 Bass모형에 의해 국내 및 미국 데이터를 적용 확산 패턴을 분석한 논문이다. 이분조각 Bass모형은 기존의 Bass모형에 시간에 따른 수요자의 변화를 반영하였다. 즉, 시간에 따라 혁신계수와 모방계수를 이분하여 변화를 반영한 것이다. 시간에 따라 혁신계수와 모방계수를 이분할 경우, 이분되는 시점을 라 하고, 는 확산패턴에서 MSE(Mean Square Error)를 최소로 하는 최적화 기법에 의해 도출된다. 따라서 이분조각 Bass모형은 를 기준으로 2개의 확산패턴이 존재하게 된다. 여기서 가 갖는 의미는 확산패턴이 변화하는 시점이 된다. 즉, 시간에 따라 패턴의 변화가 일어나게 되고 이러한 시점이 가 된다. 또한 를 통해 확산패턴을 분류하면 시간적 의미에서 제품출시 시점에서 부터 까지를 레짐1, 부터 이후를 레짐2라 하면, 를 기준으로 세 가지 타입이 존재하게 된다. 첫째, 당기 수요 최대시점이 레짐1에 속하는 경우, 둘째, 당기 수요 최대시점이 에 의해 레짐1과 레짐2에 각각 위치하는 경우, 마지막으로 두 개의 당기최대 시점이 모두 레짐2에 존재하는 경우로 분류된다. ① 타입Ⅰ : ② 타입Ⅱ : ③ 타입Ⅲ : 당기수요 최대시점과 마찬가지로 도약기 또한 를 기준으로 다음과 같이 분류 가능하다. 즉 두 개의 도약기 위치가 레짐1과 레짐2, 그리고 당기수요 최대시점에 의해 다섯 가지 타입으로 분류된다. ① 타입Ⅰ : ② 타입Ⅱ : , ③ 타입Ⅲ : ④ 타입Ⅳ : ⑤ 타입Ⅴ : 제품의 도약기도 마찬가지로 두 개의 패턴이 존재하므로 두 개가 존재하고, 두 개의 도약기에 를 포함할 경우, 세 개의 도약기 후보가 존재한다. 즉, , , 세 개의 도약기 후보가 존재하게 되고, 세 개의 후보 중에 전년대비 당기수요의 변화율이 큰 것을 도약기로 선정한다. 이분조각 Bass모형을 통해 국내 28종, 미국 40종의 가전 및 IT제품을 분석한다. 국내는 통계청의 산업 생산연보와 정보통신 산업진흥원의 자료를 사용하고, 미국은 CES(Consumer Electronics Association)의 연간 자료를 사용한다. 이는 국내 확산패턴 논문 중, 가장 많은 데이터를 분석ㆍ비교 한 것이다. 이분조각 Bass모형을 통해 모수인 와 확산패턴의 변화가 에서 로 바뀌는 시점인 를 도출한다. 국내 제품 28종은 기계류, 영상음향기기, 사무기기, 정보통신, 백색가전, 5종류로 나누었고, 미국제품은 통신기기, 영상음향기기, 사무기기로 나누어 분석ㆍ비교한다. 데이터 분석결과, 기존의 Bass모형에 비해 MSE의 감소가 국내 51.4%, 미국 50.5% 감소하여, Bass모형에 비해 이분조각Bass모형이 보다 적합하다. 국내제품 용도별 를 보면 사무기기가 7.5년으로 빠르다. 이는 외부영향이 적고 제품의 중요도가 높기 때문이다. 망 외부성(Network Externality) 영향이 높은 통신기기의 경우, 평균 10년 이상의 값을 갖는다. 분석결과 첫째, , , , 값을 분석하면, 미국 제품 카테고리에 있어 카테고리 간 , , 가 통계적으로 유의하고, 국내는 유의하지 않는다. 둘째, 에 있어 국내의 경우, 제품 출시 시점이 1990년을 중심으로 이전과 이후 제품으로 나누면 1990년 이후의 제품이 이전 제품보다 값이 작다. 이는 인터넷, TV광고 등의 효과로 수요의 변화가 이전보다 빨라졌음을 보여주는 것이다. 제품의 카테고리별 비교는 사무기기의 값이 다른 제품에 비해 국내 7.5년, 미국 5.7년으로 모두 빠르다. 이는 사무기기의 경우, 다른 제품에 비해 확산패턴의 변화가 빨라 시장에서 확산이 빠르게 진행되는 것을 알 수 있다. 셋째, 당기최대 시점 분석은 확산패턴을 중심으로 레짐1과 레짐2로 나누어 3가지 타입으로 분류하였고, 이를 바탕으로 68종의 제품을 분석한다. 당기최대 시점의 경우 Digital Projection Sets & Monitors를 제외한 전제품이 타입Ⅰ-A1,Ⅰ-A2로 분류되었고, 타입Ⅰ-A1이 국내 25종, 미국 31종이며, 타입Ⅰ-A2이 국내 3종, 미국 11종으로 분류되어 가 , 보다 빠름을 알 수 있다. 즉, 확산패턴의 변화가 당기 최대 시점 이전에 발생함을 나타낸다. 넷째, 도약기 분석 또한 를 중심으로 레짐1과 레짐2로 나눌 경우, 5가지 타입이 도출된다. 도약기 분석결과, 국내제품은 통신기기 10.6년, 영상음향기기 8.9년, 사무기기 9.4년, 기계류 13.4년, 백색가전 13.5년이고 미국 제품은 통신기기 13.2년, 영상음향기기 8.1년, 사무기기 5.7년으로 나타난다. 도약기 분류는 국내 제품은 타입Ⅰ 25종(89.3%), 타입Ⅱ 1종(3.6%), 타입Ⅲ 2종(7.1%)이고, 미국 제품은 타입Ⅰ 24종(60%), 타입Ⅱ 4종(10%), 타입Ⅲ 8종(20%), 타입Ⅳ 1종(2.5%), 예외 3종(7.5%)로 분류 된다. 이분조각 모형에서의 도약기 후보로는 , , 가 존재하는데, 후보군에 있어 변화율이 높은 것을 도약기로 선정한 결과, 도약기에 있어 가 선정된 것은 미국과 국내 제품을 합해서 보면, 32종(47%)로 , 보다 높다. 선정된 도약기와 의 차는 ±2.5년 이내로 가 도약기로서 유효하다. 또한 시점에서의 평균 변화율은 46%로 , 에 비해 높고, 평균 침투율은 19%이다. 이는 신제품의 확산패턴의 형태와 도약기를 결정하는데 있어 이분조각 Bass 모형이 매우 유용함을 보여주는 것이라 할 수 있다. 다섯째, 이분조각 로지스틱 모형을 통해 도출된 의 경우, 이분조각 Bass모형에 비해 평균 0.41년 늦다(이분 Bass 8.9년, 이분 로지스틱 9.3년). 이분조각 Bass모형과 이분조각 로지스틱 모형에서의 , , , 비교의 경우, 평균 0.4년, 1.7년, 6.9년, 8.2년으로 는 이분조각 Bass와 이분로지스틱 모형의 차이가 없으나, , , 는 차이가 있다. 이는 도약기에 있어 가 모형에 대해 강건함을 나타낸다. 여섯째, 이분조각 Bass모형에서의 값을 통해 비선형 다중 회귀식을 도출한다. 가 도약기를 대변할 수 있는 유용한 모수지만, 시점 이후의 데이터를 확보해야만 의 추정이 가능하여, 회귀식을 통한 의 도출을 수행한다. 즉, 제품에 있어 초기 데이터에 의해 확산 패턴을 결정짓는 , 가 추정되고, 추정된 , 에 의해 의 추정이 가능하다. 데이터를 통해 추정된 회귀식은 다음과 같다. 이러한 연구결과는 실제 제품의 생산과 판매에 있어 다양한 방식으로 활용될 수 있다. 첫째, 당기 최대 수요와 관련하여 거의 모든 제품이 타입Ⅰ로 판명된 사실은 를 중심으로 시장의 성격이 변한다는 것을 의미한다. 즉, 초기에 혁신가(Innovator)나 조기 채택자(Early Adopter)그룹이 시장을 주도하여 판매가 증가세를 보이고, 이들의 시장지배력이 떨어지는 시기에 판매증가율이 떨어지다가 초기 다수자(Early Majority)그룹이 시장에 참여하면서 다시 판매증가가 이루어지는 것이다. 따라서 이 시점을 중심으로 가격이나 광고 등의 마케팅전략이 달라져야 한다. 또한 본 논문에서 규명된 제품수요의 패턴은 수요에 절대적으로 의존하는 생산시설 규모 및 투자 시점 산정에 있어 일정한 가이드라인의 역할을 할 것으로 기대된다. 둘째, 분석 도출된 가 도약기를 대변할 수 있다. 기존의 도약기는 확산패턴이 도출되고, 이를 이계 미분한 값을 도약기로 산출하여 실제 데이터에서 변화가 큰 도약기로 미흡하다. 이분조각 Bass모형을 통해 도출된 의 경우, 출시시점에서 보다 빠르고 변화율이 높은 가 도약기를 충분히 대변할 수 있어 이분조각 Bass모형이 확산패턴 규명과 더불어 도약기에 있어 보다 현실적인 모형이라 할 수 있다.

Stability Analysis of Decision Tree Splitting Criteria

이정언 서울과학기술대학교 2023 국내석사

의사결정나무는 해석가능한 머신러닝 알고리즘 중 대표적인 알고리즘이며 사용자가 해석할 수 있는 모델을 학습한다. 그런데 의사결정나무 알고리즘은 불안정한 것으로 알려져 있으며 훈련 데이터셋의 약간의 섭동에도 완전히 다른 모델이 생성될 수 있다. 이러한 의사결정나무의 불안정성은 데이터마이닝에서 지식을 발견하려는 목적을 방해한다. 불안정성은 모델의 신뢰성과도 관련된다. 데이터마이닝 절차에서 모델의 가변성을 고려할 수 있으려면 해석가능성 측면에서 의사결정나무의 통사론적 안정성 측정과 분석이 필요하다. 하지만 의사결정나무의 통사론적 안정성은 의사결정나무의 구조와 속성들을 고려해 트리의 유사도를 측정해야 하는 복잡한 문제이다. 본 논문은 트리의 유사도에 대한 측정 없이 의사결정나무의 안정성을 추정할 수 있는 안정성 척도를 제안한다. 제안한 안정성 척도는 Dannegger[20]가 제안한 노드 단위 안정화를 재정립한 프로시저에서 비롯한다. 제안한 안정성 척도로 의사결정나무의 여러 분기 기준들의 안정성을 실험에서 측정하고 결과를 비교한다. 의사결정나무의 대표적인 불순도 기반 분기 기준인 지니 계수(Gini index), 엔트로피(Entropy), 게인 비율(Gain Ratio)를 비교하고, 카이제곱(Chi-square), One-Sided-Maximum 분기 기준을 비교한다. 실험은 13개 데이터셋으로 수행되며 그 결과 카이제곱과 엔트로피가 안정성이 높은 것을 확인한다. Decision trees are representative algorithms among interpretable machine learning algorithms and learn models that can be interpreted by users. However, decision tree algorithms are known to be unstable, and a completely different model can be generated even with a slight perturbation of the training dataset. This instability in decision trees hinders the purpose of discovering knowledge in data mining. Instability also relates to the reliability of the model, and it should be possible to consider the variability of the model in the data mining procedure. Therefore, it is necessary to measure and analyze the syntactic stability of decision trees in terms of interpretability. However, the syntactic stability of the decision tree is a difficult problem to measure the similarity of the tree considering the structure and properties of the decision tree. This paper proposes a stability measure that can estimate the stability of a decision tree without measuring the similarity of the tree. The proposed stability measure comes from a procedure that reestablishes a node-level stabilization proposed by Dannegger [20]. The stability of the multiple splitting criteria of the decision tree is measured in experiments with the proposed stability measure and the results are compared. We compare the Gini index, Entropy, Gain Ratio which are representative impurity-based splitting criteria and Chi-square, and One-Sided-Maximum splitting criteria. Experiments are conducted on 13 datasets and the results confirm that chi-square and entropy are highly stable.

k-Nearest Neighbor 기법을 활용한 전자세금계산서 데이터의 거래금액 시계열 예측

박종률 서울과학기술대학교 2017 국내석사

같은 거래처를 두고 있는 기업들의 거래는 거래금액의 시계열 패턴이 유사한 경우가 있다. 이러한 유사성을 매출액 예측 과정에 반영한다면 단일 거래 자체의 정보만 이용하는 경우보다 예측정확도를 높일 수 있을 것이다. 전자세금계산서 데이터는 기업 간 거래 명세를 담고 있으므로 연관된 거래들을 식별하고 이를 활용한 시계열 예측 연구에 활용할 수 있다. 본 논문은 특정 기업의 월별 거래금액을 자체시계열만으로 예측한 Self k-Nearest Neighbor(이하, SkNN) 모델과 특정 기업과 연관된 기업 간의 거래금액을 활용하여 매출액을 예측한 Relational k-Nearest Neighbor(이하, RkNN) 모델을 각각 구축하고 비교하였다. 실험 결과 특정 기업의 월별 거래금액이 연관 기업의 월별 거래금액과 일정 시차 하에서 실제로 유사함을 확인했으며, 평가데이터로 사용한 자동차 모듈 생산업체 A사의 총 125건의 거래 중 약 54%(67개)의 거래에서 RkNN의 예측 오차가 더 작았다. 추가로 거래마다 자체 거래금액 정보만 이용하는 것이 적합할지 또는 연관 기업의 거래금액 정보도 활용하는 것이 적합할지 분류하는 랜덤포레스트 모형을 구축하고, 이 모형의 사후확률을 각 방식의 가중치로 사용하여 SkNN과 RkNN 예측값을 조합한 새로운 하이브리드 접근법을 개발하였다. 이러한 하이브리드 접근법을 적용한 결과, 전체 거래 중 약 73%(85개)에서 예측 오차가 더 작아지는 등 매출액 예측의 정확도가 향상되었다. 이는 거래 단위의 시계열을 예측할 시 거래 자체의 정보뿐만 아니란 거래 관계상 관련된 기업들의 거래금액 정보도 예측 모형에 활용하는 것이 매출액 예측에 있어서 유의미하다는 것을 증명한다. There is a case where the time series pattern of the transaction amount is similar to the transaction of the companies having the same customer. If the similarity is reflected in the sales forecasting process, the forecasting accuracy can be improved more than using only the information of a single transaction itself. Since the electronic tax invoice data contains transaction details between companies, it can be used for time series forecasting research using related transactions. This paper constructs and compares the SkNN(Self k-Nearest Neighbor) model that predicts the sales only by using its own time series and RkNN(Relational k-Nearest Neighbor) model that predicts the sales by using transactions amount of companies which is related to a specific company. Experimental results show that time series pattern of the monthly transaction amount of certain company is similar to that of the related company, and The prediction error of RkNN was smaller in about 54%(67) of the total 125 transactions of automobile module manufacturer A company which used as the evaluation data. In addition, a Randomforest model was constructed to classify whether each trading transaction would be appropriate to use only its own transaction amount information or to utilize transaction amount information of related companies. And we developed a new hybrid approach combining SkNN and RkNN predictions using the posterior probability of this model as the weight of each scheme. As a result of applying this hybrid approach, the prediction accuracy of sales is improved. This hybrid approach had a smaller prediction error in about 73% (85) of total transactions. These experimental results prove that the use of information on related company’s transactions is significant for forecasting sales.

전자세금계산서데이터를 활용한 가치사슬 구축 알고리즘 : 자동차 부품 산업을 중심으로

전윤수 서울과학기술대학교 2017 국내석사

가치사슬 속하는 기업들을 분류하는 작업은 기업 내부 담당자 및 전문 컨설턴트에 의해 수행되어져왔다. 본 연구는 기업 간 거래에서 발생되는 전자세금계산서 데이터를 활용하여 가치사슬 기업들을 자동적으로 분류해주는 알고리즘을 제안하고자한다. 가치사슬 구축 작업은 두 가지 특징을 가지는데 첫째, 가치사슬 기업들에 대한 정보 수집의 한계로 학습데이터의 크기가 적다는 점과 둘째, 기업마다 가치사슬 기업을 정의하는 기준이 다르다는 점이다. 이러한 상황을 고려하여 본 연구에서는, 적은 학습데이터로도 비교적 안정적인 모델 구축이 가능한 규칙기반학습 모형을 기반 알고리즘으로 활용하였고, 특정 기업의 거래데이터에 과적합된 가치사슬 분류 규칙이 생성되지 않도록 기존의 규칙기반학습의 일부를 변형하여 한 기업의 학습데이터만으로도 일반화된 규칙을 생성하는 모형을 제시하였다. 본 연구의 모형은 기존 알고리즘들과 동일하게 주어진 학습데이터를 활용하여 규칙을 생성하는 SRB모형과 학습데이터를 사용하지 않고 사전에 정의한 조건을 기반으로 규칙을 생성하는 URB모형 두 가지 형태로 구성되어 있다. 두 모형의 분류 성능을 평가하기 위해 자동차 부품 업체 3기업의 거래데이터를 사용하였고, 한 기업의 거래데이터를 모형 학습에 사용하고 나머지 두 기업에 구축된 모형을 적용하는 과정을 3기업에 모두 수행하여 성능을 측정하였다. 동일한 실험을 기존 규칙기반학습 알고리즘인 DT, LEM2 그리고 CN2에도 적용하여 기존 모형과의 성능 차이를 비교해 보았다. 실험 결과, SRB와 URB모형이 정밀도, 재현율 그리고 F1-척도에서 가장 높은 성능을 보였고 성능 편차 역시 가장 적어, 안정적이면서도 정확하게 가치사슬에 속하는 기업들을 분류하고 있음을 확인하였다. 본 연구의 결과는 전문가들에 의해 수동적으로 구축되던 가치사슬 기업 분류가 기업 간 거래데이터로부터 얻어진 분류 규칙을 통해 자동적으로 구축될 수 있다는 가능성을 제시하고 있다. The classification of the companies in the value chain has been carried out by company representative and professional consultants. This study proposes an algorithm to automatically classify the value chain enterprises using electronic tax invoice data generated from B2B transactions. The task of building a value chain has two characteristics : First, the training dataset is small due to the limit of collecting information about the value chain enterprises. Second, the criteria defining the value chain are different from enterprise to enterprise. In this study, we use a rule-based learning model that can construct a relatively stable model even with a small dataset. Also, in order to prevent the over-fitting rule, we modified a part of rule-based learning and proposed a model that generates generalized rule with only one company 's transaction data. The model of this study consists of SRB model that generates rules by using given training data and URB model which generates rules based on predefined conditions without using training data. In order to evaluate the classification performance of the two models, we used transaction data from three companies in the auto parts industry, and then performance was measured by applying the model constructed by one company's transaction data to the other two companies. The same experiment was applied to the existing rule-based learning algorithms DT, LEM2 and CB2 to compare performance. Experimental results show that the SRB and URB models show the highest performance and less deviation of performance in precision, recall, and F1-scale, indicating that both models are more stable and accurately classify value chain enterprises than other algorithms. The results of this study suggest that the value chain enterprise classification, which was manually established by experts, can be established automatically through classification rules derived from transaction data between companies.

혼합변수를 갖는 데이터의 분류를 위한 하이브리드 분류기

박관호 서울과학기술대학교 2015 국내석사

신용 평가, 의료 진단 그리고 제조 산업 등에서 수치형 변수와 범주형 변수를 가지는 혼합형 데이터가 많이 나타나고 있다. 대부분의 분류 알고리즘들은 혼합형 데이터의 각 변수의 유형에 따라 적합하다. 예를 들어, 유클리디안 거리를 사용하는 알고리즘들은 수치형 변수에 적합하고 기호 논리를 사용하는 알고리즘들은 범주형 변수에 적합하다. 본 논문에서, 분류 알고리즘의 정확도를 향상시키는 분류기들의 하이브리드 방법을 제안한다. 첫째, 범주형 범수만을 가지고 의사결정나무를 사용하여 몇몇의 하위 집합으로 분할한다. 둘째, 수치형 변수에 적합한 알고리즘을 사용하여 사후 확률을 추정한다. UCI Machine Learning의 다섯 가지의 데이터(Australian credit, German credit, Japan credit, Mammographic mass, churn)를 사용하여 제안한 하이브리드 분류기를 평가한다. 하이브리드 SVM 분류기, 하이브리드 ANN 분류기의 성능은 기존 SVM, ANN보다 조금 향상되었으며, 기존 k-NN보다 향상되었다. 하이브리드 k-NN 분류기의 성능은 기존 k-NN보다 향상되었다.