랜덤 포레스트

유진은(Yoo Jin Eun) 한국교육평가학회 2015 교육평가연구 Vol.28 No.2

랜덤 포레스트는 최근 관심의 대상이 되고 있는 데이터 마이닝 기법으로, 의사결정나무 모형을 기저로 하며 무작위성을 최대로 부여함으로써 예측오차를 줄인다. 본 연구에서는 의사결정나무와 랜덤 포레스트의 이론적 배경, 특징, 장단점 등을 설명하고, 한국청소년패널조사(KYPS VI) 자료를 이용하여 두 기법을 비교ㆍ분석하였다. 랜덤 포레스트는 특히 설명변수 개수가 많은 고차원 자료의 경우 예측력이 매우 높다는 장점이 있다. 연구 결과, 조율모수에 대한 고민 없이도 랜덤 포레스트의 정분류율이 가지치기 후 의사결정나무의 정분류율과 비슷하였다. 랜덤 포레스트와 같은 방법은 기존 통계분석 방법으로 처리하기 힘든 빅데이터 뿐만 아니라, 회귀모형, 분류, 생존분석 등을 망라하는 기존 통계분석 방법으로 처리할 수 있는 자료에도 적용될 수 있다. 생물의학, 데이터베이스 마케팅, 신용평가, 금융예측 등의 다양한 분야에서 랜덤 포레스트 기법이 활발하게 적용되며 연구되고 있는 반면, 2015년 현재 교육 관련 연구에서 랜덤 포레스트 방법은 아직 제대로 소개조차 되지 못했다. 이러한 현실에서 앞으로 우리 교육 관련 연구에서의 랜덤 포레스트 기법 확산에 본 연구가 도움이 될 수 있기를 기대한다. Random forests, a data mining technique, recently has been gaining popularity in various fields of study, including bioinformatics, database marketing, credit scoring, and etc. Random forests, consisting of a number of decision trees, reduces prediction error via maximizing randomness. This study investigated the strengths and weaknesses of decision tree modeling and random forests, respectively, and examined the statistical properties of the two techniques with KYPS VI panel data. A well-known strength of random forests is its high prediction rates, particularly with high dimensional data, which was consistent with the results of this study. The accuracy of the random forests, without special considerations on its tuning parameters, was similar to that of the decision tree after pruning. Random forests can also be used for regression, classification, and survival analysis, as well as for big data techniques. This study aims to spread this superior technique, random forests, to professionals in education and others.

랜덤 포레스트를 이용한 머리 방향 인식

이동훈(Donghoon Lee),오성희(Songhwai Oh) 한국정보과학회 2013 정보과학회논문지 : 소프트웨어 및 응용 Vol.40 No.8

사람의 머리가 향하는 방향을 인식하는 것은 얼굴 분석과 HCI 등의 다양한 어플리케이션에서 쓰일 수 있는 필수적인 영상처리 과제이다. 본 논문에서는 사람마다 다른 머리 모습으로 인해 일관된 특징점 디자인이 어려운 점을 해결하기 위해서 특징점에 무작위성을 부여하여 분류와 회귀에 강력한 성능을 보이는 랜덤 포레스트 알고리즘을 이용한다. 이를 위해서 랜덤 포레스트를 이루는 의사 결정 나무들의 노드 생성 규칙과 무작위 질문들을 할당하는 방식을 연구하였다. 다양한 특징들에 기반 하여 머리 방향 인식에 알맞은 질문들을 시도해 보았고, 그 비교를 통해 최적의 조건을 찾았다. 이 과정에서 비대칭적인 모양을 갖는 의사 결정 나무로 이루어진 랜덤 포레스트를 효율적으로 분석하는 방법을 다루었다. 제안한 랜덤 포레스트의 학습과 테스트에는 머리 방향에 따른 낮은 해상도의 2차원 이미지를 포함하고 있는 QMUL 데이터를 사용하여 86.5%의 정확도를 얻었다. Estimating person’s head pose is an essential problem for many applications and face analysis. It is hard to design a consistent feature descriptor that works for every person because there could be lots of differences for each individuals. Our approach to solve this problem is via ‘Random Forests’ which designs a random feature and have been shown an impressive result for classification and regression. One have to specify random questions of the nodes of decision trees which builds random forests to use the algorithm. In this paper, several features and several structure of random forests are considered to achieve the best performance. To do this, we find the way to deal with random forests which is consist of asymmetric decision trees. We achieved 86.5% accuracy with QMUL head pose dataset which has low resolution of two dimensional head images.

기업신용등급 예측을 위한 랜덤 포레스트의 응용

김성진,안현철 경성대학교 산업개발연구소 2016 산업혁신연구 Vol.32 No.1

지금까지 금융기관의 신용위험관리를 효과적이고 효율적으로 수행하기 위한 지능형 기술에 대한 연구가 활발하게 이루어져 왔다. 특히 기업의 부실 예측이나 신용등급 예측 문제를 해결하는데 있어, 다양한 기계학습 분류 알고리즘들이 제안되고 적용되어 왔는데, 이들은 효과적인 입력변수 선정에 대한 해답을 제공해 주지 못하고, 과적합 및 잡음·이상치에 취약할 수 있는 위험이 있으며, 각종 모수에 대한 조정 작업이 요구되는 한계점이 있었다. 이러한 기존 기법들의 한계를 극복하기 위한 대안으로 본 연구는 랜덤 포레스트(Random Forests)의 응용을 제안한다. 미국의 통계학자 Breiman(2001)에 의해 제안된 랜덤 포레스트는 배깅(bagging)과 무작위 입력 변수 선택(random input selection)을 통해 단일 의사결정 나무를 다수의 의사결정 나무로 확장시킨 기계학습 기법이다. 랜덤 포레스트는 과적합에서 자유로우며, 잡음이나 이상치에 받는 영향이 적고, 높은 정확도를 얻을 수 있는 특징을 지닌다. 본 연구에서는 기업신용등급 예측에 랜덤 포레스트 기법을 적용해 보고, 그 성과를 전통적으로 사용되어 온 다른 기법들과 비교하여 예측성과의 개선이 있는지 확인해 보고자 하였다. 이를 위해 본 연구에서는 1,295개 국내 상장기업을 대상으로 하는 기업신용등급 평가모형 구축에 랜덤 포레스트를 적용해 보았다. 제안된 기법의 성과를 비교평가하기 위한 전통적인 분류 기법으로는 다중판별분석, 인공신경망, 다분류 SVM 모형을 사용하였다. 실증분석 결과, 제안 기법이 전통적인 기법들과 비교해, 보다 정확한 예측결과를 산출함을 확인할 수 있었다. There has been a lot of research on intelligent information processing techniques to effectively and efficiently manage credit risk in the financial industry. To predict corporate credit ratings better, various algorithms of machine learning have been proposed and applied. However, the algorithms have some limitations. First of all, they are unable to give a solution for which variables in the dataset should be considered as input variables to effectively predict a dependent variable. Also, they are easily exposed to overfitting and risk being affected by outliers and noise. In addition, they are required to tune their numerous parameters. Under this background, this study proposes the application of Random Forests(RF) to overcome the weakness of the traditional techniques. RF were designed by Leo Breiman, an American statistician and professor, and are an ensemble learning technique. This algorithm has both features originating from bagging algorithm, which is to extend a single decision tree to various decision trees, and from random input selection. The benefit of our proposed algorithm is free from an overfitting issue, and both noise and outliers in the dataset cannot have an effect on it. Thus, our model can yield high accuracy in forecasting corporate credit ratings. To validate the effectiveness of RF in predicting corporate credit ratings, we applied it to a real world dataset of corporate credit rating in Korea. The data that we used for this research consisted of various financial ratios of 1,295 corporations and their corporate credit ratings. To evaluate and compare our model with traditional methods, we used the following methods: MDA(Multiple Discriminant Analysis), ANN(Artificial Neural Network) and MSVM(Multiclass SVM). Each model’s performance was calculated by predictive accuracy based on training and validation. Empirical results showed that RF outperforms other traditional methods from the perspective of prediction accuracy.

랜덤 포레스트를 활용한 초등학생의 진로개발역량 예측요인 탐색

윤홍주(Yun, Hongju) 학습자중심교과교육학회 2021 학습자중심교과교육연구 Vol.21 No.23

목적 본 연구에서는 랜덤 포레스트를 활용하여 초등학생의 진로개발역량 예측요인을 탐색하고, 예측의 중요도를 분석한 후 진로교육 관련 교육적, 정책적 시사점을 제시하고자 하였다. 방법 이를 위하여 초등학생 7,501명의 초⋅중등 진로교육 현황조사(2019)를 이용하여 진로개발역량에 대한 잠재프로파일 분석과 35개 예측요인에 대한 랜덤 포레스트 분석을 하였다. 잠재프로파일 분류에는 정보지수(AIC, BIC, SABIC), 분류의 질(Entropy), 모형비교 검증(BLRT_p)을 활용하였고, 랜덤 포레스트에서는 MDA를 활용하여 중요도 지수를 분석하였다. 결과 초등학생의 진로개발역량은 수준에 따라 ‘최고역량’, ‘고역량’, ‘보통역량’, ‘저역량’으로 구분되었으며, 랜덤 포레스트 분석을 통한 예측요인에서는 배움의 즐거움, 학습방법과 계획에 대한 자기수정, 효과적인 학습방법에 대한 생각, 미래에 도움이 되는 공부의 지향, 다양한 방법을 사용한 문제해결 등 학습동기와 학습태도가 진로개발역량을 예측하는 중요한 요인이었다. 결론 진로개발역량을 높이기 위해 다양한 진로개발 활동이나 프로그램 운영과 더불어 학습동기와 학습태도와 같은 심리적, 정서적 요인에도 관심을 기울이고 진로교육에 이를 반영할 필요가 있다. Objectives The purpose of this study is to explore the predictors of career development competencies of elementary school students using random forest, analyze the importance of prediction factors, and present educational and policy implications related to career education. Methods The analysis used the 2019 Career Education Status Survey data. 7,501 elementary school students were used to analyze Latent Profiles for career development competencies and Random Rorest analysis of 35 predictors. Information indices (AIC, BIC, SABIC), quality of classification (Entropy), and model comparison verification (BLRT_p) were used for Latent Profile classification, and importance indices were analyzed using MDA in Random Forest. Results Career development competencies of elementary school students were classified into “best competency,” “high competency,” “normal competency,” and “low competency” according to their level. In Random Forest analysis, learning motivation and learning attitude were important predictive factors in career development competencies, such as learning enjoyment, self-modification of learning methods, thoughts on effective learning methods, future-helpful study orientation, and problem-solving. Conclusions In order to enhance career development competencies, it is necessary to pay attention to psychological and emotional factors such as learning motivation and learning attitude along with various career development activities or program operations and reflect them in career education.

랜덤포레스트를 이용한 낙엽송과 편백의 적지적수도 제작: 경상남도를 대상으로

박은정,박준형,김형호 경상국립대학교 농업생명과학연구원 2019 농업생명과학연구 Vol.53 No.6

The purpose of this study is to examine the applicability of the random forest technique, which is recently used for classification prediction. In other words, we will introduce the random forest technique and make a map the species-specific optimal plantation sites. As a result, the accuracy of prediction was 89.29% for Larix kaempferi and 73.89% for Chamaecyparis obtusa. In terms of variable importance, both species showed high influence in the order of DEM, slope, and aspect, and showed low influence in the order of topography, soil texture and soil type. According to the results of the mapping species-specific optimal plantation sites, most regions except for the central part of Gyeongsangnam-do province were judged to be high and moderate suitability of L. kaempferi. The northeastern part of Gyeongsangnam-do province was judged to be high suitability of C. obtusa. The random forest is expected to be highly applicable to various types of classification and prediction studies that have been applied in the forest field as well as the mapping species-specific optimal plantation sites. 본 연구의 목적은 적지적수 판단에 있어 최근 분류 예측에 활용되고 있는 랜덤포레스트 기법의 적용가능성을 살펴보는데 있다. 즉, 수종별 조림 적지 판단에 있어 랜덤포레스트 기법을 소개하고 적지적수도를 작성하여 적용성을 판단하고자 한다. 그 결과 랜덤포레스트 기법의 예측 정확도는 낙엽송89.29%, 편백 73.89%로 높은 편으로 나타났다. 변수 중요도는 두 개의 수종 모두 표고, 경사, 방위의순으로 영향력이 높은 것으로 나타났으며 지형, 토성, 토양형이 낮은 영향력을 보였다. 적지적수도 작성 결과, 낙엽송은 경상남도 중부를 제외한 대부분 지역이 가능지와 적지로 나타났으며, 편백은 경상남도의 북동부 지역이 적지로 나타났다. 랜덤포레스트 기법은 적지적수도 작성뿐만 아니라 산림 분야에서적용되어 왔던 다양한 형태의 분류 및 예측 연구에서 활용 가능성이 높을 것으로 사료된다.

랜덤 포레스트를 이용한 심전도 기반 생체 인증

김정균(JeongKyun Kim),이강복(Kang Bok Lee),홍상기(Sang Gi Hong) 대한전자공학회 2017 전자공학회논문지 Vol.54 No.6

본 논문은 개인 인증 알고리즘에 관한 것으로 심전도를 이용한 생체 인증 방식은 특정 보정기준점을 추출하는 방법과 그렇지 않은 방법으로 분류할 수 있으며 본 논문에서 제안하는 방법은 특정 보정기준점을 추출하지 않는 방법으로 이산 코사인 변환과 랜덤 포레스트 분류기를 사용하였다. 심전도 신호는 R-Peak 점을 기준으로 단일 심박으로 나누었으며 각 심박의 특징 추출을 위해 이산 코사인 변환을 적용하였다. 이산 코사인 변환 계수는 정보가 저주파에 집중되는 특성이 있으므로 초기 저주파에 해당하는 40까지 값을 특징으로 랜덤 포레스트 분류기를 구성하였다. 랜덤 포레스트는 의사결정 트리의 앙상블 분류기로 결정 트리를 기본으로 하고 있으므로 빠른 학습 속도와 많은 양의 데이터 처리 능력, 다양한 클래스를 분류할 수 있어 실생활에 적용 가능하며 무엇보다 ID의 승인과 거절을 위한 임계값을 분류기 내부에서 조절할 수 있어 오 분류에 강건한 알고리즘을 구성할 수 있다. 18개의 심전도 파일로 구성된 MIT-BIT Normal Sinus Rhythm 데이터베이스를 선정하여 성능을 평가하였으며 99.99%의 심전도 인식률을 보였다. This work presents an ECG biometric recognition system for the purpose of biometric authentication. ECG biometric approaches are divided into two major categories, fiducial-based and non-fiducial-based methods. This paper proposes a new non-fiducial framework using discrete cosine transform and a Random Forest classifier. When using DCT, most of the signal information tends to be concentrated in a few low-frequency components. In order to apply feature vector of Random Forest, DCT feature vectors of ECG heartbeats are constructed by using the first 40 DCT coefficients. RF is based on the computation of a large number of decision trees. It is relatively fast, robust and inherently suitable for multi-class problems. Furthermore, it trade-off threshold between admission and rejection of ID inside RF classifier. As a result, proposed method offers 99.9% recognition rates when tested on MIT-BIH NSRDB.

누적 히스토그램과 랜덤 포레스트를 이용한 머리방향 추정

문성희(Sung Hee Mun),이칠우(Chil woo Lee) 한국스마트미디어학회 2016 스마트미디어저널 Vol.5 No.1

스마트 환경 구축이 보편화됨에 따라 사람과 컴퓨터 사이의 상호작용(HCI)에 관한 연구가 활발히 진행되고 있다. 인간-컴 퓨터 상호작용에서 사람의 얼굴과 시선 방향을 안다는 것은 그 사람의 의도나 관심의 대상을 파악하는데 중요한 정보를 제공할 뿐만 아니라 신체 구조를 이해하는데도 하나의 기준이 될 수 있으므로 중요한 연구 테마이다. 본 논문에서는 랜덤 포레스트를 이용하여 얼굴 방향을 미리 정해놓은 각도로 분류하는 방법을 제안한다. 먼저 영상은 전처리를 거친 뒤 회전 정보를 얻기 위하여 평균 정면 얼굴과의 차영상을 이용하여 회전정보를 추출한다. 캐니에지 검출법을 이용하여 얼굴의 특징을 검출하고 이를 이용하여 에지 영상을 구한 뒤, 이 영상에 대해 가로 세로축 각각에 대해 픽셀 수를 누적하여 히스토 그램을 작성한다. 누적히스토그램을 특징으로 랜덤 포레스트를 생성하였으며, 랜덤 포레스트의 학습과 테스트에는 CAS-PEAL-R1 데이터를 사용하여 80.6%의 인식률을 얻었다. As smart environment is spread out in our living environments, the needs of an approach related to Human Computer Interaction(HCI) is increases. One of them is head pose estimation. it related to gaze direction estimation, since head has a close relationship to eyes by the body structure. It’s a key factor in identifying person’s intention or the target of interest, hence it is an essential research in HCI. In this paper, we propose an approach for head pose estimation with pre-defined several directions by random forest classifier. We use canny edge detector to extract feature of the different facial image which is obtained between input image and averaged frontal facial image for extraction of rotation information of input image. From that, we obtain the binary edge image, and make two accumulated histograms which are obtained by counting the number of pixel which has non-zero value along each of the axes. This two accumulated histograms are used to feature of the facial image. We use CAS-PEAL-R1 Dataset for training and testing to random forest classifier, and obtained 80.6% accuracy.

버퍼거리에 따른 공간 랜덤포레스트를 이용한 월 평균기온 예측 성능 비교

김준석(Junseok Kim),윤상후(Sanghoo Yoon) 한국자료분석학회 2020 Journal of the Korean Data Analysis Society Vol.22 No.5

한반도에 발생하는 자연재해의 피해를 줄이기 위해서는 좁고 복잡한 지형적 특징을 고려하여 고해상도 기상자료를 생성해야한다. Hengl et al.(2018)이 제안한 공간 랜덤포레스트는 기상정보를 고해상도로 공간보간 할 수 있는 기계학습법으로 2D 평면좌표계를 이용한 버퍼거리를 생성하였지만 본 연구에서는 한반도 지형 특성을 잘 반영하기 위해 3가지 버퍼거리를 고려하였다. 고려된 버퍼거리는 평면좌표계(2D80), 구형좌표계(2D84), 그리고 해발고도가 고려된 평면좌표계(3D80)로 계산되었다. 훈련자료는 종관기상관측장비의 2017년 월 평균기온 자료이고 검증자료는 자동기상관측장비에서 수집한 2017년 월 평균기온 자료이다. 예측성능은 평균제곱오차(RMSE), 평균절대오차(MAE)와 결정계수 R²을 기반으로 평가하였다. 예측성능을 평가한 결과 월 효과가 모델에 반영되지 않은 공간 랜덤포레스트가 시공간 랜덤포레스트보다 좋았다. 이는 계절에 따라 관측소의 중요도가 상이함을 의미한다. 버퍼거리의 종류에 따른 공간 랜덤포레스트 결과를 살펴보면 버퍼거리로 구형좌표계(2D84)를 이용하고 고도를 입력변수로 사용한 모델이 상대적으로 예측성능이 우수하였다. 마지막으로 선정된 최적 모델과 모든 기상관측소의 버퍼거리를 반영하여 전국의 월별 평균기온을 예측하여 시각화하였다. In order to reduce the damage caused by natural disasters on the Korean Peninsula, high-resolution weather data should be generated in consideration of narrow and complex topographical features. The Spatial Random Forest, proposed by Hengl et al. (2018), generated buffer distances using a 2D planar coordinate system with a machine learning method that allows high-resolution spatial interpolation of weather information, but this study considered three buffer distances to better reflect the geographical characteristics of the Korean Peninsula. The buffer distances considered were calculated as planar coordinate systems (2D80), spherical coordinate systems (2D84), and planar coordinate systems (3D80) with altitude above sea level considered. The training data are the average monthly temperature data of 2017 collected from the ASOS and the verification data are the average monthly temperature data of 2017 collected from the AWS. Predictive performance was evaluated based on RMSE, MAE, and R². Looking at the results of spatial random forest according to the type of buffer distance, the model using the spherical coordinate system (2D80) as the buffer distance and the altitude as the input variable had relatively good predictive performance. Finally, the selected optimal model and the buffer distance of all weather stations were reflected to predict and visualize the average monthly temperature across the country.

Random Forest 분류 알고리즘을 통한 원주시 청년 인구 감소 원인 분석

명재홍,박주은,이예승 한국품질경영학회 2023 한국품질경영학회 학술대회 Vol.2023 No.0

본 논문은 강원도 원주시의 청년층이 20년도부터 눈에 띄는 감소세를 보인 문제를 다른 시와 비교 분석하여 해결 방안을 모색하는 연구이다. 이를 위해, 랜덤 포레스트(Random Forest) 분류 알고리즘을 활용하여, 다른 시와 원주시의 청년층 인구 감소 문제의 차이를 파악하고, 이를 해결하기 위한 방안을 모색한다. 본 연구에서는 랜덤 포레스트 분류 알고리즘을 이용하여 원주시와 다른 시의 청년층 인구 감소 문제를 분석하였다. 이를 통해, 동일기간 원주시와 다른 시의 청년층 인구 감소 문제의 차이점을 파악하고, 이를 해결하기 위한 대안을 모색하였다. 랜덤 포레스트 분류 알고리즘은 변수 간의 상호작용을 고려하여 분류 모델을 구축하므로, 다양한 변수를 분석하여 청년층 인구 감소 문제의 원인을 파악하는 데 있어 유용한 도구로 활용할 수 있다. 본 논문에서는 랜덤 포레스트 분류 알고리즘을 이용하여 원주시의 청년 인구 데이터와 그 외의 교통, 여가, 소득적 여건을 데이터를 통해 파악하여 랜덤 포레스트를 사용하여 20년도부터 확연하게 줄어드는 청년층의 원인을 모색할 것이다. 동일기간 다른 시의 청년층 인구를 비교 분석하고, 원주시가 가진 차이점을 탐구할 것이다. 이를 통해, 앞으로 강원특별자치도가 될 강원도 지역 발전을 위한 정책적 시사점을 제시하고자 한다.

청소년의 읽기, 수학 및 과학 성취에 영향을 미치는 주요 예측변수 탐색

정혜원,박소영 한국교육과정평가원 2022 교육과정평가연구 Vol.25 No.1

The purpose of this study was to explore the key predictors that explain the reading, mathematics, and science achievement of Korean adolescents. To do this, the mixed-effect random forest (MERF) (Hajjem, Bellavance, & Larocque, 2012) considering multilevel data structure and multilevel modeling were applied to PISA 2018 data. The main results are as follows. First, MERF approach revealed that reading strategies, the perception of competence in reading, enjoyment of reading, index of PISA tests, and students' perceived ICT autonomy were commonly selected across three the reading, mathematics, and science achievement. Interestingly, additional instruction in mathematics, learning time after school, and annual household income were explored as key predictors in mathematics achievement only. Second, the multilevel analysis revealed that student-, and parent-related factors were statistically related to Korean adolescents’ reading, mathematics, and science achievement. Based on the findings, implications for improving Korean adolescents’ reading, mathematics, and science achievement were discussed. 본 연구는 청소년의 인지적 역량 중 읽기, 수학 및 과학 성취 관련 주요 예측변수를 탐색하고, 주요 예측변수가 세 영역에 미치는 영향력을 검증하고자 하였다. 이를 위해 PISA 2018 자료에 다층자료 구 조를 반영할 수 있는 혼합효과 랜덤포레스트(mixed-effect random forest: MERF)와 다층모형을 적용하였다. 주요 연구결과는 다음과 같다. 첫째, 예측성과가 좋은 혼합효과 랜덤포레스트를 적용한 결과, 학생과정 요인(읽기 전략 방법, 읽기에 대한 능력 지각 및 즐거움, PISA 검사와 관련된 변수) 및 ICT 요인(ICT 사용에 대한 지각된 자율성)이 읽기, 수학 및 과학 성취에 공통적인 주요 예측변수로 도 출되었다. 영역에 따라 상이한 결과도 도출되었는데, 특히 수학 성취에서만 연간 가계 소득, 정규 수업 외 추가 교육, 방과 후 공부 시간 등이 주요 예측변수로 탐색되었다. 둘째, 다층모형 분석 결과, 혼합효 과 랜덤포레스트에서 도출된 주요 학생 및 부모관련 요인은 청소년의 읽기, 수학 및 과학 성취에 유의 한 영향을 미치는 것으로 나타났다. 이러한 연구결과를 토대로 청소년의 인지적 성취 수준 제고를 위 한 다각적인 시사점을 논의하였다.