교차 프로젝트 결함 예측 성능 향상을 위한 효과적인 하모니 검색 기반 비용 민감 부스팅 최적화

류덕산 ( Duksan Ryu ),백종문 ( Jongmoon Baik ) 한국정보처리학회 2018 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.7 No.3

소프트웨어 결함 예측(SDP)은 결함이 있는 모듈을 식별하기 위한 연구 분야이다. 충분한 로컬 데이터가 없으면 다른 회사에서 수집한 데이터를 사용하여 분류기를 구축하는 교차 프로젝트 결함 예측(CPDP)을 활용할 수 있다. SDP에 대한 대부분의 기계 학습 알고리즘은 서로 다른 값에 따라 예측 성능에 큰 영향을 미치는 하나 이상의 매개 변수를 사용한다. 본 연구의 목적은 CPDP의 예측 성능 향상을 위해 매개 변수 선택 기법을 제안하는 것이다. Harmony Search 알고리즘을 사용하여, 예측 어려움을 야기하는 클래스 불균형을 해결하는 방법인 비용에 민감한 부스팅의 매개 변수를 조정한다. 분포 특성에 따라 매개 변수 범위와 매개 변수 간의 제한 조건 규칙이 정의되어 하모니 검색 알고리즘에 적용된다. 제안된 접근법은 15개의 대상 프로젝트를 대상으로 3개의 CPDP 모델과 내부프로젝트 결함 예측(WPDP) 모델을 비교한다. 실험 결과는 제안된 방법이 클래스 불균형의 맥락에서 다른 CPDP 방법보다 성능이 우수하다는 것을 보여준다. 이전의 연구에서는 탐지 확률이 낮거나 오보가능성이 높았으나 우리의 기법은 높은 PD와 낮은 PF를 제공하면서 높은 전체 성능을 보였다. 또한 WPDP와 비슷한 성능을 제공하였다. Software Defect Prediction (SDP) is a field of study that identifies defective modules. With insufficient local data, a company can exploit Cross-Project Defect Prediction (CPDP), a way to build a classifier using dataset collected from other companies. Most machine learning algorithms for SDP have used more than one parameter that significantly affects prediction performance depending on different values. The objective of this study is to propose a parameter selection technique to enhance the performance of CPDP. Using a Harmony Search algorithm (HS), our approach tunes parameters of cost-sensitive boosting, a method to tackle class imbalance causing the difficulty of prediction. According to distributional characteristics, parameter ranges and constraint rules between parameters are defined and applied to HS. The proposed approach is compared with three CPDP methods and a Within-Project Defect Prediction (WPDP) method over fifteen target projects. The experimental results indicate that the proposed model outperforms the other CPDP methods in the context of class imbalance. Unlike the previous researches showing high probability of false alarm or low probability of detection, our approach provides acceptable high PD and low PF while providing high overall performance. It also provides similar performance compared with WPDP.

An Effective Comparative Framework for Cross-Project Defect Prediction Based on the Feature Selection Technique

Duksan Ryu(류덕산),Jongmoon Baik(백종문) Korean Institute of Information Scientists and Eng 2018 정보과학회논문지 Vol.45 No.7

Software defect prediction (SDP) can help optimally allocate software testing resources on fault-prone modules. Typically, local data within a company are used to build classifiers. Unlike such Within-Project Defect Prediction (WPDP), there may exist some cases, e.g., pilot projects, without any collected data from historical projects. Cross-project defect prediction (CPDP) using data from other projects can be employed in such cases. The defect prediction performance may be degraded in the presence of irrelevant or redundant information. To address this issue, various feature selection techniques have been suggested. Until now, there has been no research on identifying effective feature selection techniques for CPDP. We present a comparative framework using feature selection to produce a high performance for CPDP. We compare eight existing feature selection techniques, for three CPDP and one WPDP model, based on feature subset evaluators and feature ranking methods. After the features are chosen that perform the best, classifiers are built, tested, and evaluated using the statistical significance and effect size tests. Hybrid Instance Selection using Nearest-Neighbor (HISNN) is better than the other CPDP models and comparable to the WPDP model. Results from the comparison show that a different distribution, class imbalance and feature selection should be considered to obtain a high performance CPDP model.

유한상태기 계를 적용한 자율주행차의 경로계획기법 사례연구

류덕산 ( Duksan Ryu ),백종문 ( Jongmoon Baik ) 한국정보처리학회 2018 한국정보처리학회 학술대회논문집 Vol.25 No.1

자율주행차에서 경로계획기법은 지도,목적지 경로와 다른 정적/동적 장애물에 대한 예측 정보를 바탕으로,안전하고,합법적이며 효율적으로 차량을 조종하는 목표를 가진다. 고속도로 환경에서, 차량이 차선을 유지하고,다른 차량들과 충돌을 회피하며,더 느리게 움직이는 트래픽을 지나쳐 효율적이면서 안전한 경로를 생성하는 기법이 요구된다. 본 연구에서는,시스템의 행위를 모델링하는 기법 중의 하나인 유한상태기계를 적용하였다. 시뮬레이터를 통해,급가속/감속과,충돌 없이,차선을 유지/변경을 할 수 있음을 보였다. 자율주행차의 고속도로 주행의 경우,유한상태기계를 적용하여,효율적이고 안전한 경로계획을 수행할 수 있다.

A Comparative Study on Similarity Measure Techniques for Cross-Project Defect Prediction

류덕산,백종문,Ryu, Duksan,Baik, Jongmoon Korea Information Processing Society 2018 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.7 No.6

소프트웨어 결함 예측은 결함이 자주 발생하는 모듈에 집중함으로써 소프트웨어 품질 보증 활동에 귀중한 프로젝트 리소스를 효과적으로 할당하는 데 도움이 될 수 있다. 회사 내에서 수집 된 충분한 기록 데이터를 사용하여 정확한 결함 발생 가능성이 높은 모듈 예측에 대해 WPDP (프로젝트 내 결함 예측)를 사용할 수 있다. 회사가 과거 데이터를 유지하지 못한 경우 CPDP (Cross-Project Defect Prediction) 메커니즘을 기반으로 오류를 예측하는 분류기를 만드는 것이 도움이 될 수 있다. CPDP는 다른 조직에서 수집 한 다른 프로젝트 데이터를 사용하여 분류기를 작성하기 때문에 정확한 분류기를 만드는데 가장 큰 장애물은 소스와 대상 프로젝트 간의 서로 다른 분포이다. 이 문제의 해결을 위해 효과적인 유사도 측정 기술을 식별하는 것이 중요하므로, 본 논문에서는 다양한 유사도 측정 기술을 CPDP 모델에 적용하여 성능을 비교한다. 유사도 가중치의 유효성을 평가하고, 통계적 유의성 검정 및 효과 크기 검정을 통해 결과를 검증한다. 실험 결과, k-Nearest Neighbor (k-NN), LOcal Correlation Integral (LOCI) 및 Range 방법이 유사도 측정 기술 중 상위 3 개에 속했고, 이들을 사용하는 CPDP 예측 성능이 WPDP의 성능과 유사하였다. Software defect prediction is helpful for allocating valuable project resources effectively for software quality assurance activities thanks to focusing on the identified fault-prone modules. If historical data collected within a company is sufficient, a Within-Project Defect Prediction (WPDP) can be utilized for accurate fault-prone module prediction. In case a company does not maintain historical data, it may be helpful to build a classifier towards predicting comprehensible fault prediction based on Cross-Project Defect Prediction (CPDP). Since CPDP employs different project data collected from other organization to build a classifier, the main obstacle to build an accurate classifier is that distributions between source and target projects are not similar. To address the problem, because it is crucial to identify effective similarity measure techniques to obtain high performance for CPDP, In this paper, we aim to identify them. We compare various similarity measure techniques. The effectiveness of similarity weights calculated by those similarity measure techniques are evaluated. The results are verified using the statistical significance test and the effect size test. The results show k-Nearest Neighbor (k-NN), LOcal Correlation Integral (LOCI), and Range methods are the top three performers. The experimental results show that predictive performances using the three methods are comparable to those of WPDP.

자동차 소프트웨어 교차-프로젝트 결함 예측을 위한 전이 학습 모델 비교 연구

최정환(Jeongwhan Choi),류덕산(Duksan Ryu),김순태(Suntae Kim) 한국정보과학회 2020 한국정보과학회 학술발표논문집 Vol.2020 No.7

향상된 교차 버전 결함 예측을 위한 베이지안 최적화 프레임워크

최정환 ( Jeongwhan Choi ),류덕산 ( Duksan Ryu ) 한국정보처리학회 2021 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.10 No.9

최근 소프트웨어 결함 예측 연구는 교차 프로젝트 간의 결함 예측뿐만 아니라 교차 버전 프로젝트 간의 결함 예측 또한 이루어지고 있다. 종래의 교차 버전 결함 예측 연구들은 WP(Within-Project)로 가정한다. 하지만, CV(Cross-Version) 환경에서는 프로젝트 버전 간의 분포 차이의 중요성을 고려한 연구들이 없다. 본 연구에서는 다른 버전 간의 분포 차이까지 고려하는 자동화된 베이지안 최적화 프레임워크를 제안한다. 이를 통해 분포차이에 따라 전이 학습(Transfer Learning) 수행 여부를 자동으로 선택하여 준다. 해당 프레임워크는 버전 간의 분포 차이, 전이 학습과 분류기(Classifier)의 하이퍼파라미터를 최적화하는 기법이다. 실험을 통해 전이 학습 수행 여부를 분포차 기준으로 자동으로 선택하는 방법이 효과적이라는 것을 알 수 있다. 그리고 최적화를 이용하는 것이 성능 향상에 효과가 있으며 이러한 결과 소프트웨어 인스펙션 노력을 감소할 수 있다는 것을 확인할 수 있다. 이를 통해 교차 버전 프로젝트 환경에서 신규 버전 프로젝트에 대하여 효과적인 품질 보증 활동 수행을 지원할 것으로 기대된다. In recent software defect prediction research, defect prediction between cross projects and cross-version projects are actively studied. Cross-version defect prediction studies assume WP(Within-Project) so far. However, in the CV(Cross-Version) environment, the previous work does not consider the distribution difference between project versions is important. In this study, we propose an automated Bayesian optimization framework that considers distribution differences between different versions. Through this, it automatically selects whether to perform transfer learning according to the difference in distribution. This framework is a technique that optimizes the distribution difference between versions, transfer learning, and hyper-parameters of the classifier. We confirmed that the method of automatically selecting whether to perform transfer learning based on the distribution difference is effective through experiments. Moreover, we can see that using our optimization framework is effective in improving performance and, as a result, can reduce software inspection effort. This is expected to support practical quality assurance activities for new version projects in a cross-version project environment.

소프트웨어 결함예측을 위한 하모니 탐색을 이용한 혼합 특징선택 방법

권순재(Sunjae Kwon),류덕산(Duksan Ryu ),백종문(Jongmoon Baik) 한국정보과학회 2020 한국정보과학회 학술발표논문집 Vol.2020 No.12

Cross-Project Defect Regression을 위한 전이 학습 기법 적용성 연구

최정환(Jeongwhan Choi),류덕산(Duksan Ryu) 한국정보과학회 2020 한국정보과학회 학술발표논문집 Vol.2020 No.12

소프트웨어 결함 데이터의 특징 부분 집합을 이용한 자기지도 학습

최정환(Jeongwhan Choi),류덕산(Duksan Ryu) 한국정보과학회 2021 한국정보과학회 학술발표논문집 Vol.2021 No.12

유전 알고리즘을 이용한 자동차 소프트웨어 결함 예측에서의 하이퍼파라미터 최적화

이재욱(Jaewook Lee),류덕산(Duksan Ryu),김순태(Suntae Kim) 한국정보과학회 2020 한국정보과학회 학술발표논문집 Vol.2020 No.7