프로젝트의 결함 밀도와 교차 프로젝트 결함 예측 모형의 예측력과의 관계 = The Relationship Between Defect Density of Software Projects and the Performance of Defect Prediction Models for Cross-project

국문 초록 (Abstract)

소프트웨어 결함 예측은 소프트웨어 시스템 중 결함이 존재할 만한 모듈을 사전에 예측하는 연구이다. 최근의 오픈 소스 프로젝트 및 공개적으로 이용 가능한 결함 정보 저장소의 증가로 인해 결함예측 모형의 구축 및 구축된 모형의 범용성을 확인하기 위한 연구가 연구자들의 관심을 끌고 있다. 그러나 예측 모형을 새롭게 구축하는 것은 모형 구축 기술에 대한 깊이 있는 지식을 가지고 있어야 할 뿐만 아니라, 모형 구축을 위해 많은 시간이 필요한 작업이다. 모형 구축의 이러한 단점은 현실의 프로젝트에 교차 프로젝트 결함 예측 연구의 적용을 어렵게 한다. 본 논문에서는 결함 모형을 새롭게 구축하는 대신, 기 구축된 결함 예측 모형의 범용성을 확인하기 위한 연구를 수행하였다. 이를 위해 네 가지 기 구축된 결함 예측 모형을 이용하여 34가지 공개 프로젝트의 결함을 예측하는 실험을 수행하였다. 실험 결과에 따르면 기 구축된 예측 모형은 실험 대상 프로젝트의 결함 밀도에 따라서 범용성이 달라지는 것을 확인할 수 있었다. 즉, 결함 밀도가 높은 프로젝트는 상대적으로 높은 결함 예측력을 보였으며, 결함 밀도가 낮은 프로젝트는 상대적으로 낮은 결함 예측력을 보였다.

다국어 초록 (Multilingual Abstract)

Defect prediction studies aim to predict defect-prone classes. The studies have recently focused on validating generality of prediction models because of increasing public defect information about open source projects. But constructing new prediction models is not an easy task because model developers should have specific knowledge and construction models are a time-intensive task. Such disadvantages make cross-project defect prediction study difficult for applying in the reality. In this paper, instead of constructing new prediction models, we study on validating generality of conventional prediction models. We conduct defect prediction experiments on 34 data sets using four conventional models. The results indicate that the generality of conventional models depends on defect density of a target system. That is, the models relatively predict well on high defect density projects and vice versa.

목차 (Table of Contents)

• 요약
• Abstract
• 1. 서론
• 2. 관련 연구
• 3. 실험 설계
• 4. 실험 결과
• 5. 타당도 검증
• 6. 결론 및 향후연구
• 참고문헌

참고문헌 (Reference)

1 Steyerberg, E. W., "Validation and updating of predictive logistic regression models : a study on sample size and shrinkage" 23 (23): 2567-2586, 2004

2 Nagappan, N., "Use of relative code churn measures to predict system defect density" 2005

3 Ma, Y, "Transfer learning for cross-company software defect prediction" 54 (54): 248-256, 2012

4 Jureczko, M., "Towards identifying software project clusters with regard to defect prediction" ACM 1-10, 2010

5 Shatnawi, R., "The effectiveness of software metrics in identifying error-prone classes in post-release software evolution process" 81 (81): 1868-1882, 2008

6 Menzies, T., "Special issue on repeatable results in software engineering prediction" 17 (17): 1-17, 2012

7 Catal, C, "Software fault prediction : A literature review and current trends" 38 (38): 4626-4636, 2011

8 Shivaji, S., "Reducing Features to Improve Bug Prediction" IEEE Computer Society 600-604, 2009

9 Menzies, T, "Problems with Precision : A Response to"Comments on 'Data Mining Static Code Attributes to Learn Defect Predictors'" 33 (33): 637-640, 2007

10 Ohlsson, N., "Predicting fault-prone software modules in telephone switches. Software Engineering" 22 (22): 886-894, 1996

11 Boetticher, G., "PROMISE Repository of empirical software engineering data"

12 Turhan, B, "On the relative value of cross-company and within-company data for defect prediction" 14 (14): 540-578, 2009

13 Nagappan, N., "Mining metrics to predict component failures" ACM 452-461, 2006

14 Borra, S., "Measuring the prediction error. A comparison of cross-validation, bootstrap and covariance penalty methods" 54 (54): 2976-2989, 2010

15 English, M, "Fault detection and prediction in an open-source software project" ACM 1-11, 2009

16 Gyimothy, T., "Empirical validation of object-oriented metrics on open source software for fault prediction" 31 (31): 897-910, 2005

17 Olague, H. M, "Empirical Validation of Three Software Metrics Suites to Predict Fault-Proneness of Object-Oriented Classes Developed Using Highly Iterative or Agile Software Development Processes" 33 (33): 402-419, 2007

18 Turhan, B., "Empirical Evaluation of Mixed-Project Defect Prediction Models" IEEE Computer Society 396-403, 2011

19 Yuming, Z., "Empirical Analysis of Object-Oriented Design Metrics for Predicting High and Low Severity Faults" 32 (32): 771-789, 2006

20 Weyuker, E. J., "Do too many cooks spoil the broth? Using the number of developers to enhance defect prediction models" 13 (13): 539-559, 2008

21 Menzies, T., "Data Mining Static Code Attributes to Learn Defect Predictors" 33 (33): 2-13, 2007

22 Zimmermann, T, "Cross-project defect prediction : a large scale experiment on data vs. domain vs. process" ACM 91-100, 2009

23 Hongyu, Z., "Comments on"Data Mining Static Code Attributes to Learn Defect Predictors" 33 (33): 635-637, 2007

24 Briand, L. C., "Assessing the applicability of fault-proneness models across object-oriented software projects" 28 (28): 706-720, 2002

25 He, Z, "An investigation on the feasibility of cross-project defect prediction" 19 (19): 167-199, 2012

26 D'Ambros, M., "An extensive comparison of bug prediction approaches" 2010

27 Wahyudin, D., "A framework for defect prediction in specific software project contexts" Springer-Verlag 261-274, 2011

28 Hall, T, "A Systematic Review of Fault Prediction Performance in Software Engineering" PP (PP): 1-1, 2011