Usage log-based embedded software testing with the identification of environmental features : 환경의 특성을 고려하는 입력 로그 기반의 임베디드 소프트웨어 테스팅

다국어 초록 (Multilingual Abstract)

To test the embedded software thoroughly, the developer should use test scenarios that reflect the environment's features since embedded software uses multiple peripherals and interacts with the environment. However, the developer had difficulty generating the appropriate test scenarios to test the software thoroughly. It is caused by that the existing method depends on the developer's assumption of the environment, and the test scenario often does not consider the environment's features. Since the assumption is performed before the implementation of the system, the developer often neglects the dependency among environmental inputs or misunderstands behaviors of the environment. Therefore, the test scenarios depending on the existing method may not be sufficient to test embedded software.
This thesis proposes a testing method considering the features of the environment. To complement the problem caused by the developer's incorrect assumption, the proposed method uses the usage log collected by the domain. Analyzing the usage log and the developer's assumption makes the realistic environment model. Test scenario generation from the new environment model provides us the additional test cases and detects the hidden fault in the embedded software. We performed experiments using Android applications and showed the effectiveness of validation and verification.

국문 초록 (Abstract)

임베디드 소프트웨어가 다수의 주변기기를 사용하여 환경과 상호작용하므로, 개발자는 임베디드 소프트웨어를 충분히 테스트하기 위하여 주변환경의 특성을 반영하는 테스트 시나리오를 사용하여야 한다. 하지만 개발자의 가정에 의존하는 기존의 테스트 시나리오 생성방법은 환경의 특성을 완전히 반영하고 있지 못하고 있으며, 충분한 테스트 시나리오를 생성하기 어렵다는 문제점을 가지고 있었다. 개발자의 가정이 시스템 구현 이전에 이루어지기 때문에, 환경 입력간의 의존성이 무시되거나 환경의 행위가 부적절하게 표현되는 경우가 기존의 임베디드 소프트웨어 테스팅에서 자주 발생하였다. 그러므로, 현재의 소프트웨어 테스팅 방법은 다수의 환경 입력을 사용하는 최신 시스템을 테스트하기에 역부족이다.
본 논문에서는 주변 환경의 특성을 반영하는 임베디드 소프트웨어 테스팅 기법을 새롭게 제안한다. 테스트 케이스를 만들기 위한 근간인 개발자의 가정이 부정확해지는 문제점을 보완하기 위하여, 제안하는 방법은 도메인에서 수집된 입력 로그를 사용한다. 소프트웨어 구현으로부터 개발자가 어떻게 환경의 특성을 가정하였는가 추출하고, 추출된 가정과 입력 로그를 조합함으로써 개발자의 잘못된 가정을 바로잡은 현실적 환경 모델을 획득한다. 새롭게 획득한 환경 모델을 바탕으로 자동 생성한 테스트 시나리오는 추가적인 테스트 케이스를 나타냄으로써 임베디드 소프트웨어에 숨겨진 오류를 찾을 수 있게끔 돕는다. 안드로이드 앱에 실험을 적용한 결과로써 제안하는 방법이 검증 및 확인 양 측면에서 효과적임을 보였다.

목차 (Table of Contents)

• Abstract 1
• Chapter 1. Introduction 2
• Chapter 2. Related Works and Background 9
• 2.1 Test scenario expression for embedded software 9
• 2.2 Environment modeling 12
• 2.3 Using log for embedded software testing 16
• Chapter 3. State model expression and its correction for each environmental input 19
• 3.1 Extraction of the developer’s implicit assumptions 21
• 3.2 Correction of the environmental input abstraction 30
• 3.3 Correction of the environmental input transition 40
• Chapter 4. Dependency identification among environmental inputs its application 49
• 4.1 Identification of the dependency of environmental components and expressing the state model 51
• Chapter 5. Test coverage enhancement based on the identified features of the environment 58
• Chapter 6. Case study and evaluation 62
• 6.1 Detection of the malfunction caused by specification flaw 63
• 6.2 Detection of errors caused by overlooking the dependency of environmental inputs 70
• 6.2.1. Fault injection into the software under test 70
• 6.2.2. Usage log collection and dependency identification among environmental components 76
• 6.2.3. The evaluation on mutant detection 82
• Chapter 7. Conclusion 89
• References 91
• 초록 102

참고문헌 (Reference)

1. Clustering algorithms, John A. Hartigan, Inc., , 1975

2. Control System Design Guide, George Ellis, Fourth Edition, , 2012

3. Discrete Mathematics and its Applications, Kenneth H. Rosen, , 2018

4. An introduction to formal languages and automata, Peter Linz, , 2006

5. `` Report on the loss of the Mars Polar Lander and Deep Space 2 missions, Arden Albee, , 2000

6. `` Record and replay for android : Are we there yet in industrial cases ?, Wing Lam ,, pp . 854-859, , 2017

7. James H. `` Testing using log file analysis : tools , methods , and issues, Andrews, , 1998

8. `` Low cost design of parallel parking assist system based on an ultrasonic sensor ,, S. H. Jeong ,, Vol . 11 , No . 3 , pp . 409-416, , 2010

9. Pilots struggled against Boeing ’ s 737 MAX control system on doomed Lion Air flight, Dominic Gates, https : //www.seattletimes.com/business/boeing-aerospace/black-box-data-rev eals-lion-air-pilots-struggle-against-boeings-737-max-flight-control-system/, , 2018

10. An empirical analysis of equivalence partitioning , boundary value analysis and random testing, Stuart C. Reid, , 1997

11. `` A real-world benchmark model for testing concurrent real-time systems in the automotive domain, Jan Peleska, pp . 146-161, , 2011