동적 바이너리 계측을 이용한 최적화된 프로그램의 정확한 베이직 블록 커버리지 측정

정은지(Eunji Jeong),오진석(Jinseok Oh),문수묵(Soo-Mook Moon),오광근(KwangKeun Oh),오영근(YoungKeun Oh) 한국정보과학회 2013 정보과학회논문지 : 소프트웨어 및 응용 Vol.40 No.5

코드 커버리지는 소프트웨어 테스팅에서 가장 기초적인 측정 항목 중 하나이다. 하지만 리소스가 부족한 임베디드 환경에서 프로그램의 코드 커버리지를 정확하게 측정하는 것은 어렵다. 먼저, 최적화를 생략하거나 추가 계측 코드를 삽입하는 기존의 방법은 프로그램 바이너리의 크기를 증가시키므로 메모리가 부족한 환경에서 적용하기 어렵다. 그리고 소스 코드를 컴파일할 때 코드를 최적화하는 과정에서 커버리지 측정 위치가 불명확해지기 때문에, 코드 커버리지를 정확하게 측정하기 어렵다. 본 논문에서는 위의 문제를 해결하여, 동적 바이너리 계측을 이용하여 메모리 증가 없이 베이직 블록 커버리지를 최대 99.9% 정확도로 측정할 수 있는 새로운 방법을 제안한다. Code coverage analysis is a basic measure in software testing. However, analyzing code coverage in embedded system has several issues, mainly related to the resource limitations. First, existing methodologies, like disabling optimization or inserting additional instrumentation code, increase code size, so it is impossible to adopt for some embedded system which has small memory space. Second, aggressive compiler optimization is needed in embedded system to reduce code size, so it gets harder to analyze the program accurately. In this paper, we present a new coverage analysis framework to overcome these problems. Our framework can measure the basic block coverage of optimized program without increasing code size, with safety up to 99.9%.

구성가능한 소프트웨어 제품라인 시험에서 코드 커버리지 측정

한수빈,이지현,고서연 한국정보처리학회 2022 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.11 No.7

Testing approaches for configurable software product lines differs significantly from a single software testing, as it requires considerationof common parts used by all member products of a product line and variable parts shared by some or a single product. Test coverageis a measure of the adequacy of testing performed. Test coverage measurements are important to evaluate the adequacy of testing atthe software product line level, as there can be hundreds of member products produced from configurable software product lines. Thispaper proposes a method for measuring code coverage at the product line level in configurable software product lines. The proposedmethod tests the member products of a product line after hierarchizing member products based on the inclusion relationship of theselected features, and quantifies SPL(Software Product Line) test coverage by synthesizing the test coverage of each product. As a resultof applying the proposed method to 11 configurable software product line cases, we confirmed that the proposed method couldquantitatively visualize how thoroughly the SPL testing was performed to help verify the adequacy of the SPL testing. In addition, wecould check whether the newly performed testing for a member product covers the newly added code parts of a feature. 구성가능한 소프트웨어 제품라인 시험은 모든 멤버제품들에 포함되는 공통 부분과 일부 또는 단일 제품에 포함되는 가변 부분을 고려해야 하기때문에 단일 제품 시험 방법들을 그대로 적용하기 어렵다. 소프트웨어 시스템 시험에서 시험 커버리지는 수행된 시험의 적절성을 측정하는 척도이다. 구성가능한 소프트웨어 제품라인으로부터 생성될 수 있는 멤버제품들은 수백 개에 이를 수 있기 때문에 시험 커버리지 측정은 소프트웨어 제품라인수준에서 시험의 적절성을 평가하기 위해 중요하다. 이 논문은 구성가능한 소프트웨어 제품라인 시험에서 제품라인 수준의 코드 커버리지 측정방법을 제안한다. 제안한 방법은 피처 집합의 포함 관계를 기준으로 제품들을 계층화한 후 제품라인의 멤버제품들을 시험하고, 시험으로부터 얻어진각 제품의 시험 커버리지들을 종합하여 SPL 시험 커버리지를 정량화한다. 제안한 방법을 11개의 구성가능한 소프트웨어 제품라인 사례에 적용하여검증한 결과, 제안한 방법은 SPL 시험이 얼마나 철저하게 수행되었는지를 정량적으로 기술하여 SPL 시험의 적정성을 확인할 수 있도록 도왔다. 또한, 새로 추가된 SPL 멤버제품의 시험이 이전 멤버제품 시험 대비 커버리지를 증가시키는 방향인지 확인할 수 있어 새로운 시험케이스들이 멤버제품들 간의 차이를 커버하는 방향으로 시험이 이루어지고 있는지 확인할 수 있었다.

실행가능 목적 코드를 기반으로 하는 자동 테스트 데이터 생성

정인상 한국인터넷방송통신학회 2012 한국인터넷방송통신학회 논문지 Vol.12 No.2

고수준의 명세나 고수준의 프로그래밍 언어로 작성된 원시 코드를 이용하여 테스트 데이터를 생성하는 것이 일반적이다. 그러나 어떤 상황에서는 이러한 테스트 데이터 생성 정보가 항상 이용가능하지 않을 수 있다. 이 논문에서는 실행가능 목적코드를 바탕으로 테스트 데이터를 생성하는 방법을 제안한다. 제안된 방법은 정교한 목적 코드 분석을 필요로 하지 않은 매우 간단한 함수 최소화 기법을 사용하여 동적으로 테스트 데이터를 생성한다. 삼각형 분류 프로그램에 대한 실험을 통하여 분기 커버리지를 매우 효과적으로 달성함을 보인다. It is usual for test data generation to be performed using either high-level specifications or source codes written in high-level programming languages. In certain circumstances, however, such information is not always available. This paper presents a technique that generates test data based on executable object codes. The proposed technique makes use of a very simple function minimization technique without sophisticated object code analysis and produces test data dynamically. We have conducted a simple experiment to evaluate the effectiveness of the proposed test data generation technique with a triangle classification program to show that branch coverage can be easily achieved.

효율적인 안드로이드 애플리케이션 테스트를 위한 테스트 케이스 설계 방안

신원(Won Shin),박두호(Doo Ho Park),장천현(Chun Hyon Chang) 한국정보과학회 2013 정보과학회논문지 : 소프트웨어 및 응용 Vol.40 No.10

안드로이드 플랫폼의 시장 점유율이 커짐에 따라 품질 향상을 위한 소프트웨어 테스팅에 대한 관심이 높아지고 있다. 안드로이드 애플리케이션은 특정 GUI 컴포넌트를 통해 사용자 입력을 처리하기 때문에 소스 기반 테스트와는 다른 테스트 기준이 필요하다. 이를 위해 본 논문에서는 안드로이드 소프트웨어의 특성을 고려하는 동시에 일반적인 GUI 소프트웨어 테스트에 사용되는 다양한 테스트 커버리지를 충족시킬 수 있는 테스트 케이스 설계 방법론을 제안한다. 제안하는 방법은 안드로이드 애플리케이션의 상태모델을 응용하고 있으며, 테스트 케이스 생성 과정에서 안드로이드 소프트웨어의 특성을 고려한다. 제안하는 방법을 통해 생성된 테스트 케이스는 코드 커버리지 및 GUI 테스트 커버리지를 만족할 수 있다. 따라서 적은 테스트 케이스로 효율적인 테스트를 수행할 수 있다. 결과적으로 테스트에 소모되는 비용을 절감하고 시간을 단축할 수 있으며 나아가 안드로이드 애플리케이션 품질 개선의 기반이 된다. 제안하는 방안을 검증하기 위해 랜덤 이벤트시퀀스 기반 테스트와 커버리지 비교 실험을 수행하여 제안 방안의 우수함을 증명한다. As the android platform continues to enlarge market-share; there is a growing need for testing techniques for android applications. Android applications are based on a GUI system; and different from other code-based software. So that android software requires test coverage for GUI testing. Generally, there are many kinds for the GUI testing. Among the test coverage, State-transition and Event coverage are a very important part of Android GUI. The reason is that user-interactions operate android applications with events. Additionally, android application testing needs to check that all of activities and events work normally. To use test coverage criteria for GUI testing, this paper aims to present a test case design for efficient android application testing. The test case design uses state-transition model and allows characteristics of android applications. This paper presents the experiments result showing that the proposed approach is better than the event sequence based random testing. With this testing method, developers can test applications more efficiently.

효율적인 안드로이드 애플리케이션 테스트를 위한 테스트 케이스 설계 방안

신원,박두호,장천현 한국정보과학회 2013 정보과학회논문지 : 소프트웨어 및 응용 Vol. No.

As the android platform continues to enlarge market-share; there is a growing need for testing techniques for android applications. Android applications are based on a GUI system; and different from other code-based software. So that android software requires test coverage for GUI testing. Generally, there are many kinds for the GUI testing. Among the test coverage, State-transition and Event coverage are a very important part of Android GUI. The reason is that user-interactions operate android applications with events. Additionally, android application testing needs to check that all of activities and events work normally. To use test coverage criteria for GUI testing, this paper aims to present a test case design for efficient android application testing. The test case design uses state-transition model and allows characteristics of android applications. This paper presents the experiments result showing that the proposed approach is better than the event sequence based random testing. With this testing method, developers can test applications more efficiently. 안드로이드 플랫폼의 시장 점유율이 커짐에 따라 품질 향상을 위한 소프트웨어 테스팅에 대한 관심이 높아지고 있다. 안드로이드 애플리케이션은 특정 GUI 컴포넌트를 통해 사용자 입력을 처리하기 때문에 소스 기반 테스트와는 다른 테스트 기준이 필요하다. 이를 위해 본 논문에서는 안드로이드 소프트웨어의 특성을 고려하는 동시에 일반적인 GUI 소프트웨어 테스트에 사용되는 다양한 테스트 커버리지를 충족시킬 수 있는 테스트 케이스 설계 방법론을 제안한다. 제안하는 방법은 안드로이드 애플리케이션의 상태 모델을 응용하고 있으며, 테스트 케이스 생성 과정에서 안드로이드 소프트웨어의 특성을 고려한다. 제안하는 방법을 통해 생성된 테스트 케이스는 코드 커버리지 및 GUI 테스트 커버리지를 만족할 수 있다. 따라서 적은 테스트 케이스로 효율적인 테스트를 수행할 수 있다. 결과적으로 테스트에 소모되는 비용을 절감하고 시간을 단축할 수 있으며 나아가 안드로이드 애플리케이션 품질 개선의 기반이 된다. 제안하는 방안을 검증하기 위해 랜덤 이벤트시퀀스 기반 테스트와 커버리지 비교 실험을 수행하여 제안 방안의 우수함을 증명한다.

결함 위치 추적을 위한 테스트 케이스 자동 생성 기법

박창용 ( Changyong Park ),김준희 ( Junhee Kim ),류성태 ( Sungtae Ryu ),윤현상 ( Hyunsang Youn ),이은석 ( Eunseok Lee ) 한국정보처리학회 2012 한국정보처리학회 학술대회논문집 Vol.19 No.1

오늘날 소프트웨어가 가지는 규모와 복잡성은 날로 심화되고 있으며, 소프트웨어 개발 시 결함을 찾아내기 위한 테스트에 많은 시간이 소모되고 있는 실정이다. 이러한 문제점을 해결하기 위해 중요한 기술 중 하나가 결함 위치 추적(Fault Localization)이다. 이 기법을 이용하여 결함을 추적하기 위해서는 다량의 테스트 케이스를 필요로 하며, 추가로 테스트 케이스를 작성하는 것은 또 다른 개발 부하이다. 본 논문에서는 이를 해결하기 위해서 분기별 입력 조합 기반 테스트 케이스 생성방법과 시드 결과 기반 테스트 케이스 생성방법을 제안하였다. 개발자는 본 생성방법을 통해 테스트 케이스 생성에 대한 비용 절감을 기대 할 수 있다. 제안하는 내용의 효용성을 검증하기 위해 실제 예제 코드에 적용하여 평가하였다. 두 가지 방법 모두 무작위 생성한 테스트 케이스에 비해 개발자가 직접 생성하는 것과 유사한 테스트 케이스를 생성하고, 제안 방법으로 생성한 테스트 케이스의 신뢰성을 확인하였다.

위성관제시스템 SW 동적시험 환경 구축

정철오(Cheol Oh Jeong),이병선(Byoung-Sun Lee),김인준(In Jun Kim),황유라(Woola Hwang),이수전(Soojeon Lee) 한국항공우주학회 2016 한국항공우주학회 학술발표회 논문집 Vol.2016 No.11

Transformation Method for a State Machine to Increase Code Coverage

윤영동(YoungDong Yoon),최현재(HyunJae Choi),채흥석(HeungSeok Chae) Korean Institute of Information Scientists and Eng 2016 정보과학회논문지 Vol.43 No.9

Concolic 단위 테스팅 기법을 사용한 효과적인 자동차SW 커버리지 향상

백준기(June ki Baek),이동주(Dong ju Lee),김현우(Hyun woo Kim) 한국자동차공학회 2018 한국자동차공학회 학술대회 및 전시회 Vol.2018 No.11

This research defined a Concolic Unit Testing method and developed an automatic tool to test complex vehicle control unit SW effectively. As a result of applying to IBU, the test cases generated automatically by the Concolic Unit Testing method covered more than 73% of Branch Coverage.

비탐침식 소프트웨어 동적시험 자동화 방안 연구

신선영(Sunyoung Shin),이선호(Seonho Lee),장순용(Soonryong Jang) 항공우주시스템공학회 2018 항공우주시스템공학회 학술대회 발표집 Vol.2018 No.4