뮤테이션 테스트 기법을 적용한 객체지향 프로그램 테스트

최병주(Byoungju Choi) 한국정보과학회 1996 정보과학회논문지(B) Vol.23 No.10

복잡하고 규모가 큰 소프트웨어 시스템 개발을 위하여 체계적이고도 효과적인 설계기법이 필요하다. 최근, 재사용(reuse), 데이타의 추상화(data abstraction), 상속성(inheritance) 및 정보은폐(information hiding)의 특성을 갖는 객체지향 프로그램을 위하여 객체지향 분석, 설계, 개발기법 등이 활발히 진행되고 있다. 그러나 유지보수를 포함한 테스트 과정이 소프트웨어 개발에서 매우 높은 비중을 갖음에도 불구하고 객체지향 프로그램 테스트에 대한 연구는 비교적 적다. 본 논문에서는 구조적 프로그램을 대상으로 이루어 졌던 뮤테이션 테스트 기법을 객체지향 프로그램의 특성에 적합하도록 확장한 객체지향 뮤테이션 테스트 기법을 제안한다. 클러스터가 단위인 객체지향 뮤테이션 테스트는 테스트 드라이버를 통한 클러스터의 behavior 테스트 단계와 프로그램의 구조를 테스트하는 뮤턴트의 실행의 두단계를 갖는다. 객체지향 뮤테이션 테스트의 테스트 데이타 적정성 판단 기준을 위하여 프로그램 slice를 적용한 데이타 상태를 이용한다. 본 논문은 객체지향 언어인 C++의 뮤테이션 테스트 기법을 위한 이론적 모델이다. The need to develop large complex software system requires new approaches to systematic and effective software design. Especially aspects of the nature of the object oriented paradigm, such as reuse, data abstraction, inheritance, information hiding, introduce new and better object oriented design & development methodologies. Although a variety of modeling techniques for object oriented analysis and design have been studied for many years, there has been surprisingly little work done in the area of object oriented programming test. This paper proposes a new testing approach, the object oriented mutation based testing algorithm that expands the mutation based test for the structure oriented languages. The proposed algorithm consists of two testing process such as a behavior test of the cluster through test driver and a program structure test through mutant execution. A slice of program is associated with the mutation test by using a data status for a test data adequacy. We intend this paper to serve as a manual for the mutation based testing of the object oriented language, C++.

객체지향 프로그램을 위한 뮤테이션 테스트 데이타 선정 기준

최병주(Byoungju Choi) 한국정보과학회 1997 정보과학회논문지(B) Vol.24 No.9

클래스, 정보은폐, 상속성, 다형성 등의 특성을 갖는 객체지향론의 등장으로 객체지향 개발 방법론에 대한 연구가 활발히 진행되고 있으며, 그 연구 결과의 성과로 객체지향 개발 지원 CASE 도구가 보급되고 있다. 그러나 이에 비하여 고품질의 소프트웨어 개발을 위하여 테스트 과정이 매우 높은 비중을 갖음에도 불구하고 객체지향 프로그램 테스트에 대한 연구는 비교적 적다. 본 논문에서는 객체지향 프로그램을 위한 뮤테이션 테스트 데이타 선정 기준을 제안한다. 뮤테이션 테스트는 뮤테이션 연산자를 테스트 프로그램에 적용하여 생성된 뮤턴트들을 통하여 테스트 데이타의 적정성을 특정할 수 있는 기준을 제시하기 때문에, 객체지향 뮤테이션 테스트 기준의 핵심은 객체지향 뮤턴트 연산자의 개발에 있다. 객체지향 뮤턴트 연산자를 새롭게 제안함으로써 클래스의 정보은폐, 상속성, 다형성 등의 특성을 테스트할 수 있도록 한다. 본 논문은 객체지향 프로그래밍 언어인 C++의 뮤테이션 테스트 기법을 위한 이론적 모델이다. The nature of the object oriented paradigm, such as class, information hiding, inhcritance and polymorphism, introduces new and better object oriented design & development methodologies, and object oriented based CASE tools. Although a reliable software testing is very important in the software development process, there has been little work done in the area of object oriented programming test. This paper proposes a new testing approach, mutation based test data selection criterion for object oriented program. The mutation based test criteria provides a method for assessing the adequacy of test data through mutants, each of which is a variant of the test program defined by applying a mutant operator. Therefore, our research focuses on developing mutant operators. We describe the object oriented mutant operators associated with class, inheritance and polymorphism in the object oriented paradigm. This paper is intended to serve as a guidance for the mutation based testing of the object oriented language, C++.

AHP를 적용한 테스트 케이스의 적정성 측정 알고리즘의 개발

최병주(Byoungju Choi),정호원(Ho-Won Jung) 한국정보과학회 1997 정보과학회논문지(B) Vol.24 No.2

신뢰도 높은 테스트 데이타 집합, 즉 효과적인 테스트 케이스를 선정하는 일은 매우 어렵고도 중요한 작업이다. 테스트 케이스를 결정하기 위한 다양한 테스트 기준(test criteria) 들이 연구되었으며, 이 기준들 사이의 기능적 분석 및 포함관계에 대한 연구가 이루어졌다. 그러나 효과적인 테스트 케이스의 선정 및 평가 작업이 소프트웨어 테스팅에서 매우 중요함에도 불구하고 선정한 테스트 케이스를 객관적으로 측정하기 위한 연구는 비교적 적다. 본 논문에서는 의사결정의 요인을 계충적 구조로 구성하여 각 요인의 중요도를 측정하는 다목적 의사결정 방법 중에 하나인 AHP(Analytic Hierarchy Process)를 테스트 기준에 적용한 테스트 케이스의 적정성 측정방안을 제안한다. 이 방안에서는 테스트 기준 들 사이의 포함관계 정보를 AHP에 적용하여 테스트 기준의 가중치(우선순위)를 산출하고, 이 가중치를 이용하여 테스트 케이스의 적정성을 측정한다. It is very difficult but important to select a set of reliable test data, the adequate testcase. A variety of testing criteria and their relationships have been studied for many years. However, although selection and evaluation of the adequacy of a testcase is a frequently encountered problem in software testing, there has been surprisingly little work done in the area of measuring the testcase adequacy. In this paper, we introduce an algorithm which measures the testcase adequacy using a AHP(Analytic Hierarchy Process) - A multicriteria decision making approach in which factors are arranged in a hierarchic structure. We evaluate the weight of each test criteria by applying the subsumption relationship between test criterion to the AHP. The weight of each criteria is integrated to measure the testcase adequacy.

뮤턴트의 단일화를 통한 뮤테이션 테스트의 병렬화 기법

최병주(Byoungju Choi) 한국정보과학회 1994 정보과학회논문지 Vol.21 No.9

소프트웨어 품질은 소프트웨어 개발에서 가장 중요하게 고려되는 문제이며, 이를 평가하기 위해서 소프트웨어 테스트는 필수적인 과정이다. 현재까지 여러가지 테스트 기술이 연구되어 왔으나, 테스트의 계산적 병목현상(computational bottleneck)은 테스트 과정을 지연시키는 가장 큰 요소이다. 본 논문에서는 테스트 방법중 하나인 뮤테이션 테스트(mutation test)의 병렬화에 의한 테스트 단계의 병목현상을 감소시키는 방안을 연구하였다. 뮤테이션 테스트의 병렬화를 위하여 여러 뮤턴트의 실행을 단일화 하는 ‘뮤턴트 단일화 알고리즘(mutant unification algorithm)을 제안한다. 단일화 알고리즘에 의해서 프로그램을 백터 프로세서로 실행하면 대부분의 프로그램 문장이 백터화된다. 단일화 과정의 하나인 다중 실행경로 관리(multiple execution path problem)를 단일화된 프로그램과 병렬로 실행하기 위하여 MIMD-vector 구조를 갖는 iPSC/2-vx 병렬 처리 컴퓨터를 구현대상으로 하였다. Software quality should be a primary concern in software development efforts, and the traditional methods of assessing software quality are software testing. A variety of testing techniques have been studied for many years, but their computational requirements slow down the testing process, and we must solve them. In this paper, we consider the parallelizing the mutation testing to overcome the computational bottleneck in the software testing. We propose the mutant unification algorithm to parallelize the mutation testing. Since the unified program is vectorizable in the most statements, it works well on a vector processor. In order to execute the path management concurrently with the execution of the unified program we investigate our algorithm on iPSC/2-vx system of MIMD-vector processor.

동적 임베디드 소프트웨어 테스트와 카인포테인먼트 시스템 테스트 적용 성과

최병주(Byoungju Choi),서주영(Jooyoung Seo),양승완(Sueng-wan Yang),오정석(JungSuk Oh) 한국정보과학회 2011 정보과학회지 Vol.29 No.9

동적 임베디드 소프트웨어 테스트와 카인포테인먼트 시스템 테스트 적용 성과

최병주(Byoungju Choi),서주영(Jooyoung Seo),양승완(Seungwan Yang),오정석(Jungsuk Oh) 한국정보과학회 2012 정보과학회 컴퓨팅의 실제 논문지 Vol.18 No.5

임베디드 소프트웨어는 '실시간 보증, 자원 부족, 런-타임 테스트, 운용 환경 보존'과 같이 테스트 제약이 심한 환경에 배치되기 때문에 테스트가 쉽지 않다. 본 논문에서는 운영체제가 프로세스 제어를 목적으로 관리하는 프로세스 제어 블록을 해킹함으로 테스트 정보를 수집하는 동적 임베디드 소프트웨어 테스트 방안을 제안하며, 이를 통해 테스트로 인한 시스템 오버헤드를 최소화한 방안이다. 현재 우리는 '메모리, 성능, 프로세스간통신'을 테스트하는 자동화 도구인 AMOS를 개발하였고, AMOS는 자동차 산업의 카인포테인먼트 시스템의 실차 테스트에 적용되어 품질 향상과 개발 비용 절감의 효과를 보이고 있다. It is difficult to test embedded software in system test stage because the system operational environment has test restrictions such as real-time assurance, resource deficiency, runtime tests, and maintenance of an operational environment. We propose a test method to collect the test information without interrupting the system's operational environment by hacking the Process Control Block information in which the operating system manages the runtime execution information to control implemented processes. Based on the proposed method applied to detect memory, performance, and inter-process communication faults, we developed the dynamic embedded software testing tool AMOS. AMOS is currently being used in the automobile industry, and is showing the effects of improving system quality and reducing development costs.

소프트웨어 테스팅 시간 감축을 위한 병렬 테스트 모델

최병주(Byoungju Choi) 한국정보과학회 1995 정보과학회논문지(B) Vol.22 No.11

프로그램 테스트는 소프트웨어의 신뢰도를 위하여 필수적이지만 비용이 많이 요구되는 과정이다. 소프트웨어의 네스트 데이타를 결정하는 다양한 기법이 연구되였으며, 최근 이들 테스트 기준의 기능적 분석이 활발히 이루어지고 있다. 그러나 테스트 시간은 소프트웨어 개발 비용과 밀접한 관계가 있음에도 불구하고 테스트 시간 단축에 대한 연구는 비교적 적다. 본 논문에서는 테스팅 시간 감축을 위하여 테스트 단일화를 적용한 병렬 테스트 모델을 제안한다. 테스트 단일화는 다수의 테스트 데이타에 대한 프로그램 수행을 단일화하는 알고리즘이다. 테스트 단일화에 의해 전환된 프로그램의 문장 대부분이 벡터화됨으로써 구현 대상 시스템 하에서 속도향상이 이루어진다. 테스트 단일화 알고리즘은 MIMD-vector 구조인, iPSC/2-vx 병렬 처리 벡터 프로세서를 구현 대상으로 하였다. Software testing is a necessary but expensive process, Although a variety of testing techniques and their relationships have been studied for many years, there has been surprisingly little work done in the area of reducing the testing time. This paper proposes the test model using test unification in order to reduce the testing time. The test unification algorithm unifies multiple instances of a program on multiple data set. Since the unified program is vectorizable in the most statements, it works well on a vector processor in the viewpoint of the speed. We investigate the performance of our algorithm reducing the testing time on iPSC/2-vx system of MIMD-vector processor.

국방 무기체계 소프트웨어 신뢰성 향상을 위한 소프트웨어 동적 결함 분석

박지현,최병주,Park, Jihyun,Choi, Byoungju 한국정보처리학회 2018 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.7 No.7

국방 무기체계에서의 소프트웨어 비중이 증가하고 있으며 구조도 점차 복잡해지고 있어, 이에 따른 신뢰성 검증이 매우 중요하다. 특히 무기체계 시스템을 구성하는 소프트웨어 구성 요소 들의 상호 작용에 따라 발생하는 결함은 정적 시험 및 코드 실행률 점검 수준의 동적 시험만으로는 예방하기가 어렵다. 본 논문에서는 소프트웨어의 동적 결함 유형을 분류 개발한다. 미 국방부 무기체계에 사용하는 오픈 소스 소프트웨어(OSS)에서 보고된 이슈 분석을 통하여 본 논문에서 분류한 동적 결함이 실제로 발생하며, 이들은 대체로 통합 이후 발생하는 결함이며, 재현이 어렵고, 결함 원인 파악이 어려웠음을 보인다. 이 분석 결과를 기반으로 무기체계 신뢰성 검증을 위하여 소프트웨어 통합 시험 개선의 중요성을 도출한다. The importance of software in military weapon systems is increasing, and the software structure is becoming more complicated. We therefore must thoroughly verify its reliability. In particular, the defects from the interaction of the software components that make up the weapon system are difficult to prevent only with static testing and code coverage level dynamic testing. In this paper, we classify dynamic software defect types and analyze the issues reported in the Open Source Software (OSS) used in the US department of defense weapon systems. The dynamic defects classified in this paper usually occur after integration, and it is difficult to reproduce and identify the cause. Based on this analysis, we come to the point that the software integration test must be enhanced in order to verify the reliability of the weapon system.

테스트 에이전트 시스템 설계

최정은(Jeongeun Choi),최병주(Byoungju Choi) 한국정보과학회 1999 한국정보과학회 학술발표논문집 Vol.26 No.1A

소프트웨어의 신뢰성을 향상시키기 위해서는 테스트 작업이 중요하다. 테스트 하는 데에 있어서 많은 양의 테스트케이스를 수행시키는 데에는 많은 시간과 노력을 필요로 한다. 따라서 중복이 없고 일관성 있는 테스트케이스를 선택하여 보다 효율적으로 테스트를 할 수 있는 방안이 요구되어진다. 단위 테스트로부터 시스템 테스트까지 점진적으로 테스트를 수행 할 수 있는 테스트 통합 환경이 많지 않아 테스트하는 데에 불필요하게 많은 시간을 소비하게 된다. 시간을 줄일 수 있는 테스트 도구가 요구되어진다. 본 논문에서 제안하는 테스트 에이전트 시스템은 객체지향 테스트 프로세스를 따라 자율적으로 테스트 작업을 수행한다. 또, 이 시스템은 테스터와 정보를 주고 받는 “User Interface Agent”, 테스트케이스 풀에서 중복이 없고, 일관성 있는 테스트케이스를 규칙에 따라 추론을 하여 선택 할 수 있는 “Test Case Select & Testing Agent”, 그리고 리그래션 테스트 대상에 대한 테스트 항목과 관련된 모든 테스트 항목에 대한 리그래션 테스트를 자율적으로 수행하는 “Regression Test Agent”로 3개의 에이전트로 구성되어 있다. 테스트 에이전트 시스템을 구성하고 있는 각 에이전트들은 에이전트의 특성인 자율성, 지능성, 사회성을 갖추고 있다.

임베디드 소프트웨어를 위한 테스트와 디버깅 연계 자동화 방안

최유나(YooNa Choi),서주영(JooYoung Seo),최병주(ByoungJu Choi) 한국정보과학회 2010 정보과학회 컴퓨팅의 실제 논문지 Vol.16 No.5

임베디드 소프트웨어는 하드웨어 소프트웨어의 결합력이 매우 높기 때문에 전체 시스템에 대한 사용 시나리오 기반의 블랙박스 테스트가 주로 수행된다. 본 논문은 블랙박스 테스트로 발견된 결함에 대한 디버깅이 쉽지 않음에 착안하여 테스트와 디버깅 활동 연계를 지원하는 자동화 방안을 제안한다. 제안하는 방안은 테스트 결과로부터 결함 원인과 위치 추적이 가능한 디버깅 전략을 수립하는 방안과 이를 기반으로 이뮬레이터 환경에서 자동 수행되는 테스트 스크립트 자동 생성하는 방안으로 구현된다. Generally, due to the strong coherence between embedded software and hardware or peripheral software, embedded software is tested by using blackbox test based on user scenario for the whole system. This paper suggests the method to coordinate between testing and debugging under consideration for difficulties on solving out the defects detected from black-box test. First of all, from test result analysis, it builds up the debugging strategies enable to trace the locations of the defect's causes. And along with the strategies, it implements the generator of test scripts to be performed on the emulator environment. Through these steps, it can coordinate embedded software testing and debugging activities.