소프트웨어 테스트 모니터링 프레임워크 구축 방안

서용진 ( Yongjin Seo ),김수지 ( Su Ji Kim ),김현수 ( Hyeon Soo Kim ) 한국인터넷정보학회 2016 인터넷정보학회논문지 Vol.17 No.6

테스팅은 시스템의 요구사항을 바탕으로 테스트 케이스를 생성하여 소프트웨어에 내재되어 있는 결함을 발견하는 활동이다. 테스팅을 효과적으로 수행하기 위해서는 충실한 테스트 계획, 잘 작성된 테스트 케이스 생성과 더불어 체계적인 테스트 모니터링 활동이 요구된다. 테스트 자동화 방법에 대한 대부분의 연구들은 테스트 케이스 생성에서 테스트 실행까지의 자동화 방법에 초점이 맞춰져 있다. 본 연구에서는 이와 달리 테스트 모니터링의 자동화 방안에 대하여 연구한다. 이를 위해 테스트 모니터링 자동화를 위해 해결해야 할 요소를 도출하고 이를 기반으로 테스트 모니터링 자동화 프레임워크의 구축 방안을 제시한다. Software testing is an activity to find defects included in software through creating test cases from the software system specification. In order to perform software testing effectively, it is required to prepare the full test plan, to create well-defined test cases, and to execute test monitoring activities systematically. Most existing researches for the test approaches focus on automating the activities from the test cases generation to the test execution. Contrary to those approaches, we study automatic approaches for test monitoring activities. For this, we identify the research issues that should be solved to automate test monitoring activities. Next, with those solutions, we suggest the construction method for an automatic framework for test monitoring.

분산 시스템의 기능 및 비기능 검증을 위한 테스트 프레임워크 개발

윤상필 ( Sangpil Yun ),서용진 ( Yongjin Seo ),민법기 ( Bup-ki Min ),김현수 ( Hyeon Soo Kim ) 한국인터넷정보학회 2014 인터넷정보학회논문지 Vol.15 No.5

분산 시스템은 물리적으로 분산된 컴퓨터들이 네트워크에 의해 유기적으로 연결된 것을 의미한다. 유무선 인터넷의 보편적인 사용으로 인해 사용자는 언제 어디서나 분산 서비스의 이용이 가능하게 되었다. 분산 서비스의 폭발적인 증가는 서비스의 기능적 측면에서의 검증뿐만 아니라 서비스 품질과 관련된 비기능적 요소의 검증도 강하게 요구하고 있다. 분산 서비스를 검증하기 위해서는 분산 시스템에 맞는 테스트 환경을 구축해야 한다. 하지만 분산 시스템은 물리적으로 분산된 노드로 구성되기 때문에 테스트 환경을 구축함에 있어서 단일 시스템의 테스트 환경보다 많은 노력이 요구된다. 이 논문에서 우리는 분산 시스템의 기능 및 비기능 요소의 검증을 위한 테스트 프레임워크를 제안한다. 제안하는 테스트 프레임워크는 메시지 시퀀스 차트(Message Sequence Chart)를 기반으로 테스트 케이스를 자동 생성하며, 물리적으로 분산된 노드를 흉내 낼 수 있는 가상의 분산 노드로 구성된 테스트 드라이버를 포함 한다. 테스트 수행 결과는 다양한 그래프와 GUI를 통해서 쉽게 확인할 수 있다. 이 논문에서 제안하는 테스트 프레임워크를 통해 분산 시스템 테스트에 드는 노력을 감소할 수 있고 시스템의 신뢰성을 향상 시킬 수 있을 것이다. Distributed systems are collection of physically distributed computers linked by a network. General use of wired/wireless Internet enables users to make use of distributed service anytime and anywhere. The explosive growth of distributed services strongly requires functional verification of services as well as verification of non-functional elements such as service quality. In order to verify distributed services it is necessary to build a test environment for distributed systems. Because, however, distributed systems are composed of physically distributed nodes, efforts to construct a test environment are required more than those in a test environment for a monolithic system. In this paper we propose a test framework to verify functional and non-functional features of distributed systems. The suggested framework automatically generates test cases through the message sequence charts, and includes a test driver composed of the virtual nodes which can simulate the physically distributed nodes. The test result can be checked easily through the various graphs and the graphical user interface (GUI). The test framework can reduce testing efforts for a distributed system and can enhance the reliability of the system.

프레임워크 가변부위 시험을 위한 객체 구조 패턴의 분류 및 추출 방법

김장래,전태웅,Kim, Jang-Rae,Jeon, Tae-Woong 한국정보과학회 2002 정보과학회논문지 : 소프트웨어 및 응용 Vol.29 No.7

객체지향 프레임워크는 개조, 합성이 용이한 클래스들로 분해될 수 있는 유연한 아키텍쳐를 제공함으로써 컴포넌트 기반의 효율적인 소프트웨어 개발을 지원한다. 프레임워크는 다수의 응용 소프트웨어의 개발에 반복적으로 재사용되므로 철저한 시험이 요구될 뿐만 아니라 재사용 시 확장된 프레임워크에 대해서도 추가적인 시험이 필요하다. 이를 위해서는 테스트 대상이 실행 가능한 형태로 제공되어야 하는데 그 구성 가능한 형태가 극히 다양할 뿐만 아니라 재사용될 때의 모든 형태를 예측하여 테스트하는 것은 현실적으로 불가능하므로, 재사용될 때마다 재구성되는 객체들의 구성 가능한 형태들을 동일한 특성을 갖는 유한 개의 그룹들로 분류하고, 각 그룹에서 시험 대상 실행 환경을 선정하여 시험하면 효과적인 시험이 가능하다. 본 논문에서는 재사용 시 다양한 형태의 객체 구조들로 개조, 확장될 수 있는 프레임워크의 가변부위 에 대해 객체 구성의 동일한 특성을 갖는 구조적 테스트 패턴들을 조직적으로 추출하는 방법과 각 패턴들로부터 시험 대상 객체 클러스터 즉, 테스트 대상 인스턴스를 선정하는 방법을 제안한다. 이 방법은 불필요한 테스트 케이스의 선정을 피하고, 테스트 대상 실행 환경의 체계적인 구축을 위해 사용될 수 있다. An object-oriented framework supports efficient component-based software development by providing a flexible architecture that can be decomposed into easily modifiable and composable classes. Object-oriented frameworks require thorough testing as they are intended to be reused repeatedly In developing numerous applications. Furthermore, additional testing is needed each time the framework is modified and extended for reuse. To test a framework, it must be instantiated into a complete, executable system. It is, however, practically impossible to test a framework exhaustively against all kinds of framework instantiations, as possible systems into which a framework can be configured are infinitely diverse. If we can classify possible configurations of a framework into a finite number of groups so that all configurations of a group have the same structural or behavioral characteristics, we can effectively cover all significant test cases for the framework testing by choosing a representative configuration from each group. This paper proposes a systematic method of classifying object structures of a framework hotspot and extracting structural test patterns from them. This paper also presents how we can select an instance of object structure from each extracted test pattern for use in the frameworks hotspot testing. This method is useful for selection of optimal test cases and systematic construction of executable test target.

기술용어 간 관계추출의 성능평가를 위한 반자동 테스트 컬렉션 구축 프레임워크 개발

정창후(Chang-Hoo Jeong),최성필(Sung-Pil Choi),이민호(Min-Ho Lee),최윤수(Yun-Soo Choi) 한국콘텐츠학회 2010 한국콘텐츠학회논문지 Vol.10 No.2

관계 추출 시스템의 중요성이 날로 부각되면서 이러한 시스템을 평가하기 위한 테스트 컬렉션의 구축이 중요한 과제로 떠오르고 있다. 본 논문에서는 반자동화된 처리 과정을 거쳐서 규모 있는 관계 추출용 테스트 컬렉션을 구축하는 프레임워크를 제안한다. 그리고 개발된 프레임워크를 이용하여 실제적으로 과학기술 문헌에 존재하는 기술용어 간 연관관계 추출 시스템의 성능 평가를 위한 테스트 컬렉션을 구축하고(관계유무 파악 및 관계분류 식별을 검사할 수 있는 1,707건의 문장 규모) 결과를 분석한다. 제안된 방법론은 정형화되고 시간이 많이 소요되는 문서분석 작업을 처리과정별로 자동화함으로써 구축에 들어가는 비용을 최소화할 수 있고, 시스템의 알고리즘을 기반으로 동작하기 때문에 구축자의 성향에 따른 편차를 줄이고 일관된 결과물을 얻을 수 있다. 또한 문헌 집합(과학기술 전 분야에 걸친 30,858,830건의 학술 데이터베이스) 및 용어 사전(16개 분야 253,603건 규모의 전문용어) 선정 시 특정 분야에 편중되지 않도록 노력함으로써 균형 잡히고 객관화된 테스트 컬렉션을 생성할 수 있다. Due to the increase of the attention on relation extraction systems, the construction of test collections for assessing their performance has emerged as an important task. In this paper, we propose semi-automatic framework capable of constructing test collections for relation extraction on a large scale. Based on this framework, we develop a test collection which can assess the performance of various approaches to extracting relations between technical terminologies in scientific literatures. This framework can minimize the cost of constructing this kind of collections and reduce the intrinsic fluctuations which may come from the diversity in characteristics of collection developers. Furthermore, we can construct balanced and objective collections by means of controlling the selection process of seed documents and terminologies using the proposed framework.

프레임워크기반 웹 어플리케이션을 위한 BizUnit 테스트 코드 생성

이은영(Eunyoung Lee),최병주(Byoungju Choi),송화정(Hwajung Song),황상철(SangCheol Hwang) 한국정보과학회 2009 정보과학회 컴퓨팅의 실제 논문지 Vol.15 No.12

웹 어플리케이션의 활용과 그 시장이 압도적으로 성장하면서 그 기능이 확대 심화되고 있다. 오늘날 나날이 높아지는 소프트웨어의 고품질 요구와 맞물려 웹 어플리케이션의 테스트에 대한 관심도 급증하고 있다. 웹 어플리케이션은 개발환경적인 면에서 프레임워크 기반으로 개발되고 있는 추세로 그 프레임워크의 영역이 확장될수록 전체 웹 어플리케이션의 각 모듈은 이질적인 파일들의 조합으로 구성되고 있다. 반제품의 형태로 제공되는 프레임워크가 전체 개발 대상의 구조를 제어한다는 점에서 웹 어플리케이션만의 특성을 갖게 된다. 본 논문에서는 웹 어플리케이션의 실행 단위로써 의미를 가지는 최소 단위로 웹비즈니스 로직을 정의하고, 이에 대한 BizUnit 테스트 코드를 자동생성하는 방안을 제안하며, BizUnit을 통해 효과적으로 웹 어플리케이션을 테스트하는 것을 분석한다. With greater utilization of web application and growth of its market, the function of such application is being expanded With today’s increasing demand for high quality software, we see a sharp rise in the interest for web application test. The current trend is that web applications are being developed based on a framework of developmental environment. Hence, as the scope of that framework expands, each module of the entire web application is being configured by the combination of heterogeneous files. The distinctive characteristics of a web application are based on the fact that the framework that is provided in partially completed form controls the structure of all objects of development. The present study defines the web business logic as a minimal unit which has meaning as a unit of application for the web application. In this paper, we define web business logic as a least meaningful execution unit of web applications, propose how to generate automatically the BizUnit test code for it, and analyze the effectiveness of testing of the web application via the BizUnit test codes.

조합된 서비스의 성능 평가를 위한 Aspect 기반 테스팅 프레임워크

김종필 ( Jong Phil Kim ),홍장의 ( Jang Eui Hong ) 한국정보처리학회 2012 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.1 No.3

최근 서비스 기반의 소프트웨어 개발이 사용자의 다양한 요구를 충족시킬 수 있는 하나의 솔루션으로 부각되면서, 안정적인 서비스의 조합을 통하여 보다 큰 서비스를 제공하려는 시도가 증가하고 있다. 그러나 조합된 서비스의 개발시 고려되어야 하는 사항중의 하나는 사용자의 입장에서 서비스의 정확성과 함께 신속성을 제공해야 한다는 것이다. 왜냐하면 사용자가 서비스의 요청 과정에서 늦은 응답으로 인하여 실행 버튼을 중복적으로 클릭하는 행동을 보이기 때문이다. 본 논문에서는 조합된 서비스의 성능을 측정하기 위한 테스팅 프레임워크를 제시한다. 즉, 조합된 서비스의 실행 시간을 측정함으로써, 개발자에게 서비스의 성능을 분석할 수 있는 도구를 제공한다. 이러한 실행시간 측정을 위하여 본연구에서는 Aspect 컴포넌트를 이용하는 타이머 서비스를 개발하여 기존 웹 서비스들과 연동할 수 있도록 하였다. 또한 몇 실험을 통하여 조합된 서비스의 성능 테스트가 가능함을 확인하였다. 제시한 프레임워크는 조합된 서비스를 구성하는 단위 서비스 중에서 가장 많은 시간이 소요되는 서비스를 식별하고 필요에 따라 다른 서비스로 대체할 수 있는 서비스 개발을 가능하게 한다. As service-oriented software is considered as one of solutions to fulfill the users’ needs in internet service environment, it has been increased the demands of reliable service development by the composition of internet services. However a critical issue in the service development approach is to satisfy the performance requirement as well as the functional correctness for the developing services, because impatient user multiply clicks the request-button of service without a short waiting. This paper proposes a framework to examine the performance of composite service. Our testing framework provides the data of service response time to service developer by measuring the service execution time. We develope an Aspect-based timer service, and weave the service with existing services to measure the execution time. Additionally, we perform some experiments to confirm the usefulness of performance test for composite service. This framework can support to develop a good performance service by substitution of the dragging service with another new service that will be a component of composite service.

모형 객체 패턴을 이용한 Federation 통합시험 방법

심준용,이용헌,이승영,김세환,Shim, Jun-Yong,Lee, Young-Heon,Lee, Seung-Young,Kim, Seh-Hwan 한국시뮬레이션학회 2011 한국시뮬레이션학회 논문지 Vol.20 No.4

개발 기능에 대한 단위시험 모듈을 구현할 경우 도메인 구현부와 시험 구현부의 종속성이 높기 때문에 단위시험 모듈의 재사용이 어렵다. 특히, 동일한 구조나 기반 프레임워크를 재사용하는 시스템의 경우 구성 소프트웨어의 내부 인터페이스를 위한 단위시험 모듈의 중복이 불가피하며, 통합 시험 코드는 해당 모듈 간 연동 인터페이스 구현에 종속되기 때문에 각 모듈의 개발 일정에 따라 단위시험 수행이 제한될 수 있다. 이러한 문제를 해결하기 위해서 TDD 기법 중 하나인 모형 객체(Mock Objects) 패턴을 이용한 단위시험 방법이 제안되었다. 이 방법은 도메인 모듈과 시험 모듈을 분리할 수 있도록 도메인 모듈을 대리하는 모형 객체를 생성하고, 해당 모형 객체를 시험 모듈과 통합함으로써 단위시험 모듈의 구현을 용이하게 한다. 본 논문은 HLA 시뮬레이션 시스템 개발에 참여하는 Federate의 Federation 통합 및 연동 시험을 용이하게 하기 위해서 모형 객체를 적용한 모형 Federate를 설계하고, 모형 Federate의 구성 모듈을 위한 테스트 프레임워크를 제안한다. 제안 프레임워크는 RTI 서비스를 위한 시험 함수를 제공하며, 해당 함수들은 xUnit 패턴에 의해 자동화 된다. The act of writing a unit test is more an act of design than of verification. It is also more an act of documentation than of verification. The act of writing a unit test closes a remarkable number of feedback loops, the least of which is the one pertaining to verification of function. Unit testing is a fundamental practice in Extreme Programming, but most non-trivial code is difficult to test in isolation. Normal unit testing is hard because It is trying to test the code from outside. On the other hand, developing unit tests with Mock Objects leads to stronger tests and to better structure of both domain and test code. In this paper, I first describe how Mock Objects are used for unit testing of federation integration. Then I describe the benefits and costs of Mock Objects when writing unit tests and code. Finally I describe a design of Mock federate for using Mock objects.

스마트 IoT 기기의 동작 검증을 위한 패킷 분석 프로그램

이세율(Seyul Lee),신지영(Jiyoung Shin),김지용(Jiyong Kim),강수용(Sooyong Kang),한혁(Hyuck Han) 한국디지털콘텐츠학회 2021 한국디지털콘텐츠학회논문지 Vol.22 No.5

Verifying the behavior of smart Iot devices in the ubiquitous era is emerging as an important issue. Blackbox testing is required to handle exceptions or errors that are difficult to detect in typical test environments, but may occur in real-world use cases. In this paper, we present Packet Analyzer, a program that performs blackbox testing on ZigBee and Bluetooth Low Energy (BLE), which are protocols mainly used in communication among Iot devices. Packet Analyzer collects ZigBee and BLE packets, beacon packets, IoT hub logs and smartphone logs. Then it analyzes test commands based on collected packets and logs to make decisions for each test command. Our evaluation on real-world smart IoT devices shows that Packet Analyzer can make correct decisions on various test commands.

SW 테스팅 자동화 프로그램에 대한 사용성 연구

권혜진(Kweon Haejin),최준호(Choi Junho) 한국HCI학회 2016 한국HCI학회 학술대회 Vol.2016 No.1

컴퓨터와 스마트폰의 보편화로, 요구되는 소프트웨어기능이 복잡해지고, 이에 따라 개발, 테스팅, 유지보수등의 과정이 모두 복잡도가 증가 하고 있다. 이 중, 특히 안정성, 정확성 검증을 위한 테스팅을 효율적으로 할 수 있도록 돕는 소프트웨어 테스팅자동화 프로그램의 사용성 연구를 하고자 한다. 연구를 위한 프로그램으로 Robot framework IDE 를 활용한다. Software goes more and more complex because of rapid spread of computer or mobile devices. Thus, process of development, test, and maintenance also goes more and more complex. Among them, I will study the SW test automation program usability test using Robot framework IDE.

Handwriting and Voice Input using Transparent Input Overlay

김대현(Dae-Hyun Kim),김명준(Myoung-Jun Kim),이진호(Zino Lee) 한국정보과학회 2008 정보과학회논문지 : 소프트웨어 및 응용 Vol.35 No.4

본 논문은 IBM ViaVoice와 마이크로소프트 필기-인식 시스템(handwriting-recognition system)과 같은 인식 엔진(recognition engines)을 UMPC와 같은 펜-입력 디스플레이에서 작동하는 일반적인 윈도우 어플리케이션과 연동하기 위한 단일화된 멀티모달 입력 프레임워크(unified multi-modal input framework)를 제안한다. 사용자가 펜-입력 디스플레이에 부탁되어있는 버튼을 한 손으로 누르면, 인터넷 검색 윈도우나 워드 프로세서와 같이 현재 포커스를 갖는 윈도우는 전체 데스크탑을 덮을 수 있는 투명한 윈도우로 덮여진다. 이 위에 사용자는 다른 한 손으로, 현재 working context를 놓치지 않으면서, 필기 입력을 자유롭게 수행할 수 있다. 이런 투명 입력 윈도우를 이용하여 필기 및 음성 입력뿐만 아니라 다이어그램까지 그릴 수 있게 해준다. This paper proposes a unified multi-modal input framework to interface the recognition engines such as IBM ViaVoice and Microsoft handwriting-recognition system with general window applications, particularly, for pen-input displays. As soon as user pushes a hardware button attached to the pen-input display with one hand, the current window of focus such as a internet search window and a word processor is overlaid with a transparent window covering the whole desktop; upon which user inputs handwriting with the other hand, without losing the focus of attention on working context. As well as freeform handwriting on this transparent input overlay as a sketch pad, the user can dictate some words and draw diagrams to communicate with the system.