XML을 이용한 UML 기반 시험 산출물의 추적

서광익,최은만,Seo, Kwang-Ik,Choi, Eun-Man 한국정보처리학회 2009 정보처리학회논문지D Vol.16 No.2

추적성 개념은 모델 중심의 개발에서만이 아니라 테스트를 위하여 매우 중요한 요소이다. 어떤 기능을 중심으로 높은 추상수준에서부터 낮은 수준의 프로그램까지 수직적인 추적은 모델로부터 테스트와 디버깅 단계에 이르기까지 시스템을 잘 관리할 수 있게 한다. 또한 테스트 단계에서 발견한 결함에 대한 오류를 추적할 때 발생하는 단계별 추상 수준의 분리를 추적가능성으로 극복하게 한다. 이 논문에서는 XML을 기반으로 모델과 시험사례 그리고 소스코드를 수직적으로 추적하여 더욱 엄격한 테스트가 되는 방법을 제안한다. 실험을 통하여 추적이란 개념이 어떻게 작동하고 오류 부분을 찾아내는지 보이며 구체적인 사례를 이용하여 방법을 소개한다. Traceability has been held as an important factor in testing activities as well as model driven development. Vertical traceability affords us opportunities to improve manageability from models and test cases to code in testing and debugging phase. Traceability also overcomes difficulties by the separation between abstraction levels when we trace errors from models to source code after test. To support a rigorous test this paper proposes XML based traceability which vertically trace from model and test case to source code. This paper explains how the traceability works and finds out error spots Through experiments using a concrete example.

블랙박스 테스트 케이스의 리엔지니어링

서광익,최은만,Seo Kwang-Ik,Choi Eun-Man 한국정보처리학회 2006 정보처리학회논문지D Vol.13 No.4

소프트웨어를 블랙박스 테스트 하려면 대상 소프트웨어에 적절한 데이터를 주어 실행해 보아야 한다. 효과적인 테스트가 되기 위해서 테스트 케이스의 선택뿐만 아니라 테스트 케이스가 어떻게 표현되었는가가 중요하다. 또한 정적인 테스트 작업에도 테스트를 위한 체크리스트가 어떻게 작성되었는지에 따라 테스트 작업의 효율성이 좌우된다. 이 논문에서는 비효율적이며 문제가 있는 테스트 케이스와 체크 리스트들을 리엔지니어링 하는 방법을 제시하고 이를 실험 하였다. 임베디드 시스템의 일종인 디지털 방송수신 장치에 탑재된 소프트웨어를 대상으로 하여 이미 사용 중인 테스트 케이스의 효율성과 적합성을 따져보고 이를 리엔지니어링 하였다. 리엔지니어링 한 후의 테스트 케이스의 산출물이 테스트 시간과 커버리지 측면에서 얼마나 효과적인지를 살펴보았다. 또한 제품 계열 개념의 소프트웨어를 테스트하기에 적합하도록 테스트 케이스를 재사용 또는 재구조화 하는 방법도 연구하였다. Black-box testing needs to prepare fitting test data, execute software, and examine the result. If we test software effectively, not only selecting test cases but also representing test cases are important. In static testing effectiveness of testing activities also depends on how to represent test cases and checklist to validate. This paper suggests a method for finding ineffective critical test cases and reengineering them. An experiment of reengineering digital set-top box software shows the process and results of checking effectiveness and conformance of current test cases and patching test cases. The result shows how much save the test time and improve test coverage by reengineering test cases. Methods of reuse and restructuring test cases are also studied to fit into embedded product-line software.

수직 추적가능성을 제공하는 엄격한 시스템 테스트

서광익,최은만,Seo, Kwang-Ik,Choi, Eun-Man 한국정보처리학회 2007 정보처리학회논문지D Vol.14 No.7

추적이란 개념은 모델 중심의 개발에서만이 아니라 테스트를 위하여 매우 중요한 요소이다. 수직적인 추적은 모델로부터 테스트와 디버깅 단계에 이르기까지 시스템을 잘 관리할 수 있게 한다. 또한 테스트 단계에서 발견한 결함에 대한 오류를 추적할 때 발생하는 추상 수준의 오르내림을 추적가능성으로 극복하게 한다. 이 논문에서는 시스템 테스트 수준과 통합 테스트 수준에서 UML을 이용하여 수직적으로 연결하여 더욱 엄격한 테스트가 되는 방법을 제안한다. 실험을 통하여 추적이란 개념이 어떻게 작동하며 오류 부분을 찾아내는지 얼마나 효과적인지 보이며 모델에서 코드까지의 구체적인 사례를 이용하여 방법을 소개한다. Traceability has been held as an important factor in testing activities as well as model driven development. Vertical traceability affords us opportunities to improve manageability from models and test cases to code in testing and debugging phase. Traceability also makes overcome to difficulties of going up-and-down abstraction level to find out error spot of faults discovered by testing This paper represents a vertical test method which connects a system test level and an integration test level in a test stage by using UML. Experiment of how traceability works and how effective focus on error spots has been included using concrete examples of tracing from models to the code.

u-City 개발을 위한 설계 패턴

서광익(Kwang-Ik Seo),최은만(Eun-Man Choi) 한국정보과학회 2008 정보과학회지 Vol.26 No.8

보안 취약점 검사를 위한 AOP 기반의 동적 분석

서광익(Kwangik Seo),최은만(Eun Man Choi) 한국정보과학회 2010 정보과학회논문지 : 소프트웨어 및 응용 Vol.37 No.10

국제 웹 어플리케이션 보안 연구 단체(OWASP)는 2007년에 이어 2010년에도 취약점 대부분이 사용자의 외부 데이터 입력에 기인한 것으로 발표했다. 이러한 오염된 입력 데이터는 실행 시점에서 결정되기 때문에 동적인 취약점 분석이 필요하다. 동적 분석 방법은 주로 실행 시점의 데이터 분석이나 경로 흐름 분석을 위해 인스트루먼트를 코드 내에 삽입 한다. 하지만 직접적인 코드의 삽입은 관리와 확장이 어려워 분석 범위와 대상이 증가할 때 마다 코드 조각들이 흩어지게 된다. 게다가 인스트루먼트 모듈과 시험 대상 모듈 간의 결합도가 높아진다. 따라서 개발이나 유지보수 단계에서 삽입한 분석 코드를 수정하거나 확장하는데 많은 노력이 필요하게 된다. 본 논문은 이러한 문제점을 해결하기 위해 AOP를 이용하여 취약점을 하나의 관심사로 분류함으로써 결합도의 증가 없이 삽입, 삭제와 유연한 확장이 용이한 방법을 제안한다. OWASP announced most of vulnerabilities result from the data injection by user in 2010 after 2007. Because the contaminated input data is determined at runtime, those data should be checked dynamically. To analyze data and its flow at runtime, dynamic analysis method usually inserts instrument into source code. Immediate code insertion makes it difficult to manage and extend the code so that the instrument code would be spreaded out according to increase of analysis coverage and volume of code under analysis. In addition, the coupling gets strong between instrument modules and target modules. Therefore developers will struggle against modify or extend the analysis code as instrument. To solve these problem, this paper defines vulnerabilities as a concern using AOP, and suggest the flexible and extensible analysis method to insertion and deletion without increase of coupling.

객체지향 소프트웨어를 위한 주요 블랙박스 테스트 기법들의 비교

서광익(Kwang Ik Seo),최은만(Eun Man Choi) 한국정보과학회 2006 정보과학회논문지 : 소프트웨어 및 응용 Vol.33 No.1

소프트웨어의 규모가 커지면서 시스템 기능 테스트 단계에 일일이 원시코드를 참조하면서 테스트하는 것은 현실적으로 불가능하다. 따라서 시스템 테스트 단계에서 다양한 요구명세 정보들을 이용하는 블랙박스 테스트 방법들이 많이 연구되고 있다. 테스트 기법에 활용한 요구명세는 시스템을 표현하는 기술 방법과 의미의 차이로 인해 테스트 케이스와 커버리지가 크게 달라서 테스트 계획 단계에서 테스트 기법과 그 기법의 적용 결과에 대해 깊이 고려해야 한다. 이러한 필요성으로 인해 본 연구에서는 다양한 블랙박스 테스트 기법들에 대한 실험과 그 결과에 대해 논하였다. 기법의 특성이 미치는 테스트 결과를 분석하고 평가하기 위해 객체지향 시스템의 명세와 모델링 기법으로 가장 잘 알려진 UML을 이용한 테스트 기법을 포함하여 다섯 가지의 블랙박스 테스트 기법을 실행하고 비교하였다. 그리고 다섯 가지 기법들을 서로 다른 두 응용 시스템에 적용하였고 그 결과로 추출된 테스트 케이스의 커버리지를 분석하였다. As the size of software is getting huge, it has been impossible for testers to test all of source code. Therefore, the method which uses information of requirements for testing has been researched and accepted. Although there are a lot of test methods based on requirement specification, each method has a different approach and coverage. So we should consider their various approach and coverage in the stage of test planning. This paper presents the empirical comparison and the result by applying various black-box testing methods to software system. For this experiment we studied five black-box testing methods including UML based specification technique. We applied the five testing methods to application system and evaluated the coverage of extracted test case.

행위 모델의 변환을 이용한 수직적 분할 시험

서광익 ( Seo Kwang Ik ),최은만 ( Choi Eun Man ) 한국정보처리학회 2007 한국정보처리학회 학술대회논문집 Vol.14 No.2

최근 활발히 진행되고 있는 모델 기반 공학에 관한 연구 중 모델 변환은 소스 모델을 입력 받아 다른 차원의 뷰를 제공하는 타겟 모델을 출력한다. 이러한 모델 변환은 메타모델을 사용하여 동일한 시스템을 서로 다른 이해 관계자들의 관점에서 이해할 수 있는 방법을 제공한다. 동일한 시스템이라 하더라도 개발자와 시험자 그리고 사용자들이 보는 주요 관점은 다를 수 있다. 본 논문에서는 시험자의 관점에서 수직적 분할 시험이 가능하도록 입력 모델인 UML의 행위 다이어그램으로부터 출력 모델인 단위 시험을 위한 상태 다이어그램으로의 모델 변환에 대해 연구하고, 생성된 상태 다이어그램을 통해 시험 사례를 작성한다.

요구명세의 테스트 가능성 검토와 측정 방법

서광익(Kwang Ik Seo),최은만(Eun Man Choi) 한국정보과학회 2003 한국정보과학회 학술발표논문집 Vol.30 No.2Ⅱ

이 논문에서는 소프트웨어 프로젝트 수행 중에 비용이나 일정 측면에서 비중이 큰 테스트 작업의 위험도를 줄이기 위하여 테스트 가능성 검토 방법과 이를 객관적으로 측정하는 방법을 제시하였다. 막대한 예산이 소요되는 대규모 소프트웨어 프로젝트에서 정확한 ROI(Return of Investment)를 예측하고 테스트 작업에 걸림돌이 될만한 요소들을 파악한다면 소프트웨어 개발 작업이 더욱 효율적인 엔지니어링 작업이 될 것이다. 이 연구에서는 블랙박스 테스트의 기준이 되는 산출물들 중에 먼저 요구명세서의 테스트 가능성에 대한 검토 방법을 제시하였다. 사례연구를 통하여 요구명세서의 어떤 요소들이 테스트가능성을 높이는지 파악하였고 이를 항목으로 만들어 객관적인 측정이 가능하도록 하였다. 연구 결과는 테스트 작업에서 케이스 설계만이 아니라 테스트 실행, 결과의 분석, 결함 위치 발견 및 수정 작업까지도 비용을 줄여주는 효과를 보이고 있다.

효과적인 오류 추적을 위한 수직적 시스템 시험 방법

서광익(Seo Kwang Ik),최은만(Choi Eun Man) 한국컴퓨터정보학회 2008 韓國컴퓨터情報學會論文誌 Vol.13 No.2

단위 시험은 모듈의 소스 코드를 면밀히 검토하면서 논리적 오류나 문장 오류 등이 있는지 분석하는 화이트박스 시험이 가능하다. 반면 시스템 수준의 기능 시험은 규모가 크기 때문에 시험 데이터를 입력한 후 출력된 결과가 예상 결과와 같은지 비교하는 블랙박스 시험이 주를 이룬다. 이러한 시스템 시험 단계에서 사용하는 블랙박스 시험은 오류를 발견하더라고 수정을 위해 소스 코드를 추적하기 어려운 문제점이 있다. 뿐만 아니라 시스템 시험 단계에 화이트박스 시험을 사용하는 것은 시험 대상의 추상 수준 달라 쉽지 않다. 이에 본 논문에서는 시스템의 기능처럼 높은 추상 수준을 시험 대상으로 하되 소스 코드 수준까지 화이트박스 스타일로 시험할 수 있는 현실적이고 통합된 시스템 수준의 수직적 시험에 대해 제안한다. 그리고 어떻게 수직적 시험을 적용하는지 UML 명세 모델에서 소스 코드까지 오류를 추적하는 방법을 사례를 통해 설명하고 더불어 오류 추적의 효과성을 보였다. In case of unit testing, White-box test can be used to closely check source code and to analyze logic and statement errors. On the other hand. in case of function testing of system level, Black-box test can be mainly used to compare actual and expected results by inputting test data because the scale of function is large. This Black-Box test in system testing level has problem in tracing errors in source code when we find errors. Moreover applying White-box test is not easy for system testing level because the abstract levels of test target are different. Therefore this paper suggests the vertical test method of a practical and integrated system level which can checks up to source code level using White-box test style although it aims to test the highly abstract level like a system function. In addition, the experiment explains how to apply the vertical test by displaying an example which traces from UML specification model to the source code and also shows efficiency of error trace.

임베디드 소프트웨어의 테스트 케이스 리엔지니어링

서광익(Kwang Ik Seo),이동근(Dongkun Lee),최은만(Eun Man Choi) 한국정보과학회 2005 한국정보과학회 학술발표논문집 Vol.32 No.2

소프트웨어를 동적으로 테스트 하려면 대상 소프트웨어에 적절한 데이터를 주어 실행해 보아야 한다. 효과적인 테스트가 되기 위해서 테스트 케이스의 선택뿐만 아니라 테스트 케이스가 어떻게 표현되었는가가 중요하다. 또한 정적인 테스트 작업에도 테스트를 위한 체크리스트가 어떻게 작성되었는지에 따라 테스트 작업의 효율성이 좌우된다. 이 논문에서는 비효율적이며 문제가 있는 테스트 케이스와 체크 리스트들을 리엔지니어링하는 방법을 제시하고 이를 실험 하였다. 임베디드 시스템의 일종인 디지털 방송수신 장치에 탑재된 소프트웨어를 대상으로 하여 이미 사용 중인 테스트 케이스의 효율성과 적합성을 따져보고 이를 리엔지니어링 하였다. 리엔지니어링 한 후의 테스트 케이스의 산출물이 얼마나 효과적인지를 살펴보았다. 또한 제품 계열 개념의 소프트웨어를 테스트하기에 적합하도록 테스트 케이스를 재사용 또는 restructuring하는 방법도 연구하였다.