http://chineseinput.net/에서 pinyin(병음)방식으로 중국어를 변환할 수 있습니다.
변환된 중국어를 복사하여 사용하시면 됩니다.
비순차적 프로그램 테스팅을 위한 제약조건 기반 테스팅 환경
마유승(Yu Seung Ma),서희석(Hui Suk Seo),배현섭(Hyun Seop Bae),권용래(Yong Rae Kwon) 한국정보과학회 1999 한국정보과학회 학술발표논문집 Vol.26 No.1A
실시간성을 가진 고신뢰 분산, 병렬 시스템에 소프트웨어의 도입이 확산됨에 따라 기존의 순차적 프로그램에 대한 테스팅 기법으로는 새로운 소프트웨어에 대한 검증이 어렵다. 순차적 프로그램과는 달리 비순차적 프로그램은 수행시에 부분 순서 관계를 따르게 되며 이에 의해서 자료 흐름과 제어 흐름이 결정된다. 따라서 부분 순서 관계에 대한 분류와 이에 대한 테스팅 방법이 필요하다. 이 논문에서는 비순차적 프로그램에서 나타날 수 있는 순서 제약 조건을 규명하고 이를 바탕으로 한 테스팅 환경을 제시한다. 비순차적 프로그램의 명세에 자주 사용되는 MSC와 Statecharts로 부터 순서 제약 조건을 추출하며 순서 제약 조건에 대한 테스트 기준을 설정하고 이에 합당한 테스트 드라이버 구축 방법을 기술한다.
마유승(Yu Seung Ma),장윤규(Yoon Kyu Jang),권용래(Yong Rae Kwon) 한국정보과학회 1999 한국정보과학회 학술발표논문집 Vol.26 No.2Ⅰ
컴포넌트 기반 시스템 개발 과정은 크게 컴포넌트 선택, 변용, 통합의 세 단계로 이루어진다. 이 중 컴포넌트 변용은 범용목적으로 개발된 컴포넌트를 자신의 시스템의 구조에 맞도록 변경하는 과정으로 변용이 끝난 컴포넌트는 사용자 입장에서 제대로 동작하는지 테스트 되어야 한다. 이 논문에서는 변용이 끝난 컴포넌트의 뮤테이션 테스트 기법을 제시한다. 이를 위해 먼저 컴포넌트의 변용 유형을 살펴보고 여기서 나타날 수 있는 오류의 형태를 살펴본 뒤 이를 발견할 수 있는 뮤테이션 변환 연산자를 정의한다.
Framework for evaluating code generation ability of large language models
여상엽,마유승,김상철,전형국,김태호 한국전자통신연구원 2024 ETRI Journal Vol.46 No.1
Large language models (LLMs) have revolutionized various applications in natural language processing and exhibited proficiency in generating programming code. We propose a framework for evaluating the code generation ability of LLMs and introduce a new metric, pass-ratio@n, which captures the granularity of accuracy according to the pass rate of test cases. The framework is intended to be fully automatic to handle the repetitive work involved in generating prompts, conducting inferences, and executing the generated codes. A preliminary evaluation focusing on the prompt detail, problem publication date, and difficulty level demonstrates the successful integration of our framework with the LeetCode coding platform and highlights the applicability of the pass-ratio@n metric.
정현재,이주빈,마유승,이승익 한국정보과학회 2023 정보과학회논문지 Vol.50 No.2
적대적 패치는 물리적 환경에서의 대표적인 적대적 예제 공격으로 알려져 있다. 하지만 적대적 패치의 효과에 관한 대부분의 연구는 물리적 환경이 아닌 디지털 환경을 기반으로 공격 성공률이 강건함을 입증하였다. 본 연구는 물리적 환경에서 적대적 패치가 강건한지 조사한다. 이를 위해 패치의 생성 조건 5종과 부착 조건 3종을 도출하고, 해당 조건들의 변화에 따른 디지털 패치의 물리적 환경에서의 공격력을 검토하였다. 기본 조건으로 적대적 패치 공식 논문에 제시된 위치, 각도, 크기 변수들을 대상으로 하였다. 추가로 학습 에폭, 유도 클래스, 신경망 종류 항목을 디지털 패치 생성 조건으로 새롭게 고려하여 공격효과를 실험하였다. 실험 결과 디지털 패치의 공격력에 큰 영향을 미치는 조건은 크기였다. 디지털 패치 생성을 위한 학습 조건으로 1~2회의 적은 학습 에폭과 단순한 유도 이미지 클래스만으로도 디지털 패치는 충분한 공격력이 있었다. 그 외 조건들에 대해서는 때에 따라 일정하지 않은 공격력을 보여주었다. 결론적으로 물리적 환경에서의 디지털 패치의 공격력은 디지털 환경에서와 달리 강건하지 않음을 확인할 수 있었다.
이주빈,김태호,마유승 한국정보과학회 2022 정보과학회논문지 Vol.49 No.12
Differential testing is a traditional software testing technique that detects errors by observing whether similar applications generate different outputs for the same input. Differential testing is also used in artificial intelligence systems. Existing research involves the cost of finding a high-quality reference neural network with the same function as the target neural network but different architectures. We propose a self-differential testing technique that evaluates a classification model by making a reference model using a target neural network without the need to find the neural network of another architecture when differential testing. Experiments confirmed that self-differential testing produced similar effects at a lower cost than the existing research that requires other reference models. In addition, we propose an accuracy approximation method for classification models using self-differential analysis, which is an application of self-differential testing. The approximate accuracy through self-differential testing was confirmed to show a small difference of 0.0002 to 0.09 from the actual accuracy in experiments using similar datasets of MNIST and CIFAR10. 차동 시험(differential testing)은 유사한 응용 프로그램이 동일한 입력에 대해 서로 다른 출력을 생성하는지를 관찰하여 오류를 감지하는 전통적인 소프트웨어 시험 기법이다. 인공지능 시스템에서도 차동시험이 사용되고 있는데, 현존하는 연구 방법들은 시험 대상 신경망과 동일 기능을 수행하는 구조가 다른 고품질의 참조 대상 신경망을 찾는 비용을 요구한다. 본 논문에서는 인공지능 시스템의 차동 시험 시 다른 구조의 신경망을 찾을 필요 없이 시험 대상 신경망을 이용해 참조 모델을 만들어 시험을 수행하는 자가 차동시험(self-differential testing) 기법을 제안하였다. 실험 결과 제안 기법은 다른 참조 모델을 필요로 하는 기존 방법보다 저비용으로 유사한 효과를 내는 것을 확인하였다. 본 논문은 자가 차동 시험의 응용인 자가 차동 분석을 활용해 분류 신경망의 정확도 근사 방법도 추가로 제안한다. 제안 기법을 통한 근사 정확도는 MNIST와 CIFAR10의 유사 데이터 셋을 이용한 실험에서 실제 정확도와 0.0002~0.09 정도의 낮은 차이로 성능 근사의 가능성을 확인할 수 있었다.