악성코드 유사도 측정 기법의 성능 평가 모델 개발

천성택(Sung-Taek Chun),김희석(HeeSeok Kim),임광혁(Kwang-Hyuk Im),김규일(Kyu-il Kim),서창호(Chang-Ho Seo) 한국콘텐츠학회 2014 한국콘텐츠학회논문지 Vol.14 No.10

날로 급증하는 대량의 악성코드들을 분류하여 악성코드에 대한 분석시간을 단축하고 신종의 악성코드를 발견하기 위한 악성코드 분류의 필요성이 대두됨에 따라 대량의 악성코드들을 분류하기 위한 다양한 악성코드 유사도 측정 기법이 제안되고 있다. 하지만 제안된 기존 연구들은 대부분 유사도 측정 기법을 소개하고 해당 기법에 의한 악성코드 분류 결과만을 제시하고 있으며, 다른 유사도 측정 기법과의 성능 비교 결과는 제시하지 않는다. 이는 유사도 측정 기법의 성능을 비교할 수 있는 평가 모델이 존재하지 않기 때문이다. 본 논문에서는 다양한 악성코드 유사도 측정 기법들의 성능을 비교 및 평가할 수 있는 악성코드 유사도 측정기법의 성능평가 모델로 성공확률과 신뢰도의 두 지표를 제안한다. 또한 본 논문에서는 두 지표를 이용해 기존 유사도 측정 기법들의 성능을 비교 및 평가한다. While there is a great demand for malware classification to reduce the time required in malware analysis and find a new type of malware, various similarity measurement methods of malware to classify a lot of malwares have been proposed. But, the existing methods to measure similarity just represented the classification results by them and have not carried out performance comparison with other methods. This is because an evaluation model to compare the performance of similarity measurement methods is non-existent. In this paper, we propose a new performance evaluation model on similarity measurement methods of malware by using two indicators: success rate and degree of confidence. In addition, we compare and evaluate the performance of existing similarity measurement methods by using these two indicators.

상품 분류 체계를 고려한 구매이력 유사도 측정 기법

양유정,이기용 한국정보처리학회 2019 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.8 No.9

A sequence refers to data in which the order exists on the two items, and purchase transaction data in which the products purchased by one customer are listed is one of the representative sequence data. In general, all goods have a product taxonomy, such as category/ sub-category/ sub-sub category, and if they are similar to each other, they are classified into the same category according to their characteristics. Therefore, in this paper, we not only consider the purchase order of products to compare two purchase transaction sequences, but also calculate their similarity by giving a higher score if they are in the same category in spite of their difference. Especially, in order to choose the best similarity measure that directly affects the calculation performance of the purchase transaction sequences, we have compared the performance of three representative similarity measures, the Levenshtein distance, dynamic time warping distance, and the Needleman-Wunsch similarity. We have extended the existing methods to take into account the product taxonomy. For conventional similarity measures, the comparison of goods in two sequences is calculated by simply assigning a value of 0 or 1 according to whether or not the product is matched. However, the proposed method is subdivided to have a value between 0 and 1 using the product taxonomy tree to give a different degree of relevance between the two products, even if they are different products. Through experiments, we have confirmed that the proposed method was measured the similarity more accurately than the previous method. Furthermore, we have confirmed that dynamic time warping distance was the most suitable measure because it considered the degree of association of the product in the sequence and showed good performance for two sequences with different lengths. 시퀀스란 두 항목 간의 순서가 존재하는 데이터를 말하며, 고객 한 명이 구매한 상품들이 나열된 구매이력 데이터는 대표적인 시퀀스 데이터 중 하나이다. 일반적으로 모든 상품은 대분류/ 중분류/ 소분류와 같은 상품 분류 체계를 가지며, 서로 다른 상품이더라도 비슷하다면 그 특성에 따라 동일한 범주로 분류된다. 따라서 본 논문에서는 두 구매이력 시퀀스 비교 시 상품의 구매 순서를 고려할 뿐만 아니라, 비교하고자 하는 두 상품이 다르더라도 서로 동일한 상품 군에 속한다면 더 높은 유사도를 부여하여 계산한다. 특히 구매이력 시퀀스 유사도 계산 성능에 직접적인 영향을 미치는 시퀀스 유사도 측정 방법을 선택하기 위해 본 연구에서는 대표적인 시퀀스 간 유사도 측정 방법인 레벤슈타인 거리, 동적 타임 워핑 거리, 니들만-브니쉬 유사도의 성능을 비교하였으며, 항목간의 계층구조도 반영하여 계산하도록 확장하였다. 기존의 유사도 측정 방법의 경우 시퀀스 내 상품 비교 시 상품의 일치 유무에 따라 단순히 0 또는 1의 값을 부여하여 계산한다. 하지만 제안 방법의 경우 서로 다른 상품이더라도 두 상품 간의 연관정도를 다르게 부여하기 위하여 상품 분류 트리를 사용하여 0에서 1 사이의 값을 가지도록 세분화하였다. 실험을 통해 세 알고리즘에 제안 방법을 적용한 경우 기존 방법에 비하여 구매이력 시퀀스 간의 유사도를 더 정확히 측정함을 확인하였다. 또한 정확성 측정 비교 실험을 통해 동적 타임 워핑 유사도가 다른 두 유사도 측정 방법에 비하여 시퀀스 내 상품의 연관 정도를 고려할 뿐만 아니라 두 시퀀스의 길이가 다른 경우에도 좋은 성능을 보였기 때문에 구매이력 데이터에서 시퀀스 간의 유사도 비교 시 가장 적합한 측정 방법임을 확인하였다.

메소드 참조 빈도와 매니페스트 정보를 이용한 안드로이드 애플리케이션들의 유사도 측정

김규식,마수드,조성제,김성백 한국차세대컴퓨팅학회 2017 한국차세대컴퓨팅학회 논문지 Vol.13 No.3

소프트웨어 가치와 중요성이 커짐에 따라 소프트웨어의 도용이 증가하고 있어 이에 대한 대책으로 소프트웨어 도용 을 정확히 탐지하는 방안이 필요하다. 특히 안드로이드 앱의 경우, 소프트웨어 도용이 상대적으로 용이한 반면 안드 로이드 마켓 상에서는 불법 앱에 대한 적절한 검수를 수행하지 않고 있다. 이에 본 논문에서는 소프트웨어 도용을 탐지하기 위해 실행파일 수준에서 안드로이드 앱 간의 유사도를 효과적으로 측정하는 기법을 제안한다. 제안 기법은 유사도 측정을 위한 주요 특징정보로, 안드로이드 앱의 실행파일을 정적으로 분석하여 메소드 참조 빈도와 매니페스 트 정보를 추출한다. 각 앱을 이 두 가지 특징정보들의 n-차원 벡터로 표시하고, 코사인 유사도를 사용하여 두 앱의 유사도를 측정한다. 제안 기법을 검증하기 위해 대표적인 소스코드 기반의 유사도 측정 기법과 본 논문에서 제안한 기법을 비교 평가한다. 소스파일과 실행파일이 함께 주어진 안드로이드 앱을 대상으로 진행한 실험에서, 본 논문에 서 제안한 실행파일 수준의 유사도 측정 결과와 기존의 잘 알려진 소스파일 수준의 유사도 측정 결과가 동등한 수준으로 나왔다. As the value and importance of softwares are growing up, software theft and piracy become a much larger problem. To tackle this problem, it is highly required to provide an accurate method for detecting software theft and piracy. Especially, while software theft is relatively easy in the case of Android applications (apps), screening illegal apps has not been properly performed in Android markets. In this paper, we propose a method to effectively measure the similarity between Android apps for detecting software theft at the executable file level. Our proposed method extracts method reference frequency and manifest information through static analysis of executable Android apps as the main features for similarity measurement. Each app is represented as an n-dimensional vectors with the features, and then cosine similarity is utilized as the similarity measure. We demonstrate the effectiveness of our proposed method by evaluating its accuracy in comparison with typical source code-based similarity measurement methods. As a result of the experiments for the Android apps whose source file and executable file are available side by side, we found that our similarity degree measured at the executable file level is almost equivalent to the existing well-known similarity degree measured at the source file level.

문장 및 어절 유사도를 이용한 표절 탐지 시스템 구현

맹주수,박지수,손진곤 한국정보처리학회 2019 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.8 No.3

The similarity detecting method that is basically used in most plagiarism detecting systems is to use the frequency of shared words based on morphological analysis. However, this method has limitations on detecting accurate degree of similarity, especially when similar words concerning the same topics are used, sentences are partially separately excerpted, or postpositions and endings of words are similar. In order to overcome this problem, we have designed and implemented a plagiarism detecting system that provides more reliable similarity information by measuring sentence similarity and syntactic word similarity in addition to the conventional word similarity. We have carried out a comparison of on our system with a conventional system using only word similarity. The comparative experiment has shown that our system can detect plagiarized document that the conventional system can detect or cannot. 기존 표절 탐지 시스템은 형태소 분석을 기반으로 공통 단어의 빈도수를 이용해 문서의 유사도를 측정한다. 그러나 주제가 같아 유사 단어가 많이 쓰인 경우, 문장 단위로 일부만 발췌 표절한 경우, 그리고 조사와 어미의 유사성이 있는 경우는 공통 단어의 빈도수만으로는 정확한 유사도를 측정하는데 한계가 있다. 따라서 본 논문에서는 공통 단어 빈도수 기반의 유사도 측정 외에 문장 유사도와 어절 유사도를 추가적으로 측정해 유사도의 정확성을 높일 수 있는 표절 탐지 시스템을 설계하고 구현하였다. 실험 결과, 문장 유사도를 측정함으로써 문장 단위로 표절이 이루어진 경우를 발견할 수 있었고, 어절 유사도를 추가로 측정함으로써 부분표절이 일어난 경우라도 조사나 어미까지 그대로 사용한 표절의 경우 등을 발견할 수 있었다.

분산된 보안 정보의 효율적 관리 및 검색을 위한 동적인 유사도 측정 시스템

양수미,변희정 보안공학연구지원센터(JSE) 2017 보안공학연구논문지 Vol.14 No.4

지능형 보안시스템은 상황 인식 및 대응을 위하여 추론 시스템을 갖추고 있다. 광역 보안 감시 시 스템의 경우, 다수의 추론 에이전트가 지식 정보를 주고받으며 협동한다. 이를 위한 효율적 지식 정 보의 관리 및 검색이 요구된다. 이를 위해 각기 소유한 지식 정보의 차이를 극복할 수 있는 적절한 유사도 측정 방법이 필요하다. 유사도가 임계값 이내인 경우 해당내용을 응답하게 하여 협동적 추론 을 돕는다. 다양한 지능형 시스템에서 확장성을 이유로 온톨로지를 추론 시스템에 활용하고 있다. 다 수 온톨로지를 이루는 개념어 사이의 유사성을 측정하고자 하는 많은 노력이 있었으나 정적인 분석 이 주를 이뤘다. 본 논문에서는 기존의 유사도 측정방식을 향상시키기 위하여 동적으로 온톨로지 사 용패턴을 유사도에 반영한다. 사용자 검색패턴의 연관성을 에지 가중치에 동적으로 반영하여 유사도 값을 조정한다. 성능 평가에서 기존 유사도 측정 시스템에 대하여 동적인 가중치 부여가 어느 정도의 영향을 갖는지 분석한 결과를 보인다. Intelligent security system includes inference system for context awareness and response. In wide area surveillance system, many inference agents cooperate over exchanging knowledge. It requires efficient management and searching of knowledge bases. It needs proper similarity measure technique to overcome the difference in knowledge bases. Responding with the value of similarity within threshold helps cooperative inference. Various intelligent systems utilize ontology for scalability. Previous many similarity measure techniques uses static analysis mainly. In this paper ontology usage patterns are applied dynamically to improve existing method. Similarity measure is controlled by reflecting user's searching pattern to edge weight. In performance evaluation the analysis results about effect of dynamic weight reflection to previous methods are shown.

측정자료 기반의 유사 수지 분석과 하천 측량에 의한 하상 변동량의 비교 : 금강 일부 구간에 대한 사례 적용

강태욱(Kang, Taeuk),진영규(Jin, Youngkyu),서효원(Seo, Hyowon),이남주(Lee, Namjoo),김창성(Kim, Chang-Sung) 한국방재학회 2021 한국방재학회논문집 Vol.21 No.6

하천의 유사량 측정자료는 다양한 하천 계획과 연구에 기초자료로 활용된다. 이 연구에서는 다년간의 하천 단면 측량 결과와 유사량 측정자료 기반의 유사 수지 분석 결과로 산정된 하상 변동량을 비교⋅검토하였다. 유사 수지 분석의 공간적 범위는 상⋅하류 경계 및 지류 하천에서 유량 및 유사량이 모두 측정된 금강의 공주시(금강교) 수위관측소부터 부여군(백제교) 수위관측소 구간이고, 시간적 범위는 2011년부터 2016년까지이다. 분석 결과, 분석 대상 구간에서는 6년간 2,430,243 ton의 유사가 퇴적되는 것으로 분석되었다. 한편, 대상 구간에 대하여 측량된 하천 지형을 이용하여 하상 변동량을 산정하였다. 그 결과, 저수위 기준의 퇴적량은 2,165,146 ton, 홍수위 기준의 퇴적량은 3,055,489 ton으로 분석되었다. 하천 측량 성과를 기준으로 볼 때, 조사된 하상 변동량과 유사 수지 분석 결과로 산정된 하상 변동량의 차이는 저수위와 홍수위 기준에서 각각 10.9%와 -25.7%로 분석되었다. Sediment measurement data are utilized as basic data for various river plans and research. The aim of this study is to compare between sediment budget analysis and riverbed monitoring results. The spatial range was from the Gongju-si (Gemganggyo) station to the Buyeo-gun (Baekjegyo) station in Geumgang, and the temporal range in this study was from 2011 to 2016. The estimated change in riverbed amount using the sediment budget analysis was 2,430,243 tons for sediments loaded over six years in the section. The analyzed riverbed changes sedimentation using the riverbed monitoring method were 2,165,146 tons based on the low level and 3,055,489 tons based on the flood level. Based on the riverbed monitoring performance, the relative errors in the sediment budget analysis results through sediment measurements were 10.9% and -25.7% for the low water and flood levels, respectively.

다양한 언어적 자질을 고려한 발화간 유사도 측정 방법

이연수,신중휘,홍금원,송영인,이도길,임해창,Lee, Yeon-Su,Shin, Joong-Hwi,Hong, Gum-Won,Song, Young-In,Lee, Do-Gil,Rim, Hae-Chang 한국음향학회 2009 韓國音響學會誌 Vol.28 No.1

본 연구는 예제 기반 대화 시스템에서 응답을 결정하기 위한 핵심 요소 기술 중 하나인 발차간 유사도 측정 방법의 개선에 대해 논한다. 일반적인 문장간 유사도 측정과는 달리, 대화에서 발차간 유사도 측정은 단어 분포간 유사도 뿐만 아니라, 문형, 시제, 긍/부정, 양태등 대화 자연스러움을 결정하는 문장의 다양한 언어적 요소 역시 중요하게 고려되어야 한다. 그러나 기존 연구에서는 이에 대한 고려가 부족 했던 것이 사실이며, 따라서 본 연구에서는 개선 방안으로서 발화의 형태적 유사성 뿐 아니라 다양한 언어적 자질들을 분석하고 이를 유사도 측정에 반영하여 정확도를 향상시키는 새로운 유사도 측정 방법을 제안한다. 또한, 발차의 자질별 유사도를 고려함으로써, 한정된 수의 예제들의 활용도를 높일 수 있는 방법을 제안하였다. 실험 결과 제안하는 방법이 기존 방식에 비해 10%p 이상 정확도 성능 향상이 있었다. This paper presents an improved method measuring inter-utterance similarity in an example-based dialogue system, which searches the most similar utterance in a dialogue database to generate a response to a given user utterance. Unlike general inter-sentence similarity measures, the inter-utterance similarity measure for example-based dialogue system should consider not only word distribution but also various linguistic features, such as affirmation/negation, tense, modality, sentence type, which affects the natural conversation. However, previous approaches do not sufficiently reflect these features. This paper proposes a new utterance similarity measure by analyzing and reflecting various linguistic features to improve performance in accuracy. Also, by considering substitutability of the features, the proposed method can utilize limited number of examples. Experimental results show that the proposed method achieves 10%p improvement in accuracy compared to the previous method.

상품들의 계층적 분류체계를 고려한 구매 이력 간 효율적인 유사도 측정

양유정,이기용 한국정보과학회 2020 정보과학회논문지 Vol.47 No.10

온라인 쇼핑몰 또는 오프라인 매장에서 각 고객이 구매한 상품들은 시간의 흐름에 따라 해당 고객의 구매 이력을 형성한다. 또한 대부분의 경우 상품들에는 그들의 세부 분류를 나타내는 계층적 분류체계가 존재한다. 본 논문에서는 상품들의 구매 순서뿐만 아니라 상품들에 존재하는 계층적 분류체계까지 고려하는 새로운 구매 이력 간 유사도 측정 방법을 제안한다. 제안 방법은 기존의 대표적인 시퀀스 간 유사도 측정 방법인 동적 타임 워핑(dynamic time warping) 유사도를 상품들의 계층적 분류체계를 반영하도록 확장하였다. 제안 방법은 두 시퀀스 내 원소들을 비교할 때 원소들의 일치 여부에 따라 원소들 간의 유사도를 0 또는 1로만 부여하던 기존 방법과 달리 계층적 분류체계를 반영하여 0에서 1 사이의 실수 값을 부여한다. 이와 함께 본 논문은 제안하는 유사도 측정 방법에 대한 효율적인 계산 기법을 제안한다. 제안하는 계산 기법은 세그먼트 트리(segment tree)를 사용하여 계층적 분류체계 내에서 두 상품 간의 유사도를 매우 빠르게 계산한다. 본 논문에서는 실데이터에 기반한 다양한 실험을 통해 제안 방법이 계층적 분류체계가 존재하는 상품들의 구매 이력 간 유사도를 매우 효과적이고 빠르게 측정할 수 있음을 보인다. In an online shopping mall or offline store, the products purchased by each customer over time form a purchase history of the customer. Also, in most cases, products have a hierarchical classification that represents their subcategories. In this paper, we propose a new similarity measure for purchase histories considering not only the purchase order of products but also the hierarchical classification of products. The proposed method extends the dynamic time warping similarity that is an existing representative similarity measure for sequences, to reflect the hierarchical classification of products. Unlike the existing method, where the similarity between the elements in two sequences is only 0 or 1 depending on whether the two elements are the same or not, the proposed method can assign any real number between 0 and 1 as the similarity between the two elements considering the hierarchical classification of elements. We also propose an efficient method for computing the proposed similarity measure. The proposed computation method uses the segment tree to evaluate the similarity between the two products in a hierarchical classification tree in an efficient manner. Through various experiments based on the real data, we show that the proposed method can measure the similarity between purchase histories of products with hierarchical classification in an exceedingly effective and efficient manner.

유사도 측정 데이터 셋과 쓰레숄드

양병주(Byoungju Yang),심준호(Junho Shim) 한국전자거래학회 2013 한국전자거래학회지 Vol.18 No.1

방대한 량의 전자상거래 데이터 객체를 다루는데 같거나 유사한 객체들을 찾는 유사도 측정은 중요하다. 객체간 유사도 측정은 객체 쌍의 유사도 측정값을 비교하므로 객체 량이 많아질수록 오랜 시간이 걸린다. 최근의 여러 유사도 측정 연구에선 이를 더 효율적으로 수행하는 기법을 제시하고 실제 데이터 셋에서 그 성능을 평가해왔다. 본 논문에서는 이들 연구에서 사용하는 데이터 셋의 특성과 실험에서 사용되는 쓰레숄드 값이 가지는 의미에 대해 분석해본다. 이러한 분석은 새로운 유사도 측정 기법의 성능 평가 실험의 참조 기준을 제시하는 역할을 한다. In the e-business domain where data objects are quantitatively large, measuring similarity to find the same or similar objects is important. It basically requires comparing and computing the features of objects in pairs, and therefore takes longer time as the amount of data becomes bigger. Recent studies have shown various algorithms to efficiently perform it. Most of them show their performance superiority by empirical tests over some sets of data. In this paper, we introduce those data sets, present their characteristics and the meaningful threshold values that each of data sets contain in nature. The analysis on practical data sets with respect to their threshold values may serve as a referential baseline to the future experiments of newly developed algorithms.

다차원 명암도 증감 기반 효율적인 영상정합

조용현(Yong-Hyun Cho) 한국지능시스템학회 2012 한국지능시스템학회논문지 Vol.22 No.3

본 논문에서는 영상의 다차원 명암도 증감에 기반을 둔 유사도 측정에 의한 효율적인 영상정합 방법을 제안하였다. 여기서 다차원 명암도는 영상의 4방향을 고려한 유사성 판정으로 영상이 가지는 속성을 더욱 더 많이 반영하기 위함이고, 명암도 증감은 인접 픽셀간의 밝기변화를 고려함으로써 좀 더 포괄적으로 유사성을 측정하기 위함이다. 또한 측정된 4방향 각각의 명암도 증감에 대한 정규상호상관계수를 구하고, 그 각각에 바탕을 둔 전체 정규상호상관계수, 각 방향의 상관계수에 대한 산술평균과 단순 곱 및 최대값으로 정규화된 상관계수의 산술평균과 단순 곱으로 정의된 유사도 계수로 각각 정합을 측정하였다. 제안된 방법을 22개의 243*243 픽셀 얼굴영상과 9개의 500*500 픽셀 인물영상을 대상으로 각각 실험한 결과, 영상의 속성을 잘 반영한 우수한 정합성능이 있음을 확인하였다. 특히 각 방향의 상관계수에 대한 산술평균 유사도가 가장 우수한 신뢰성을 가지는 정합척도임을 알 수 있었다. This paper presents an efficient image registration method by measuring the similarity, which is based on multi-dimensional intensity fluctuation. Multi-dimensional intensity which considers 4 directions of the image, is applied to reflect more properties in similarity decision. And an intensity fluctuation is also applied to measure comprehensively the similarity by considering a change in brightness between the adjacent pixels of image. The normalized cross-correlation(NCC) is calculated by considering an intensity fluctuation to each of 4 directions. The 5 correlation coefficients based on the NCC have been used to measure the registration, which are total NCC, the arithmetical mean and a simple product on the correlation coefficient of each direction and on the normalized correlation coefficient by the maximum NCC, respectively. The proposed method has been applied to the problem for registrating the 22 face images of 243*243 pixels and the 9 person images of 500*500 pixels, respectively. The experimental results show that the proposed method has a superior registration performance that appears the image properties well. Especially, the arithmetical mean on the correlation coefficient of each direction is the best registration measure.