디지털 포렌식에서 텍스트 마이닝 기반 침입 흔적 로그 추천

고수정,Ko, Sujeong 한국정보처리학회 2013 정보처리학회논문지. 컴퓨터 및 통신시스템 Vol.2 No.6

디지털 포렌식에서의 로그 데이터는 사용자의 과거 행적에 대한 추적을 목적으로 대용량의 형태로 저장된다는 특성을 가지고 있다. 이러한 대용량의 로그 데이터를 단서가 없이 수동으로 분석하는 절차는 조사관들에게는 어려운 일이다. 본 논문에서는 포렌식 분석을 하는 조사관들에게 믿을 만한 증거를 추천하기 위하여 대용량의 로그 집합으로부터 해킹 흔적을 추출하는 텍스트 마이닝 기술을 제안한다. 학습 단계에서는 훈련 로그 집합을 대상으로 전처리를 한 후, Apriori 알고리즘을 이용하여 침입 흔적 연관 단어를 추출하고, 신뢰도와 지지도를 병합하여 각 연관단어의 침입 흔적 확률을 계산한다. 또한, 침입 흔적 확률의 정확도를 높이기 위하여 스팸 메일의 여과에 사용된 Robinson의 신뢰도 계산 방법을 이용하여 확률에 가중치를 추가하며, 최종적으로 침입 흔적 연관 단어 지식 베이스를 구축한다. 테스트 단계에서는 연관 단어 지식 베이스를 기반으로 테스트 로그 집합에 대해 피셔(Fisher)의 역 카이제곱 분류 알고리즘을 적용하여 침입 흔적 로그일 확률과 정상 로그일 확률을 계산하고, 이를 병합하여 침입 흔적 로그를 추출한다. 추출된 로그를 조사관에게 침입 흔적이 있는 로그로서 추천한다. 제안한 방법은 비구조화된 대용량의 로그 데이터를 대상으로 데이터의 의미를 명확하게 분석할 수 있는 학습 방법을 사용함으로써 데이터의 모호성으로 인해 발생하는 정확도 저하 문제를 보완할 수 있으며, 피셔의 역 카이제곱 분류 알고리즘을 이용하여 추천함으로써 오분류율(false positive)을 감소시키고 수동으로 증거를 추출하는 번거로움을 줄일 수 있다는 장점을 갖는다. In digital forensics log files have been stored as a form of large data for the purpose of tracing users' past behaviors. It is difficult for investigators to manually analysis the large log data without clues. In this paper, we propose a text mining technique for extracting intrusion logs from a large log set to recommend reliable evidences to investigators. In the training stage, the proposed method extracts intrusion association words from a training log set by using Apriori algorithm after preprocessing and the probability of intrusion for association words are computed by combining support and confidence. Robinson's method of computing confidences for filtering spam mails is applied to extracting intrusion logs in the proposed method. As the results, the association word knowledge base is constructed by including the weights of the probability of intrusion for association words to improve the accuracy. In the test stage, the probability of intrusion logs and the probability of normal logs in a test log set are computed by Fisher's inverse chi-square classification algorithm based on the association word knowledge base respectively and intrusion logs are extracted from combining the results. Then, the intrusion logs are recommended to investigators. The proposed method uses a training method of clearly analyzing the meaning of data from an unstructured large log data. As the results, it complements the problem of reduction in accuracy caused by data ambiguity. In addition, the proposed method recommends intrusion logs by using Fisher's inverse chi-square classification algorithm. So, it reduces the rate of false positive(FP) and decreases in laborious effort to extract evidences manually.

협력적 여과 시스템에서 산포도를 이용한 잡음 감소

고수정,Ko, Su-Jeong 한국정보처리학회 2007 정보처리학회논문지B Vol.14 No.7

협력적 여과 시스템의 사용자-아이템 행렬은 사용자들이 아이템에 대하여 평가할 경우 사용자들의 감정 상태가 일정하지 않음으로 인하여 평가 결과에 잡음을 포함할 가능성이 높다. 이러한 문제점을 해결하기 위해 본 논문에서는 산포도를 이용하여 추천 정보로서 이용하기에 부적당한 평가값들을 제외시킴으로써 사용자-아이템 행렬을 최적화시키고, 아이템 정보와 사용자 정보를 반영하여 고유의 사용자의 평가값을 기반으로 선호도를 예측하였을 때 발생하는 잡음을 감소시킨다. 산포도의 변이계수가 갖는 단점을 보완하기 위하여 백분위수를 이용하여 극한적인 평가값을 제거하고, 사용자의 변이계수와 아이템의 중위수를 병합하여 가중치가 부여된 사용자-아이템 행렬을 구성한다. 마지막으로 이를 기반으로 새로운 사용자의 선호도를 예측한다. 제안된 방법은 영화에 대해 평가한 MovieLens 시스템의 데이터베이스를 이용하여 평가되었으며, 기존의 방법보다 성능이 높음을 보인다. Collaborative filtering systems have problems when users rate items and the rated results depend on their feelings, as there is a possibility that the results include noise. The method proposed in this paper optimizes the matrix by excluding irrelevant ratings as information for recommendations from a user-item matrix using dispersion. It reduces the noise that results from predicting preferences based on original user ratings by inflecting the information for items and users on the matrix. The method excludes the ratings values of the utmost limits using a percentile to supply the defects of coefficient of variance and composes a weighted user-item matrix by combining the user coefficient of variance with the median of ratings for items. Finally, the preferences of the active user are predicted based on the weighted matrix. A large database of user ratings for movies from the MovieLens recommender system is used, and the performance is evaluated. The proposed method is shown to outperform earlier methods significantly.

비부정 행렬 인수분해 차원 감소를 이용한 최근 인접 협력적 여과

고수정,Ko, Su-Jeong 한국정보처리학회 2006 정보처리학회논문지B Vol.13 No.6

협력적 여과는 사용자 선호도를 예측하기 위해 그 사용자의 유형을 학습하는 데 목적을 둔 기술이다. 협력적 여과 시스템이 전자상거래에서 성공적인 기술일지라도 그들은 데이터의 고차원성과 희박성이라는 문제점을 갖는다. 본 논문에서는 이와 같은 문제점을 해결하기 위하여 비부정 행렬 인수분해(NNMF, Non-negative Matrix Factorization) 방법을 이용한 최근 인접 협력적 여과 방법을 제안한다. 행렬을 분해하기 위한 전처리로서 사용자 변동 계수를 이용하여 사용자-아이템 행렬의 결측치를 채우고, 이를 대상으로 비부정 분해 방식을 적용하여 행렬을 인수분해 한다. 비부정 분해 방식을 적용한 긍정 분해는 사용자들을 의미를 갖는 벡터로써 표현함으로써 사용자들을 의미 관계를 갖는 그룹으로 표현한다. 이와 같이 벡터로 표현된 사용자들은 벡터 유사도에 의해 그들간의 유사도를 계산한다. 계산된 유사도의 정도에 의해 이웃을 결정하고, 이웃들이 평가한 아이템에 대한 흥미도를 기반으로 새로운 사용자가 평가하지 않은 아이템에 대한 결측치를 예측한다. Collaborative filtering is a technology that aims at teaming predictive models of user preferences. Collaborative filtering systems have succeeded in Ecommerce market but they have shortcomings of high dimensionality and sparsity. In this paper we propose the nearest neighbor collaborative filtering method using non-negative matrix factorization(NNMF). We replace the missing values in the user-item matrix by using the user variance coefficient method as preprocessing for matrix decomposition and apply non-negative factorization to the matrix. The positive decomposition method using the non-negative decomposition represents users as semantic vectors and classifies the users into groups based on semantic relations. We compute the similarity between users by using vector similarity and selects the nearest neighbors based on the similarity. We predict the missing values of items that didn't rate by a new user based on the values that the nearest neighbors rated items.

지능형 사물인터넷을 이용한 식물 생장 환경 예측

고수정(Sujeong Ko) 한국디지털콘텐츠학회 2018 한국디지털콘텐츠학회논문지 Vol.19 No.7

IoT(Internet of Things) is applied to technologies such as agriculture and dairy farming, making it possible to cultivate crops easily and easily in cities.In particular, IoT technology that intelligently judge and control the growth environment of cultivated crops in the agricultural field is being developed. In this paper, we propose a method of predicting the growth environment of plants by learning the moisture supply cycle of plants using the intelligent object internet. The proposed system finds the moisture level of the soil moisture by mapping learning and finds the rules that require moisture supply based on the measured moisture level. Based on these rules, we predicted the moisture supply cycle and output it using media, so that it is convenient for users to use. In addition, in order to reduce the error of the value measured by the sensor, the information of each plant is exchanged with each other, so that the accuracy of the prediction is improved while compensating the value when there is an error. In order to evaluate the performance of the growth environment prediction system, the experiment was conducted in summer and winter and it was verified that the accuracy was high.

유기물에 의한 아질산화 bead의 영향과 미생물 군집 해석

고수정 ( Su Jeong Ko ),김용태 ( Yong Tae Kim ),이태호 ( Tae Ho Lee ),박태주 ( Tae Joo Park ) 한국물환경학회 2004 한국물환경학회·대한상하수도학회 공동 춘계학술발표회 Vol.2004 No.-

연관 단어 마이닝을 사용한 웹문서의 특징 추출

고수정(Su-Jeong Ko),최준혁(Jun-Hyeog Choi),이정현(Jung Hyun Lee) 한국정보과학회 2003 정보과학회논문지 : 데이타베이스 Vol.30 No.4

단어의 연관성을 이용하여 문서의 특징을 추출하는 기존의 방법은 주기적으로 프로파일을 갱신해야 하는 문제점, 명사구를 처리해야 하는 문제점, 색인어에 대한 확률을 계산해야 하는 문제점 등을 포함한다. 본 논문에서는 연관 단어 마이닝을 사용하여 문서의 특징을 효율적으로 추출하는 방법을 제안한다. 제안한 방법은 Apriori 알고리즘을 사용하여 문서의 특징을 단일 단어가 아닌 연관 단어 벡터로 표현한다. Apriori 알고리즘을 사용하여 문서로부터 추출된 연관 단어는 이를 구성하는 수와 신뢰도와 지지도에 따라 차이를 보인다. 따라서 본 논문에서는 문서 분류의 성능을 향상 시키기 위해 연관 단어를 구성하는 단어의 수와 신뢰도와 지지도를 결정하는 효율적인 방법을 제안한다. 연관 단어 마이닝을 이용한 특징 추출 방법은 프로파일을 사용하지 않으므로 프로파일 갱신의 필요성이 없으며, 색인어에 대한 확률을 계산하지 않고도 Apriori 알고리즘의 신뢰도와 지지도에 따라 자동으로 명사구를 생성하므로 단어의 연관성을 이용하여 문서의 특징을 추출하는 기존 방법에 대한 문제점을 해결한다. 제안한 방법의 성능을 평가하기 위해 Naive Bayes 분류자를 이용한 문서 분류에 적용하여 정보이득, 역문헌빈도의 방법과 비교하며, 또한 색인어의 연관성과 확률 모델을 기반으로 단어의 연관성을 이용하여 문서 분류를 하는 기존의 방법과 각각 비교한다. The previous studies to extract features for document through word association have the problems of updating profiles periodically, dealing with noun phrases, and calculating the probability for indices. We propose more effective feature extraction method which is using association word mining. The association word mining method, by using Apriori algorithm, represents a feature for document as not single words but association-word-vectors. Association words extracted from document by Apriori algorithm depend on confidence, support, and the number of composed words. This paper proposes an effective method to determine confidence, support, and the number of words composing association words. Since the feature extraction method using association word mining does not use the profile, it need not update the profile, and automatically generates noun phrase by using confidence and support at Apriori algorithm without calculating the probability for index. We apply the proposed method to document classification using Naive Bayes classifier, and compare it with methods of information gain and TF,IDF. Besides, we compare the method proposed in this paper with document classification methods using index association and word association based on the model of probability, respectively.

위성 추진시스템 추력기 밸브 내 원형 판스프링 유한요소해석 및 설계 검증시험

고수정(Sujeong Ko),손미소(Miso Son),김남희(Namhui Kim),김종학(Jonghak Kim),윤호성(Hosung Yoon) 한국추진공학회 2017 한국추진공학회 학술대회논문집 Vol.2017 No.5

위성용 단일추진제 시스템에 적용되는 핵심부품 중 하나인 추력기 밸브는 솔레노이드 방식을 이용하여 추진제를 공급/차단한다. 밸브에 장착되는 원형 판스프링은 마찰과 반복운동에 의한 위치변형 및 파티클이 없다. 본 연구에서는 원형 판스프링 소재, 두께, 반경을 고정변수로 원형 판스프링 내부 패턴의 너비를 설계변수로 설정하여 유한요소해석 및 검증시험을 하였다. 시험결과 변위에 따른 스프링 상수 k가 선형적인 특성이 나타났다. 원형 판스프링 총면적에 따른 스프링력의 경향성을 통해 원형 판스프링의 설계가 가능함을 확인하였다. The thruster valve, which is one of the key components applied to the mono-propellant system for the satellite, has a circular plate spring structure. It can be designed as a structure that does not have positional deformation and particles by friction and repetitive motion. In this study, finite element analysis and verification were performed by setting the width of the circular plate spring as a design parameter with the material, thickness and radius of the circular plate spring as fixed variables. The linearity of the spring constant is shown by the graph that is spring force with displacement. It is confirmed that the optimization design of the circular plate spring is possible by the spring force tendency according to the total area of circular plate spring.

Apriori 알고리즘에 의한 연관 단어 지식 베이스에 기반한 가중치가 부여된 베이지안 자동 문서 분류

고수정(Ko SooJung),이정현(Lee JungHyun) 한국멀티미디어학회 2001 멀티미디어학회논문지 Vol.4 No.2

연역적 유전자 알고리즘을 이용한 연관 단어 지식베이스의 최적화

고수정(Soo-Jung Ko),최준혁(JunHyeog Choi),이정현(Jung-Hyen Lee) 한국정보과학회 2001 정보과학회논문지 : 소프트웨어 및 응용 Vol.28 No.8

지식 기반 정보검색 시스템에서의 질의 확장은 단어간의 의미 관계를 고려한 지식베이스를 필요로 한다. 기존의 단순 마이닝 기법은 사용자의 선호도를 고려하지 않은 채 연관 단어를 추출하므로 재현율은 향상되나 정확도는 저하된다. 본 논문에서는 단어간의 의미 관계를 고려한 연관 단어 중에서 사용자가 선호하는 연관 단어만을 포함하는 정확도가 향상된 최적화된 연관 단어 지식베이스 구축을 위한 방법을 제안한다. 이를 위해 컴퓨터 분야의 웹문서를 8개의 클래스로 분류하고, 각 클래스별 웹문서에서 명사를 추출한다. 추출된 명사를 대상으로 Apriori 알고리즘을 이용하여 연관 단어를 추출하고, 유전자 알고리즘을 이용하여 사용자가 선호하지 않는 연관 단어를 지식베이스의 구축 대상에서 제외시킨다. 본 논문에서 제안된 Apriori 알고리즘과 유전자 알고리즘의 성능을 평가하기 위하여 Apriori 알고리즘은 상호정보량과 Rocchio 알고리즘과 비교하며, 유전자 알고리즘은 TF?IDF를 이용한 단어 정제 방법과 비교한다. The query expansion in the KBQP(Knowledge Based Query Processor) needs a knowledge base being considered semantic relation among words. Because established simple mining technique extracts the association words without considering user preference, it shows higher recall but lower accuracy. In this paper, we propose a method to construct optimized association word knowledge base that improves the accuracy of categorization and includes only the association words of user preference being considered semantic relation among words. For the purpose, web documents on the field of computer are categorized into 8 classes and nouns are extracted from each classified web document. Association words are mined from these nouns by Apriori algorithm and association words which user doesn't prefer are pruned by genetic algorithm. For the purpose of evaluating the performance of Apriori and Genetic algorithm designed in this paper, Apriori algorithm is compared with Rocchio algorithm and mutual information, and genetic algorithm is compared with word refining method using TF · IDF.

정보보호 : 디지털 포렌식에서 텍스트 마이닝 기만 침입 흔적 로그 추천

고수정 ( Sujeong Ko ) 한국정보처리학회 2013 정보처리학회논문지. 컴퓨터 및 통신시스템 Vol.2 No.6