문헌빈도와 장서빈도를 이용한 kNN 분류기의 자질선정에 관한 연구

이용구,Lee, Yong-Gu 한국도서관정보학회 2013 한국도서관정보학회지 Vol.44 No.1

이 연구에서는 자동 색인을 통해 쉽게 얻을 수 있는 자질의 문헌빈도와 장서빈도를 이용하여 자동분류에서 자질 선정 기법을 kNN 분류기에 적용하였을 때, 어떠한 분류성능을 보이는지 알아보고자 하였다. 실험집단으로 한국일보-20000(HKIB-20000)의 일부를 이용하였다. 실험 결과 첫째, 장서빈도를 이용하여 고빈도 자질을 선정하고 저빈도 자질을 제거한 자질선정 방법이 문헌빈도보다 더 좋은 성능을 가져오는 것으로 나타났다. 둘째, 문헌빈도와 장서빈도 모두 저빈도 자질을 우선으로 선정하는 방법은 좋은 분류성능을 가져오지 못했다. 셋째, 장서빈도와 같은 단순빈도에서 자질 선정 구간을 조정하는 것이 문헌빈도와 장서빈도의 조합보다 더 좋은 성능을 가져오는 것으로 나타났다. This study investigated the classification performance of a kNN classifier using the feature selection methods based on document frequency(DF) and collection frequency(CF). The results of the experiments, which used HKIB-20000 data, were as follows. First, the feature selection methods that used high-frequency terms and removed low-frequency terms by the CF criterion achieved better classification performance than those using the DF criterion. Second, neither DF nor CF methods performed well when low-frequency terms were selected first in the feature selection process. Last, combining CF and DF criteria did not result in better classification performance than using the single feature selection criterion of DF or CF.

텍스트 분류를 위한 자질 순위화 기법에 관한 연구

김판준 한국정보관리학회 2023 정보관리학회지 Vol.40 No.1

This study specifically reviewed the performance of the ranking schemes as an efficient feature selection method for text classification. Until now, feature ranking schemes are mostly based on document frequency, and relatively few cases have used the term frequency. Therefore, the performance of single ranking metrics using term frequency and document frequency individually was examined as a feature selection method for text classification, and then the performance of combination ranking schemes using both was reviewed. Specifically, a classification experiment was conducted in an environment using two data sets (Reuters-21578, 20NG) and five classifiers (SVM, NB, ROC, TRA, RNN), and to secure the reliability of the results, 5-Fold cross-validation and t-test were applied. As a result, as a single ranking scheme, the document frequency-based single ranking metric (chi) showed good performance overall. In addition, it was found that there was no significant difference between the highest-performance single ranking and the combination ranking schemes. Therefore, in an environment where sufficient learning documents can be secured in text classification, it is more efficient to use a single ranking metric (chi) based on document frequency as a feature selection method. 본 연구는 텍스트 분류를 위한 효율적인 자질선정 방법으로 자질 순위화 기법의 성능을 구체적으로 검토하였다. 지금까지 자질 순위화 기법은 주로 문헌빈도에 기초한 경우가 대부분이며, 상대적으로 용어빈도를 사용한 경우는 많지 않았다. 따라서 텍스트 분류를 위한 자질선정 방법으로 용어빈도와 문헌빈도를 개별적으로 적용한 단일 순위화 기법들의 성능을 살펴본 다음, 양자를 함께 사용하는 조합 순위화 기법의 성능을 검토하였다. 구체적으로 두 개의 실험 문헌집단(Reuters-21578, 20NG)과 5개 분류기(SVM, NB, ROC, TRA, RNN)를 사용하는 환경에서 분류 실험을 진행하였고, 결과의 신뢰성 확보를 위해 5-fold cross validation과 t-test를 적용하였다. 결과적으로, 단일 순위화 기법으로는 문헌빈도 기반의 단일 순위화 기법(chi)이 전반적으로 좋은 성능을 보였다. 또한, 최고 성능의 단일 순위화 기법과 조합 순위화 기법 간에는 유의한 성능 차이가 없는 것으로 나타났다. 따라서 충분한 학습문헌을 확보할 수 있는 환경에서는 텍스트 분류의 자질선정 방법으로 문헌빈도 기반의 단일 순위화 기법(chi)을 사용하는 것이 보다 효율적이라 할 수 있다.

학문의 주제별 특성에 따른 자동 색인 기법의 비교 연구 - 약학분야와 도서관. 정보학 분야를 중심으로 -

조수련,사공철 한국정보관리학회 1988 정보관리학회지 Vol.5 No.2

본 연구는 서로 다른 주제를 갖는 장서내의 통계적 용어 특성에 따라 적합한 자동 색인 기법을 제시하는데 그 목적이 있으며 약학분야와 도서과.정보학분야를 대상으로 하여 두개의 자동 색인 기법을 비교. 평가하였다. 사용된 자동 색인 기법은 역문헌 빈도 가중 기 법과 문헌 분리가 가중 기법이며 총 장서 빈도와 문헌 빈도로 정의되는 용어 특성과 자동 색인 기법으로 할당된 가중치들 간의 관계를 분석하였다. The purpose of this ptudy is to presenet a relevant automaitc technigue in accordance with the statistical term characteristie in a collection comprising different subjecits, by comparing and evaluating two automatic indexing technigues (Inverse Document Fregnency Weighting Technigue and Term Discrimiantion Value Weighting Technigues) intht fields of Pharmacology and Library & Information Science.

네트워크 텍스트 분석을 통한 문헌정보학 최근 연구 경향 분석

조재인 한국정보관리학회 2011 정보관리학회지 Vol.28 No.4

In this study, Network Text Analysis was performed on 1,752 articles which had been published in recent 7 years and drew the subject concept distribution and their relations in Library and Information Science research areas. Furthermore, for analyzing more recent trends and changing aspects, this study performed secondary analysis based on 482 articles published in recent 2 years. Results show that “public library”, and “academic library” concepts were most frequently studied in the field and “evaluation”, “education”, and “web” concepts showed the highest-degree centrality during the recent 7 years. In the result of recent two years analysis, “web”, and “classification” concepts showed high frequency and “user”, and “public library” showed an improvement in high degree centrality. 본 연구는 최근 7년간 문헌정보학분야에 게재된 논문 1,752건을 대상으로 빈도 분석과 네트워크텍스트 분석을 실시하여 다양한 주제 개념의 분포와 그 관계성을 도출하였다. 더불어 보다 최근의 연구 경향을 분석하고 변화 양상을 살펴보기 위해, 최근 2년 사이에 연구된 482건을 추출하여 2차 분석을 실시하였다. 분석 결과, 최근 7년간 문헌정보학 분야는 “공공도서관”과 “대학도서관” 개념을 중심으로 하는 연구가 가장 높은 출현 빈도를 보였으며, “평가”, “교육”, “웹”은 가장 높은 연결 중심성을 나타내 다양한 문헌정보학의 주제 개념들과 관련을 맺고 연구되고 있는 개념으로 파악할 수 있었다. 최근 2년간을 대상으로 한 2차 분석 결과에서는 “웹”, “분류” 개념이 종전보다 높은 상대 빈도를 보였으며, 네트워크 텍스트 분석 결과에서는 “이용자” 연구와 “공공도서관” 개념이 종전보다 더 다양한 주제 개념들과 관련을 맺고 수행되고 있음을 확인할 수 있었다.

문헌자동분류에서 단어의 출현빈도와 공기관계를 리용한 주제어선정방법에 대하여

최영희(崔英姬) 길림성민족사무위원회 2016 중국조선어문 Vol.202 No.-

본 론문에서는 문헌자동분석에서 단어의 출현빈도와 공기관계에 의하여 주제어를 선정하는 방법을 제기하였다.

텍스트 마이닝을 활용한 국내 마인드셋 연구 동향 분석

배홍연(Hong Yeon Bae), 하정혜(Jeong Hye Ha), 유정록(Jeong Rok Riu) 학습자중심교과교육학회 2023 학습자중심교과교육연구 Vol.23 No.9

목적 본 연구는 국내의 마인드셋 전반에 대한 동향을 분석하는 것을 목적으로 마인드셋의 실증적인 분석을 위해 체계적인 문헌분석과 텍스트 마이닝 기법을 활용하였다. 방법 이를 위하여 RISS(학술연구정보서비스)의 국내학술논문 중 2011년부터 2022년까지 KCI 등재 및 KCI 우수등재 마인드셋 논문 225편을 수집하고 MS Excel, RHINO 1.4.5, Voyant-Tools과 Word Cloud를 활용하여 연도별 학술지 게재현황, 연구대상, 연구분야, 연구방법, 연구주제, 주요키워드, 관련변인 등을 텍스트마이닝 기법으로 분석하였다. 결과 첫째, 국내에서 마인드셋과 관련한 연구가 학계나 대중의 관심을 받으며 활발한 연구가 이루어지고 있으며, 마인드셋 관련 문헌고찰 연구도 점차 나타남을 알 수 있다. 둘째, 마인드셋에 대한 연구가 학습자의 성취를 예측하는 지능에 대한 이론이라는 기존의 한계를 넘어 스트레스 마인드셋, 메이커 마인드셋, 창의적 마인드셋, 디자인씽킹 마인드셋, 글로벌 마인드셋, 기업가적 마인드셋 등 다양한 영역에서 마인드셋의 개념을 확립하고자 하는 연구가 계속 이어지고 있음을 알 수 있다. 셋째, 마인드셋과 관련한 주요 변인인 그릿, 자기주도학습, 진로준비행동, 자기효능감, 자아존중감, 회복탁력성, 노력지속 등의 변인이 다양하게 연구되고 있으나, 그릿에 집중되고 있음을 알 수 있다. 결론 이상의 본 연구에서는 국내에서 이루어진 마인드셋 관련 연구동향을 연도별 게재현황, 게재 학술지, 연구대상, 연구분야, 연구방법, 연구주제, 주요키워드, 관련변인 등을 분석하여 그 동안의 성과를 파악할 뿐만 아니라 앞으로의 마인드셋 부문의 연구 발전에 대한 시사점을 제공하고자 한다. Objectives This study utilized systematic literature analysis and text mining techniques for empirical analysis of mindset with the purpose of analyzing the overall trend of mindset in Korea. Methods To do so, among the domestic academic papers of RISS (Academic Research Information Service), 225 KCI registered and KCI excellent mindset papers were collected from 2011 to 2022, and MS Excel, RHINO 1.4.5, Voyant-Tools and Word Cloud were used. Results first, it can be seen that research related to mindset is being actively conducted in Korea, receiving attention from the academic world and the public, and literature review studies related to mindset are gradually appearing. Second, studies on mindset go beyond the existing limitations of being a theory of intelligence that predicts learners' achievement, such as stress mindset, maker mindset, creative mindset, design thinking mindset, global mindset, entrepreneurial mindset, etc. It can be seen that studies to establish the concept of mindset are continuing in various areas. Third, the main variables related to mindset, such as grit, self-directed learning, career readiness behavior, self-efficacy, self-esteem, resilience, and persistence of effort, have been studied in various ways, but it can be seen that they are focused on grit. Conclusions In this study, we will analyze the research trends related to mindsets in Korea to understand the achievements so far, as well as provide implications for the future development of research in the mindset sector.

문헌정보학 학술지 논문의 사사표기 유형 구분과 계량서지적 특성 연구

장연미,이재윤 한국정보관리학회 2024 정보관리학회지 Vol.41 No.1

In this study, we aimed to identify the types of acknowledgments in Korean LIS journal articles and to find out whether there are differences in the bibliometric characteristics of journal articles based on the types of acknowledgments. For the analysis, the acknowledgments, references, and citation counts of 2,143 articles published in four representative journals in the field of library and information science in Korea for nine years from 2013 to 2021 were obtained as data. We analyzed the contents of 1,433 acknowledgments in 1,311 articles (61.2% of all articles) to divide them into types and then examined the bibliometric characteristics of each type of article. The acknowledgment types were broadly divided into the ‘ethics’ type (avoiding duplicate publication) and ‘thanks’ type, which were further subdivided into 9 and 10 types, respectively. We examined the number of references, recency of references, and citations as bibliometric characteristics, and found that all of these characteristics differed between the types of acknowledgements.

2-포아송 모형을 이용한 한글 주제어 선정에 관한 연구

정영미,최대식 한국정보관리학회 2000 정보관리학회지 Vol.17 No.1

최근 구축된 한글 실험문헌 집단을 대상으로 2-포아송 모형의 Z값의 주제어 식별력을 측정하였으며, 역문헌빈도와 2 포아송 모형간의 상관관계를 분석하였다. 이를 위해 Z와 수정 $\beta$값 및 IDF와 수정 TF.IDF 가중치를 하위 실험집단별로 각기 산출, 비교하였다. 실험 결과 Z값의 주제어 선정능력은 3개의 하위 실험집단 가운데 과학기술분야에서만 확인되었다. 2-포아송 모형의 Z값과 역문헌빈도 가중치간의 상관관계 분석에서는 전문(full text)인 여성학분야 실험집단에 비해 초록 및 신문기사와 같이 단문(short text)으로 구성된 과학기술분야 및 일반사회 분야 실험집단에서 상관관계가 더 크게 나타 났다. Experiments were performed on three subsets of a Korean test collection in order to determine whether 2-Poisson model's Z value is a good measure for selecting subject words from a document to be indexed. It was found that subject word selection based on the Z value was effective for only one subset with short texts, i.e., the Science and Technology subset. Correlation analyses between 2-Poisson model's Z and TF.IDF weight for the three subsets showed that the correlation was relatively high for two test subsets with short texts, i.e., the Science and Technology subset and the Newspaper subset.

사용자 검색 질의 단어의 순서 및 단어간의 인접 관계에 기반한 검색 기법의 구현

소병철(Byung-Chul So),정진우(Jin-Woo Jung) 한국지능시스템학회 2011 한국지능시스템학회논문지 Vol.21 No.6

정보 검색은 다수 자료에서 사용자가 원하는 부분을 찾는 과정을 의미한다. 일반적으로 대규모 자료 집합의 관리를 위해서는 데이터베이스가 사용되는데 인터넷과 같은 복잡한 문서구조들이 공존하는 환경에서는 한 번에 사용자가 원하는 문서를 정확히 찾아내는 것이 어렵기 때문에, 문서에 순위를 부여하여 사용자에게 제시하는 방법이 일반적으로 많이 사용된다. 본 논문에서는 자료에 포함되어 있는 단어들을 단순히 검색하는 것 뿐만 아니라 단어들 간의 순서 및 인접성을 고려한 검색방법을 용어빈도-역문헌빈도 및 n-gram 기법을 응용하여 구현하였다. 그 결과 19,000개 이상의 다수 문서 집합에서 73%의 정확율로 보다 정확한 검색이 가능하게 되었다. Information retrieval is a method to search the needed data by users. Generally, when a user searches some data in the large scale data set like the internet, ranking-based search is widely used because it is not easy to find the exactly needed data at once. In this paper, we propose a novel ranking-based search method based on sequence and adjacency relationship of user query by the help of TF-IDF and n-gram. As a result, it was possible to find the needed data more accurately with 73% accuracy in more than 19,000 data set.

사용자 검색 질의 단어의 순서 및 단어간의 인접 관계에 기반한 검색 기법의 구현

소병철(Byung-Chul So),정진우(Jin-Woo Jung) 한국지능시스템학회 2011 한국지능시스템학회 학술발표 논문집 Vol.21 No.2