온라인 댓글의 주제 분석을 위한 토픽 모델링 : 이슈 포착과 분류에 활용 가능한 LDA와 BTM의 비교와 검증

이신행 한국언론학회 2023 한국언론학보 Vol.67 No.4

Using computers to rapidly and efficiently build a model to organize massive volumes of textual data, topic modeling is an unsupervised machine learning technique that can be used to classify texts into related themes or to analyze the nature and distribution of topics. However, topic modeling's usage in media research has recently come under fire for failing to take into account reliable and valid measures of theoretically defined concepts. This means that topic modeling needs methodological validation and reliability in order to be employed in media research as a tool for investigating and summarizing massive volumes of textual material. Additionally, it is helpful to be able to group online comments into "issues" and list their important points in order to quickly identify social issues and monitor discourse patterns in real-time on digital platforms. For this reason, attempts to diagnose the methodological validity of topic modeling for analyzing the topics of comments are of great significance. Therefore, this study validates topic modeling for analyzing online comments by verifying its performance as follows. First, we discussed why topic analysis of comments is necessary and what the implications are through the conceptualization of "issues" in the context of online comments. Then, with an emphasis on the Latent Dirichlet Allocation (LDA) model, we reviewed the principle of topic modeling to estimate the topic of text and the assumptions of statistical models that affect topic estimation. Additionally, we contrasted the merits and drawbacks of LDA and the Biterm Topic Model (BTM) to suggest topic modeling as a means of identifying the subject of comments and categorizing them as "issues." Based on the above theoretical discussion, we applied topic modeling to analyze 9,000 online news comments on articles covering nine social issues and validate whether the topics are useful to classify comments according to the "issues" of the news. The results are as follows. First, compared to BTM, LDA is highly dependent on the hyperparameter, , with lower values leading to better model performance. Second, both BTM and LDA were able to estimate the optimal number of topics (K ), but BTM showed less variation in performance with value selection than LDA, and performance degradation was worse when the value was lower than the optimal K than when it was higher. Third, both BTM and LDA performed better when adding bigrams along with unigrams to the vocabulary, but the difference was more pronounced for LDA. Based on these validation results, we assessed the validity of topic modeling for analysis of comments and discussed its implications. 토픽 모델링은 컴퓨터를 이용해 빠르고 쉽게 방대한 양의 정보를 구성하거나 파악하는 모델을 추정하는 비지도 기계학습 방법으로 문서를 비슷한 토픽별로 묶어내거나 토픽의 내용과 분포를 파악하고자 할 때 활용된다. 그런데 토픽 모델링을 미디어 연구에 활용함에 있어 이론적으로 정의된 개념을 타당하고 신뢰할 수 있는 측정하는 방법으로써의 고민이 부족했다는 지적이 최근 제기되고 있다. 대단위 텍스트 자료를 탐색하고 요약하는 도구인 토픽 모델링을 미디어 연구에 활용하기 위해서 방법적 타당성 검증과 신뢰성 확보가 필요하다는 것이다. 더욱이, 온라인 플랫폼을 통해 거대한 규모로 빠르게 발생하고 있는 댓글을 ‘이슈’에 따라 분류하고 그 주요 주제를 요약하는 방법은 사회적 쟁점을 즉각적으로 파악하고 담론 양상을 통시적으로 추적하는데 유용하다. 이러한 이유에서 댓글의 주제를 분석하기 위한 토픽 모델링의 방법적 타당성을 진단하는 시도는 그 의의가 크다고 할 수 있다. 이에 본 연구는 온라인 댓글의 주제 분석을 위한 토픽 모델링 방법을 제시하고 그 성능과 타당성을 다음과 같이 검증했다. 우선, 온라인 댓글의 맥락에서 다뤄지는 ‘이슈’에 대한 개념화를 통해 댓글의 주제 분석이 왜 필요하고 어떠한 함의가 있는 것인지에 대해 논의했다. 그리고 토픽 모델링이 텍스트의 주제를 추정하는 원리와 주제 추정에 영향을 미치는 통계 모델로써의 가정들에 대해 Latent Dirichlet Allocation(LDA) 모델을 중심으로 살펴봤다. 또한 댓글의 주제를 포착하고 ‘이슈’별로 분류하기 위한 토픽 모델링을 제안하고자 LDA와 Biterm Topic Model(BTM)의 성능과 한계를 비교했다. 이상의 이론적 논의를 토대로 9개의 사회적 이슈를 다루고 있는 기사에 달린 9,000건의 온라인 뉴스 댓글을 토픽 모델링으로 분석해 주제를 추정하고 이에 따라 댓글이 뉴스의 ‘이슈’에 따라 분류되는지를 모델별로 비교 검증했다. 그 결과는 다음과 같다. 첫째, BTM에 비해 LDA는 초모수 에 많은 영향을 받았는데 값이 낮아질수록 모델의 성능이 좋아졌다. 둘째, BTM과 LDA 모두 최적의 주제의 개수(K)를 추정할 수 있었으나, BTM이 K값 선정에 따른 성능 변화가 LDA보다 적었고 K값이 최적의 값보다 클 때보다 낮을 때 성능 저하가 심해졌다. 셋째, BTM과 LDA 모두 분석 단어 목록에 단일 형태소와 함께 바이그램(bigram)을 추가할 때 성능이 좋아졌으나 그 차이는 LDA에서 더욱 뚜렸했다. 이러한 검증 결과를 토대로 댓글의 주제 분석을 위한 토픽 모델링의 활용 가능성을 진단하고 그 함의를 논의했다.

구조적 토픽모델을 이용한 품질경영분야 연구동향 분석

박만희 한국서비스경영학회 2024 서비스경영학회지 Vol.25 No.1

본 연구는 구조적 토픽 모델을 이용하여 2013년부터 2022년까지 수행된 국내 품질경영 관련 연구의 연구 패턴과 연구 동향을 분석하였다. 수집된 논문 데이터를 바탕으로 구조적 토픽 모델과 회귀분석을 적용하여 연구 패턴과 연구 동향을 분석하고, 모듈화 알고리즘을 적용하여 토픽 네트워크의 커뮤니티를 분석하였다. 본 연구의 연구결과를 요약하면 다음과 같다. 첫째, 구조적 토픽 모델을 적용한 연구결과에 따르면 품질경영 분야의 연구동향은 20개 토픽을 구성하는 것으로 나타났다. 둘째, 프로세스 개선 토픽과 고객 만족도 토픽은 연구 비중이 감소하는 추세에 있는 cold topic으로 분석되었고, 데이터 분석 토픽과 예측 모델 토픽은 연구비중이 증가하는 추세에 있는 hot topic으로 분석되었다. 셋째, 토픽 네트워크에 대한 커뮤니티 분석결과에 따르면 연구동향을 구성하는 20개 토픽은 7개의 커뮤니티를 형성하는 것으로 나타났다. 본 연구는 연구자들에게 품질경영 분야 연구동향을 파악하고 연구방향을 탐색하여 추세를 예측하는데 도움을 제공할 것으로 기대된다. This study analyzed the research patterns and trends of domestic quality management-related research conducted from 2013 to 2022 using the structural topic model. Based on the collected paper data, we applied structural topic model and regression analysis to analyze research patterns and research trends, and applied a modularity algorithm to analyze the community of the topic network. The results of this study are summarized as follows. First, according to research results applying the structural topic model, research trends in the quality management field were found to consist of 20 topics. Second, the process improvement topic and customer satisfaction topic were analyzed as cold topics with a decreasing research proportion, while the data analysis topic and prediction model topic were analyzed as hot topics with an increasing research proportion. Third, according to the results of community analysis of the topic network, the 20 topics that make up the research trend were found to form 7 communities. This study is expected to provide researchers with help in predicting trends by identifying research trends and exploring research directions in the field of quality management.

LDA, Top2Vec, BERTopic 모형의 토픽모델링 비교 연구 - 국외 문헌정보학 분야를 중심으로 -

이용구,김선욱 한국문헌정보학회 2024 한국문헌정보학회지 Vol.58 No.1

The purpose of this study is to extract topics from experimental data using the topic modeling methods(LDA, Top2Vec, and BERTopic) and compare the characteristics and differences between these models. The experimental data consist of 55,442 papers published in 85 academic journals in the field of library and information science, which are indexed in the Web of Science(WoS). The experimental process was as follows: The first topic modeling results were obtained using the default parameters for each model, and the second topic modeling results were obtained by setting the same optimal number of topics for each model. In the first stage of topic modeling, LDA, Top2Vec, and BERTopic models generated significantly different numbers of topics(100, 350, and 550, respectively). Top2Vec and BERTopic models seemed to divide the topics approximately three to five times more finely than the LDA model. There were substantial differences among the models in terms of the average and standard deviation of documents per topic. The LDA model assigned many documents to a relatively small number of topics, while the BERTopic model showed the opposite trend. In the second stage of topic modeling, generating the same 25 topics for all models, the Top2Vec model tended to assign more documents on average per topic and showed small deviations between topics, resulting in even distribution of the 25 topics. When comparing the creation of similar topics between models, LDA and Top2Vec models generated 18 similar topics(72%) out of 25. This high percentage suggests that the Top2Vec model is more similar to the LDA model. For a more comprehensive comparison analysis, expert evaluation is necessary to determine whether the documents assigned to each topic in the topic modeling results are thematically accurate.

Word2Vec를 이용한 토픽모델링의 확장 및 분석사례

윤상훈 ( Yoon Sang Hun ),김근형 ( Kim Keun Hyung ) 한국정보시스템학회 2021 情報시스템硏究 Vol.30 No.1

Purpose The traditional topic modeling technique makes it difficult to distinguish the semantic of topics because the key words assigned to each topic would be also assigned to other topics. This problem could become severe when the number of online reviews are small. In this paper, the extended model of topic modeling technique that can be used for analyzing a small amount of online reviews is proposed. Design/methodology/approach The extended model of being proposed in this paper is a form that combines the traditional topic modeling technique and the Word2Vec technique. The extended model only allocates main words to the extracted topics, but also generates discriminatory words between topics. In particular, Word2vec technique is applied in the process of extracting related words semantically for each discriminatory word. In the extended model, main words and discriminatory words with similar words semantically are used in the process of semantic classification and naming of extracted topics, so that the semantic classification and naming of topics can be more clearly performed. For case study, online reviews related with Udo in Tripadvisor web site were analyzed by applying the traditional topic modeling and the proposed extension model. In the process of semantic classification and naming of the extracted topics, the traditional topic modeling technique and the extended model were compared. Findings Since the extended model is a concept that utilizes additional information in the existing topic modeling information, it can be confirmed that it is more effective than the existing topic modeling in semantic division between topics and the process of assigning topic names.

Employing Latent Dirichlet Allocation Model for Topic Extraction of Chinese Text

Qihua Liu 보안공학연구지원센터 2016 International Journal of Database Theory and Appli Vol.9 No.7

The hidden topic model of Chinese text, which possesses complicated semantics, is urgently needed, since China has occupied an increasingly significant role during the booming development of globalization over recent years. This paper details and elaborates the basic process of extracting latent Chinese topics by demonstrating a Chinese topic extraction schema based on Latent Dirichlet Allocation (LDA) model. Furthermore, the application was practiced in CCL, an authoritative Chinese corpus, to extract topics for its nine categories. With rigorous empirical analysis, extracting the LDA results has a considerably higher average precision rate as opposed to other three comparable Chinese topic extraction techniques; however the average recall rate is worse than KNN and almost the same with the PLSI model. Moreover, the recall rate and precision rate of LDA-CH is worse than LDA-EH. Therefore, the LDA model should be improved to adapt to the distinctive feature of Chinese words with the purpose of making it better for Chinese topic extraction.

Infinite Latent Topic Models for Document Analysis

Bong-Kee Sin(신봉기) Korean Institute of Information Scientists and Eng 2018 정보과학회논문지 Vol.45 No.7

Since the concept of the topic is highly abstract, the characterization of the topics of a text is not clearly defined. Depending on the problem’s context or needs, various levels of detail may be provided, which could make it difficult to automatically analyze documents. This paper presents infinite topic extensions to the well-known model of Latent Dirichlet Allocation (LDA) i.e., the infinite Latent Dirichlet Topic model and the infinite Latent Markov Topic model. The first model simply relaxes the constraint of fixed known number of topics in LDA using the method of the Dirichlet process. The second model further extends it by including Markov dynamics that captures the sequential evolution of topics in a text. Both models are theoretically rigorous and structurally flexible, as well as being capable of capturing document organizations at a desired level of topics. A set of experiments show interesting results and a more intuitive topic characterization and local stationarity properties than related models with Gibbs sampling and variational inferences.

베이지안 변경점 모형을 이용한 토픽의 변화 탐지

박서희,정여진,고민희 한국지능정보시스템학회 2024 지능정보연구 Vol.30 No.1

최근 다양한 매체에서 생성되는 대량의 텍스트 데이터의 양이 급격히 늘어나면서 사회, 경제, 문화 등 여러 도메인에서의 주제 변화 추이를 이해하는 것이 중요시되고 있다. 이에 따라 가장 보편적으로 사용되는 토픽모델링 기법인 Latent Dirichlet Allocation 방법을 확장하는 방식으로 토픽 발생확률의 변화를 모형에 반영하거나 주제의 진화과정을 Hidden Model로 모형화하는 방법들이 제안되었다. 하지만 이러한 방법들은 변화 시점의 수를 연구자가 제어하기 까다롭고 토픽 변화에 영향을 미치는 다른 외부변수의 효과를 모형에 반영하기 어렵다. 이에 본 연구는 특정 주제의 등장빈도가 급격히 변화하는 시점 뿐 아니라 외부 변수와의 관계가 급격히 변화하는 양상을 탐지하고 해당 시점 전후의 관계를 탐색하기 위한 모델링 프레임워크를 제안한다. 제안 프레임워크에서는 Latent Dirichlet Allocation 기법으로 생성된 주제의 빈도에 대해 Bayesian change point model을 적용하고 베이지안 모형 비교 방법에 따라 최적의 변화점 개수를 판단한다. 본 방법론은 베이지안 모형의 유연함을 통해 효과적으로 주제 변화를 감지할 수 있고 외부 변수와의 관계 변화를 해석하는데 용이 하다. 제안된 방법론을 1948년부터 2022년까지의 국회 본 회의록 데이터에 적용하여 특정 분야의 주제 변화가 급격화 되는 시점을 발견하고 해당 변화의 원인을 추론하였다. 또한, 공변량으로 숙의 민주주의 지수를 모형에 포함하여 민주주의의 성숙 정도와 여성 관련 논제가 나타나는 빈도 간의 관계를 살펴보았다. 본 연구의 결과가 다양한 분야에서의 주제 변화 및 관련 변수 변화 분석에 활용될 수 있음을 시사하며, 연구의 한계와 향후 연구 방향에 대해서 논의하였다. As the quantity of massive text data generated across various mediums has surged, the significance of comprehending the trends in topic evolution within domains such as society, economy, and culture has grown prominently. Consequently, techniques have been introduced to extend the prevalent topic modeling approach, Latent Dirichlet Allocation, to capture the changing probabilities of topic occurrences or model the evolution of topics using hidden Markov models. However, these approaches often present challenges in controlling the number of change points and incorporating the effects of external variables influencing topic transitions. In response, this study proposes a modeling framework to detect instances of abrupt shifts not only in the frequency of specific topic occurrences but also in the relationships with external variables, and to explore the dynamics around these transition points. In this proposed framework, a Bayesian change point model is applied to the topic frequencies generated by the Latent Dirichlet Allocation, and the optimal number of change points is determined using Bayesian model comparison methods. Leveraging the flexibility of Bayesian modeling, this methodology effectively detects topic transitions and facilitates the interpretation of shifts in relationships with external variables. The introduced methodology is applied to parliamentary session transcript data spanning from 1948 to 2022, revealing instances where topic shifts within a specific field occurred abruptly and enabling the inference of underlying causes behind such shifts. Furthermore, the outcomes of this research suggest the applicability of the findings to the analysis of topic and related variable changes across diverse fields. The study not only underscores the practical implications but also deliberates on limitations and potential directions for future research.

Time Label Topic Model

YongHeng Chen,Wanli Zuo,kerui Chen,Yaojin lin 보안공학연구지원센터 2015 International Journal of Database Theory and Appli Vol.8 No.1

Most of the models not aware of these dependencies on document time stamps. Not modeling time can confound co-occurrence patters and results in exchangeability of topic problem, which is important factor to deal with when finding dynamic topic discovery. This limitation has thus motivated work on developing a generalized framework for incorporating time information into topic models. Consequently, a topic model named Topics over Time (TOT) is proposed, which introduces a time node in topic model to handle the exchangeability of topics problem. However it lacks the capability to accommodate data type of side information. In this paper, we present a generative time LDA-style topic model with a variety of side information named Time Label Topic(TLT), which can find not only how the latent low-dimensional structure of document-response pairs changes over time, but also overcome the exchangeability of topics problem. Empirical results demonstrate significant improvements accuracy of time stamp and response variable prediction, and lower perplexity of our proposed model and dominance over other models.

구조적 토픽 모델을 활용한 '일성록' 분석-정조대를 중심으로-

정성훈 근역한문학회 2023 한문학논집(漢文學論集) Vol.64 No.-

The purpose of this study is to macroscopically analyze the vocabulary and contents of <Ilseongrok> by using a topic model, one of the quantitative text analysis methods on Jeongjo(正祖)'s <Ilseongrok(日省錄)>. Based on this, it is intended to be helpful in the Korean translation of <Ilseongnok> of the periods of Heonjong(憲宗), Cheoljong(哲宗), Gojong(高宗), and Sunjong(純宗). <Ilseongnok(日省錄)> is both the diary of the kings of the Joseon Dynasty and the official records. It contains a total of 2,329 books (33 books of Yeongjo, 645 books of Jeongjo, 637 books of Sunjo, 199 books of Heonjong, 220 books of Cheoljong, 562 books of Gojong, and 33 books of Sunjong). This study analyzed only 645 books from the period of Jeongjo. As a result, the articles(目) of <Ilseongrok(日省錄)> in the period of Jeongjo is totally 74,226 articles, and we confirmed a total of 16,372,458 Chinese characters and a total of 9,853 types of Chinese characters were used in them. Looking at each year, <Ilseongrok(日省錄)> in the 19th year of Jeongjo(1795) contained the most 3,958 articles and 995,395 Chinese characters, and it was confirmed that the amount and content of <Ilseongnok(日省錄)> gradually became more abundant as time passed. In addition, the most frequent word used in <Ilseongrok(日省錄)> of Jeongjo was ‘敎’, appearing a total of 90,723 times. The word ‘予’ also appeared a lot, and it was ranked 6th in the ranking of words excluding grammatical morpheme(虛辭). It clearly show that <Ilseongrok(日省錄)> was a record of the king. According to the structural topic model(STM), <Ilseongrok(日省錄)> of Jeongjo is consist of 30 topics. In order to deduce the increase and decrease in the topics, we set 'time' as a covariate of analysis and estimated the topics’ increasing and decreasing trends. Topic10, Topic17, Topic22, Topic29, and Topic1 were the topics with the highest increase during the period of Jeongjo, but Topic16, Topic15, Topic13, Topic3, and Topic19 were topics with the high decrease. 본 연구의 목적은 정조대 <일성록(日省錄)>을 대상으로 계량적 텍스트 분석 방법 중의 하나인 토픽 모델(topic model)을 적용하여 <일성록>의 어휘와 내용 등을 거시적으로 분석하여 주제(topic)를 탐구하고, 이를 토대로 향후 헌종, 철종, 고종, 순종 시기의 <일성록> 국문 번역에 도움이 되고자 하는 것이다. <일성록(日省錄)>은 조선시대 왕의 일기이자 국가의 공식 기록물로서, 총 2,329책(영조 33책, 정조 645책, 순조 637책, 헌종 199책, 철종 220책, 고종 562책, 순종 33책)으로 구성되어 있는데, 본 연구에서는 정조 시기의 645책만을 분석하였다. 분석 결과, 정조 시기에 작성된 <일성록>의 전체 기사는 총 74,226건이었고, 총 16,372,458개의 한자가 사용되었으며, 한자의 종류는 모두 9,853개였음을 확인하였다. 연도별로 살펴보면, 정조 19년(1795)의 <일성록>이 3,958건의 기사와 995,395개로 한자를 사용하여 가장 많이 작성되었으며, 시간이 흐름에 따라 <일성록>의 양과 내용이 점차 풍부해지고 있는 것을 확인할 수 있었다. 또한 정조 시기의 <일성록>에서 가장 자주 사용된 단어는 ‘敎’였으며 총 90,723번 나타났다. ‘予’라는 단어도 많이 나타났는데, 허사를 제외한 단어 순위에서 6순위를 차지하고 있어 <일성록>이 왕의 기록물이라는 것을 확연히 보여주었다. 구조적 토픽 모델 분석의 결과, 정조 시기의 <일성록>은 거시적으로 30개의 주제를 담고 있었다. 한편 주제들에 대한 관심의 증가와 감소를 도출하기 위해 주제에 대한 공변량으로 ‘시간’을 설정하여 주제들을 증감을 추정하였다. 정조 시기에 시간의 흐름에 따라 증가세가 높은 주제들은 주제10, 주제17, 주제22, 주제29, 주제1 순이었다. 주제10은 인물들에 관한 이야기로서, 정조 초기에 비해 정조 후기에 인물들에 대한 언급이 높아졌음을 알 수 있으며, 주제17은 활쏘기에 대한 주제로, 역시 정조 후기로 가면서 정조의 활쏘기에 대한 사랑을 높아졌음을 알 수 있었다. 시간의 흐름에 따라 감소세가 높은 주제들은 주제16, 주제15, 주제13, 주제3, 주제19 등이 있었다. 주제16은 왕의 건강과 어명에 대한 내용들이며, 주제15는 죄인과 형벌에 관해 신하들과 의논하는 이야기들이다. 이러한 주제들은 시간이 지나감에 따라 출현 비율이 감소하였음을 확인하였다.

초등학교 통합교과 수업모형에 대한 비판적 고찰 -즐거운 생활을 중심으로-

박채형 ( Chaehyeong Park ),정광순 ( Kwangsoon Jeong ) 한국통합교육과정학회 2017 통합교육과정연구 Vol.11 No.3

본 연구는 다년간 통합교과를 가르쳐 온 두 교사의 다채로운 견해에 근거하여 2015 개정 교육과정에 따른 통합교과 교사용 지도서에 등장하는 주제학습모형과 표현놀이모형을 종전의 그것과 비교하는 가운데 교사 친화적으로 수정하고 보완하는 데에 목적을 두고 있다. 본 연구의 결과로 얻은 주제학습모형은 `주제 만나기`에서 시작하여 `주제 학습하기`를 거쳐서 `주제학습 마무리하기`로 이어지는 단계와 각 핵심적인 요소인 `소통`과 `조절` 및 `성찰`을 그대로 유지하고 있지만, 각각의 단계 속에 포함된 세부적인 활동은 현실성 있게 수정되었다. 여기에 비하여 즐거운 생활의 수업에 활용될 표현놀이모형은 전면적으로 수정되었다. 즉, 표현놀이모형은 표현활동모형과 놀이활동모형으로 양분되었으며, 그것을 이루는 단계 또한 교사들에게 익숙한 도입, 전개, 정리로 수정되었다. 물론, 각각의 단계 속에 포함된 세부적인 활동에 대해서도 현실성 있게 대대적인 수정이 가해졌다. 결론 부분에 제시되어 있는 주제학습모형과 표현활동모형 및 놀이활동모형이 연결된 복합모형은 이러한 수정과 보완의 최종적인 결과물이다. There are two kinds of model of instruction which are called `topic centered model` and `representation-play model` in the guidebooks for elementary of integrated school subjects of school teacher following 2015 revised national curriculum. The former is for developing unit of the school subjects and the latter is for teaching the contents of `Pleasure Life` in the process of the development. The purpose of this study is to modify the models of instruction more teacher-friendly. In the topic centered model modified by the study, the stages and cardinal elements of the model is not different from the original. That is to say, the model contains `encounter topic`, `learning topic`, and `finishing the learning` as stages, and `discussion`, `modification`, and `reflection` as cardinal elements. But, the detailed activities of it are modified practically based on the opinions of two teachers who attained the interview of this study. The representation-play model was modified completely by this study. First of all, the model was divided into `representation centered model` and `play centered model`, because representation and play are cardinal activities of Pleasure Life. The stages of the models are also modified as introduction, development, and finish. Of course, the detailed activities of each stages were modified totally with their opinions. As the result of this study, I suggested complex model combined topic centered model, representation centered model, and play centered model.