BERTopic을 활용한 언론기사와 아파트 실거래가격지수의 관계분석 = The relationship analysis between media articles and the apartment transaction price index using BERTopic

국문 초록 (Abstract)

본 연구는 자연어 처리 기법 중 하나인 BERTopic을 활용하여 언론기사와 아파트 실거래가격지수의 관계를 파악하는 새로운 연구 방법을 제시하는 것이 목적이 있다.
연구를 위한 기초 데이터로 2012년부터 2022년까지 11년간 부동산 관련 언론기사 제목 647,313건을 수집하여 연구에 사용하였다. 그리고 한국부동산원에서 제공하는 아파트 실거래가격지수도 2012년부터 2022년까지의 데이터를 사용하였다. 이를 BERTopic으로 토픽을 추출하여 토픽을 구성하는 단어들을 파악하였다. 그리고 11년간 단어들의 월별 분포와 아파트 실거래가격지수 분포 간의 일치 정도를 쿨백-라이블러 발산으로 계산하여 특정 토픽 단어가 특정 대도시의 아파트 실거래가격지수와 어떤 관련이 있는지 파악하였다. 분석 결과 특정 토픽 단어와 아파트 실거래가격지수 간에는 유의미한 상관관계가 있음을 확인하였다. 특히, 특정 토픽 단어들이 월별 기사 빈도보다 아파트 실거래가격지수와 더 높은 관련성을 보였다.

다국어 초록 (Multilingual Abstract)

This study aims to propose a novel research method that utilizes BERTopic, a natural language processing technique, to analyze the relationship between news articles and apartment transaction price indices.
The dataset consists of 647,313 real estate-related news article titles collected over a period of 11 years, from 2012 to 2022. Additionally, the study incorporates apartment transaction price index data provided by the Korea Real Estate Board for the same period. Topics were extracted using BERTopic, and the key terms constituting each topic were identified. To assess the correlation between the monthly distribution of topic terms and the apartment transaction price indices, the Kullback-Leibler divergence was calculated. This method enabled the identification of how specific topic terms were associated with the apartment transaction price indices of major cities. The analysis revealed a significant correlation between specific topic terms and the apartment transaction price indices. Notably, certain topic terms exhibited a stronger association with the apartment transaction price indices than with the monthly article frequency.

참고문헌 (Reference)

1 McInnes, L., "Umap : Uniform manifold approximation and projection for dimension reduction"

2 고영수 ; 이수빈 ; 차민정 ; 김성덕 ; 이주희 ; 한지영 ; 송민, "Topic modeling insomnia social media corpus using BERTopic and building automatic deep learning classification model" 39 : 111-129, 2022

3 이상훈 ; 조장식 ; 강창완 ; 최승배, "Study on prediction for a film success using text mining" 26 : 1259-1269, 2015

4 Strang, G., "Linear algebra and learning from data" Wellesley-Cambridge Press 2019

5 Cai, X., "Chestxraybert : A pretrained language model for chest radiology report summarization" 25 : 845-855, 2021

6 Grootendorst, M., "BERTopic : Neural topic modeling with a class-based TF-IDF procedure"

7 Kim, S. J., "Analysis of AI education research trends in Korea using LDA, BERTopic" 772-774, 2023

8 Stewart, G., "An implementation of the HDBSCAN clustering algorithm" 12 : 2405-, 2022

9 Egger, R., "A topic modeling comparison between LDA, NMF, Top2Vec, and BERTopic to demystify twitter posts" 7 : 886498-, 2022

10 김세형 ; 윤태영 ; 강주영, "A study on the clustering of dispute types through judicial precedent analysis related to ‘Elderly’ based on BERTopic and social network analysis" 28 : 123-144, 2023

11 Oh, S. H., "A study on prediction of real estate price changing time points using news big data" Hoseo University 2022