잠재 디리클레 할당 기법과 기계학습 알고리즘을 활용한 당뇨 합병증 예측 모델 개발 = Development of a Prediction Model for Diabetic Complications Using Latent Dirichlet Allocation and Machine Learning Algorithms|RISS 상세보기

다국어 초록 (Multilingual Abstract)

One of the widely used methods for documents embedding in text
mining study is “bag of words(BOW) approach. It composes term
frequency(TF) matrix, the cells of which are filled with the
appearance frequency value of a word in a document. It is a
problem that most cells of TF matrix contain the value 0. These
blank cells have very little influence on the calculation, though
each blank cell occupies 32 bits in memory spaces. This condition
can cause inefficiency.
Dimensionality reduction methods can play the role as the solution
to this problem. Dimensionality reduction method sustain the
number of rows while reducing the number of columns at the same
time, not distorting the properties of TF matrix.
This study adopts Latent Dirichlet Allocation(LDA) as the
dimensionality reduction method. According to LDA, a word
appears in a document, under the influence of β and θ, where β is
a parameter meaning the relation between a topic and a word. And
θ means the relation between a document and a topic.
Topic modeling is a reductive method estimating the approximate
value of βand θ through a statistical inference and EM algorithm.
Topic modeling produces γand Lβ. They are the approximate value
of θ and β.
γ can be regarded as a reduced matrix of TF matrix. So it can
play the role as the feature set of machine learning, instead of TF
matrix. γ matrix estimated from clinical notes is regarded as the
feature set for machine learning, in this study.
This study chose 11,767 patients who were diagnoses with diabetes
mellitus(DM)
in Seoul National University Hospital and visited
outpatients clinic regularly since year 2000. This study collected
404,426 progress notes of the patients with diabetes . These clinical
notes contain 40,641 kinds of words.
The complications of diabetes in which this study is interested are
diabetic retinopathy(DMR), diabetic nephropathy(DMN), metabolic
dysfunction associated steatotic liver disease(MASLD), coronary
artery disease(CAD), and cerebrovascular accident(CVA). This study
chose positive cases and negative cases of each complication.
This study collected progress notes of these patients and diagnosis
records given to these patients. This study reorganized the data.
108
참고문헌
Progress notes of a patient were merged into a document., to make
a patient have only one document. More than 98% of cells in TF
matrices are filled with 0. Then performed topic modeling
producing γ matrix, and performed 10-fold cross validation
machine learning. Random Forest(RF), Gradient Boosting
Machine(GBM), and Extreme Gradient Boosting(XGB) were utilized as
the machine learning algorithm in this study.
The documents‘ numbers included in each dataset after the
reorganization are DMR 2,523, DMN 1,570, MASLD 642, CAD 1,073,
and CVA 928, respectively.
This study applied three kinds of machine learning algorithms
mentioned above to γ matrices produced by topic modeling to
predict whether the patient would be diagnosed with a particular
complication of diabetes. The best F1 scores of each predictions
are DMR 0.840(RF), DMN 0.867(GBM), MASLD 0.778(RF), CAD
0.761(GBM), CVA 0.763(XGB), respectively.
This study reached the conclusion that it is not only efficient but
effective to perform machine learning based on topic modeling with
clinical notes of DM patients to predict the diagnoses of DM
complications.
Key words:diabetes; LDA; machine learning

번역하기

국문 초록 (Abstract)

텍스트 마이닝의 문서 임베딩에서 널리 사용되는 방법 중 하나가 "단어가방(bag of
words, BOW)" 접근법이다. 이 방법은 문서에서 특정 단어가 등장한 빈도인
term frequency(TF) 값들로 각각의 셀들을 채우는 TF 행렬을 만든다. TF 행렬
의 대부분의 셀들이 0 값으로 채워져 있으며 이들 셀들은 연산 결과에 별다른 영향
을 끼치지도 못하면서 32비트씩의 메모리 공간을 점유하고 있다는 것이 문제이며,
이는 비효율을 야기할 수 있다.
차원 축소 기법은 이런 문제에 대한 해결책이 될 수 있다. 차원 축소 기법은 TF행
렬의 행 개수는 유지하면서 문서들의 고유 속성을 왜곡하지 않는 선에서 열 개수를
줄이는 방법이다. 이 연구는 차원축소 기법으로 잠재 디리클레 할당(latent
Dirichlet allocation, LDA) 혹은 토픽 모델링이라 불리는 방법을 사용한다.
LDA model에 의하면, 특정 단어가 문서 안에서 등장할 때에는 토픽과 단어간
관계를 의미하는 모수(parameter)인 β와, 문서와 토픽간 관계를 의미하는 모수인
θ의 영향을 받는다.
토픽 모델링은 Expectation Maximization(EM) 알고리즘과 통계적 유추를 통해
데이터로부터 of β의 근사치인 Lβ와 θ의 근사치인 γ를 유추해 내는 귀납적 방법
이다. 토픽 모델링은 γ와 Lβ를 산출해 낸다. γ는, V개(단어 가짓수)개의 열을 갖
는 TF 행렬이 K(토픽 개수)개의 열을 갖도록차원 축소된 행렬로 간주될 수 있다.
그러므로 γ는 TF행렬을 대신하여 기계학습의 특성 집합(feature set)으로 활용될
수 있다. 이 연구에서는 임상문서를 토픽 모델링하여 산출된 γ 행렬을 활용하여 기
계학습을 수행한다.
이 연구는 서울대병원에서 2000년도 이래 당뇨병 진단을 받고 지속적으로 외래진
료를 받은 11,767명의 환자들을 선택했다. 이들 환자들이 외래진료 받을 때 작성
된 경과기록지 404,426 건을 수집했는데 그 안에서 40,641가지 단어들이 등장했
다. 또한 이들 환자들에게 부여된 진단 기록들을 수집했다.
이 연구가 관심 두는 당뇨 합병증들은, 당뇨병성 망막증( diabetic retinopathy,
DMR), 당뇨병성 신병증(diabetic nephropathy, DMN), 대사이상 지방간질환
(metabolic dysfunction associated steatotic liver disease, MASLD), 관
상동맥질환(coronary artery disease, CAD), 뇌혈관 사고(cerebrovascular
accident, CVA) 등이다. 뇌혈관 사고는 종종 뇌졸중(stroke)으로도 불린다.
각각의 합병증에 대해 양성 환자들을 선택해 환자 1인당 한 개의 문서만 존재할 수
있도록 환자별 외래진료 기록들을 통합하는 재배치 작업을 수행하였다. 재배치 작업
후에 질병별 데이터셋들에 소속된 문서들의 개수는 DMR 2,523, DMN 1,570,
MASLD 642, CAD 1,073, CVA 928 등이다.
재배치 작업 후에 생성된 질병별 데이터셋으로 만든 TF 행렬들에서 98% 이상의
셀들이 0 값으로 채워져 있다. 그리고 토픽 모델링을 수행하여 질병별 γ 행렬을 만
들었다.
이들 γ 행렬들에 이 연구는 Random Forest(RF), Gradient Boosting
Machine(GBM), and Extreme Gradient Boosting(XGB) 세 가지 기계학습
알고리즘들을 적용해 특정 합병증 진단을 예측했다. 10- fold cross validation
을 수행해 평균 낸 예측 성과 F1 점수는 DMR 0.840(RF), DMN 0.867(GBM),
MASLD 0.778(RF), CAD 0.761(GBM), CVA 0.763(XGB) 등이다.
이 연구는 당뇨 환자들의 진료기록 문서를 토픽 모델링하여 기계학습을 수행해 당
뇨 합병증 진단을 예측하는 것은 효율적일 뿐 아니라 효과적이라는 결론에 도달했
다.
주요어: 당뇨병, LDA, 기계학습

번역하기

텍스트 마이닝의 문서 임베딩에서 널리 사용되는 방법 중 하나가 "단어가방(bag of words, BOW)" 접근법이다. 이 방법은 문서에서 특정 단어가 등장한 빈도인 term frequency(TF) 값들로 각각의 셀들...