Deep learning-based diagnostic model for advanced hip diseases on plain radiographs = 딥러닝 기반 알고리즘을 활용한 진행된 고관절 병변의 진단 모델 개발|RISS 상세보기

다국어 초록 (Multilingual Abstract)

Background and Purpose
Hip joint disorders are common causes of pain and functional impairment, often requiring early detection and precise diagnosis to guide clinical management. While plain radiographs are typically used as the first-line diagnostic test in most clinical settings, their diagnostic accuracy is limited, especially in differentiating between various pathologies. While advanced imaging modalities such as CT and MRI offer higher diagnostic accuracy for hip pathologies, their use is often limited in clinical practice due to factors such as cost, time consumption, limited accessibility, and, in the case of CT, radiation exposure. With the advancement of deep learning, there is increasing interest in artificial intelligence (AI)-based tools that can augment radiographic interpretation.
Therefore, the aim of this study was to develop a deep learning–based screening model to detect the presence of advanced hip pathology using plain radiographs, and subsequently to construct a multi-class diagnostic model based on this framework. The study also sought to evaluate the clinical applicability and generalizability of the models through external validation.

Methods
This study was a two-stage retrospective deep learning study conducted using electronic medical records (EMRs) and plain hip radiographs in DICOM format. In the first stage, a binary classification screening model was developed to distinguish between normal and patients with hip pathology using anteroposterior (AP) hip radiographs collected from Seoul National University Hospital and Seoul National University Bundang Hospital between 2004 and 2012. Ground truth labels were assigned based on radiographic interpretation, surgical history, clinical diagnosis, and pathological confirmation. The model was trained using a convolutional neural network (CNN) based on the EfficientNet-B3 architecture, and externally validated using an independent test set. In the second stage, a multi-class diagnostic model was developed to classify hip radiographs into seven categories: primary osteoarthritis (OA), secondary OA, inflammatory arthritis (IA), osteonecrosis of the femoral head (ONFH), hip fracture, bone tumors, and normal. The CNNs based on EfficientNet-B3 and ConvNeXt architectures (Small, Base, and Large variants) were used to construct the model. A feature fusion approach was implemented by embedding age and sex information and integrating it with image-based features. Model performance was evaluated using a 10% internal validation set and an external test set from a separate institution.
Performance metrics included accuracy, precision, recall, F1-score, top-2 accuracy, area under the receiver operating characteristic curve (AUC), confusion matrix, and Grad-CAM visualizations. Among these, AUC and F1-score were adopted as the primary indicators of overall classification performance, while Grad-CAM was used to interpret the model's attention to diagnostic features within the radiographs.

Results
The screening model developed in the first stage demonstrated high performance, achieving an AUC of 0.99 and an F1-score of 0.97 on the internal test set. External validation also confirmed its strong generalizability, with an AUC of 0.98 and an F1-score of 0.94. The model consistently maintained a sensitivity of 93% and a specificity of 96% in distinguishing between normal and abnormal cases.
The diagnostic model also demonstrated robust performance. Among the evaluated architectures, the ConvNeXt-Large model with feature fusion—incorporating age and sex embeddings—achieved the highest performance on the internal test set (F1 score: 0.725; AUC: 0.952). Feature fusion models consistently outperformed image-only models across all architectures. On external validation, the ConvNeXt-Large model maintained strong performance (F1 score: 0.625; AUC: 0.921), while the EfficientNet-B3 fusion model also yielded favorable results (F1 score: 0.665; AUC: 0.920).
Analysis by disease category showed the highest AUC for hip fractures (0.986) and the lowest for tumors (0.878). Grad-CAM visualizations indicated that the model primarily attended to anatomically relevant regions such as the femoral head and joint space. Frequent misclassification patterns included confusion between primary and secondary OA, as well as between OA and ONFH, reflecting radiographic overlap in advanced disease stages.

Conclusion
This two-stage study demonstrates the feasibility and clinical relevance of deep learning models for the radiographic assessment of hip diseases. Starting from a high-performing screening tool and extending to a multi-class diagnostic framework, the models showed strong generalizability across institutions and patient populations. These findings suggest that AI-assisted interpretation of plain hip radiographs, even with minimal clinical information, may serve as a valuable adjunct in improving diagnostic accuracy and supporting timely decision-making in orthopedic care. Furthermore, by providing accurate results with minimal input, the proposed framework holds promise as a scalable solution in primary care settings and lays the groundwork for the broader application of AI in orthopedic diagnostics.

번역하기

국문 초록 (Abstract)

서론
고관절 질환은 다양한 연령층에서 통증과 기능장애를 유발하는 흔한 질환으로, 조기 진단과 적절한 치료 결정이 임상적으로 매우 중요하다. 일반적으로 고관절 방사선 사진은 가장 먼저 시행되는 영상 검사이지만, 다양한 질환을 정확히 감별하는 데에는 한계가 있다. 한편, CT나 MRI와 같은 고급 영상 장비는 고관절 질환의 진단 정확도는 높으나 비용, 시간, 접근성, 방사선 조사량 등의 측면에서 제약이 있어, 임상 현장에서 널리 활용되는 단순 방사선 영상을 활용한 효과적인 진단 도구의 개발이 필요하다. 최근 딥러닝 기술의 발전과 함께 방사선 영상을 기반으로 한 인공지능(AI) 보조 진단 도구에 대한 관심이 증가하고 있다. 따라서 본 연구의 목적은, 단순 방사선 영상을 기반으로 고관절 질환의 존재 여부를 선별하는 딥러닝 기반의 스크리닝 모델을 개발하고, 더 나아가 이를 바탕으로 다범주 분류가 가능한 진단 모델을 구축 및 외부검증하여 임상 적용 가능성과 일반화 성능을 평가하는데 있다.

연구방법
본 연구는 2단계로 구성된 후향적 딥러닝 연구로, 전자의무기록(EMR)과 고관절 단순 방사선 영상(DICOM)을 기반으로 수행되었다. 1단계에서는 2004년부터 2012년까지 서울대학교병원 및 분당서울대학교병원에서 수집된 고관절 전후면(AP) 방사선 사진을 활용하여 정상군과 이상군(고관절 질환 보유군)을 구분하는 이진 분류(binary classification) 기반 스크리닝 모델을 개발하였다. 정답 라벨은 영상 판독 결과 및 수술 이력, 진단명, 병리 결과 등을 기반으로 설정하였으며, 모델은 EfficientNet-B3 기반의 합성곱신경망(CNN)을 사용하여 학습되었고, 외부 검증을 위해 기관 간 분리된 독립 테스트 세트를 활용하였다.
2단계에서는 고관절 질환을 다범주(multi-class)로 분류하는 진단 모델을 개발하였다. 분류된 질환은 일차성 골관절염(primary OA), 이차성 골관절염(secondary OA), 염증성 관절염(IA), 대퇴골두 무혈성 괴사(ONFH), 고관절 골절, 종양, 그리고 정상군으로 총 7개 범주였다. 모델 구조로는 EfficientNet-B3 및 ConvNeXt 계열(Small, Base, Large)의 CNN이 사용되었고, 나이와 성별 정보는 각각 embedding 벡터로 변환하여 영상 feature와 결합(feature fusion)하는 구조로 구현되었으며, 내부 검증셋(10%)과 외부 병원 테스트셋을 통해 성능을 평가하였다.
모델 평가지표로는 정확도(accuracy), 정밀도(precision), 재현율(recall), F1 점수, Top-2 accuracy, AUC(area under the ROC curve), 혼동행렬(confusion matrix), 그리고 Grad-CAM 기반 시각화가 사용되었다. AUC 및 F1 score는 전체 분류 정확도를 대표하는 주요 지표로 사용되었으며, Grad-CAM은 모델의 판별 근거 영역을 시각적으로 해석하는 데 활용되었다.

연구결과
1단계로 개발된 스크리닝 모델은 내부 테스트셋에서 AUC 0.99, F1 점수 0.97의 매우 높은 성능을 보였으며, 외부 검증에서도 AUC 0.98, F1 점수 0.94로 강한 일반화 능력을 입증하였다. 모델은 정상과 질환 보유군 간의 구분에 있어 일관된 민감도(93%) 및 특이도(96%)를 유지하였다.
2단계 진단 모델에서는 EfficientNet-B3와 ConvNeXt 계열 모델 간 성능을 비교하였으며, feature fusion 기법을 적용한 ConvNeXt-Large 모델이 내부 검증에서 가장 우수한 성능(F1 점수 0.725, AUC 0.952)을 나타냈다. 특히 연령 및 성별 정보를 포함한 feature fusion 모델들은 이미지 기반 모델 대비 전반적으로 높은 분류 정확도를 보였다. 외부 테스트셋에서도 ConvNeXt-Large 모델은 F1 점수 0.625, AUC 0.921로 강건한 성능을 유지하였으며, EfficientNet-B3 feature fusion 모델 역시 F1 점수 0.665, AUC 0.920으로 우수한 결과를 보였다.
질환별 AUC 분석에서는 고관절 골절에서 가장 높은 분류 정확도(AUC 0.986)를 보였고, 종양에서는 가장 낮은 정확도(AUC 0.878)를 기록하였다. Grad-CAM 시각화 결과, 모델은 대부분의 경우 대퇴골두 및 관절 간격 등 진단에 핵심적인 해부학적 영역에 주목하였다. 주요 오분류 패턴으로는 일차성 골관절염과 이차성 골관절염, 골관절염과 골괴사 간의 혼돈 경향이 관찰되었다.

결론
본 연구는 단순 방사선 영상을 기반으로 고관절 질환을 1단계 스크리닝에서부터 2단계 다범주 진단까지 수행할 수 있는 딥러닝 프레임워크를 제시하였으며, 외부 데이터셋에서도 일관된 성능을 입증하였다. 최소한의 임상 정보만으로도 높은 정확도를 달성할 수 있는 본 모델은 실제 임상 환경에서 진단 보조 도구로서의 활용 가능성을 보여주며, 향후 정형외과 영역에서의 AI 적용 확대를 위한 기반을 제공한다. 이 선별 및 진단모델을 통하여 임상 현장에서 일선 의사들이 고관절 통증 환자에 대해 더 정확한 진단을 가능하게 해줄 것으로 예상한다.

번역하기

서론 고관절 질환은 다양한 연령층에서 통증과 기능장애를 유발하는 흔한 질환으로, 조기 진단과 적절한 치료 결정이 임상적으로 매우 중요하다. 일반적으로 고관절 방사선 사진은 가장 먼...