A Lightweight and Clinically-Aware Metric for Automated Chest X-ray Report Evaluation = 경량화된 임상 맥락 기반 흉부 X선 판독 자동 평가 지표|RISS 상세보기

다국어 초록 (Multilingual Abstract)

Background: Automated chest X-ray report generation has advanced significantly with the emergence of vision–language models (VLMs), offering the potential to enhance clinical workflow efficiency. However, evaluating generated reports remains a fundamental challenge. Conventional metrics—whether lexical, semantic, or entity-based—often fail to capture clinical correctness, overlooking subtle yet critical errors in findings, anatomical locations, severity assessments, or temporal comparisons. Large language model (LLM)-based evaluators achieve stronger alignment with expert judgment but are computationally intensive and slow, limiting scalability in real-world clinical settings.
Purpose: This study introduces a lightweight, regression-based metric designed to provide rapid and interpretable evaluation of chest X-ray reports by explicitly modeling clinically meaningful error types.
Methods: The proposed metric processes a reference–candidate report pair using a compact, domain-specific BERT-based encoder and jointly predicts six fine-grained error categories, including false findings, omissions, mislocalizations, and incorrect statements of severity or comparison. A dual-head architecture simultaneously regresses error counts and detects the presence of each error type, mitigating class imbalance and improving count accuracy. Training was conducted on 32,000 synthetic report pairs derived from the publicly available MIMIC-CXR dataset. Candidate reports were generated using a specialized vision–language foundation model, and category-specific error annotations were obtained through structured comparisons with a commercial LLM under secure governance. Evaluation was performed on multiple radiologist-annotated benchmarks, including ReXVal—a dataset containing expert error counts across six predefined clinical categories—as well as ReFiSco-v0, RadEvalX, and RaTE-Eval.
Results: On ReXVal, the metric achieved a Kendall’s τ of 0.786 (95% CI: 0.749–0.816) and a Spearman’s ρ of 0.933 (95% CI: 0.907–0.949), significantly outperforming traditional metrics (p < 0.001) while showing no statistically significant difference from the computationally intensive GREEN error count metric (p > 0.05). On RadEvalX, it attained τ = 0.580 (95% CI: 0.477–0.669) and ρ = 0.745 (95% CI: 0.625–0.826), significantly surpassing the GREEN error count metric (p = 0.013), while reducing mean absolute error by 33% compared with the LLM-based metric on RaTE-Eval. Inference time averaged 9.53 ms per sample, approximately 280 times faster than GREEN (2,642 ms). Robustness testing under class-imbalance filtering (ReXVal*) showed minimal performance degradation (Δτ = –0.033).
Conclusions: A BERT-based multi-target regression approach can efficiently and accurately quantify fine-grained clinical errors in generated radiology reports. The method demonstrates performance with no statistically significant difference from, and in out-of-distribution scenarios superior to, state-of-the-art LLM-based metrics, while offering significantly higher computational efficiency. This makes it a practical and scalable alternative to direct LLM-based evaluation in medical AI workflows.

번역하기

국문 초록 (Abstract)

배경: 비전–언어 모델(VLM)의 등장으로 자동 흉부 X선 보고서 생성이 크게 발전하여 임상 워크플로의 효율성 향상이 기대되고 있다. 그러나 자동으로 생성된 보고서를 평가하는 것은 여전히 근본적인 과제로 남아 있다. 어휘 기반, 의미 기반, 엔티티 기반을 막론한 기존 평가지표는 임상적 정확성을 충분히 반영하지 못하며, 소견 자체의 오류, 해부학적 위치 오류, 중증도 판단 오류, 시계열 비교 오류와 같이 미세하지만 중요한 문제들을 간과하는 경우가 많다. 대규모 언어모델(LLM) 기반 평가 파이프라인은 전문가 판단과의 일치도가 높지만 연산 비용이 크고 속도가 느려 실제 임상 환경에서의 대규모 적용에 한계가 있다.
목적: 본 연구는 임상적으로 의미 있는 오류 유형을 명시적으로 모델링하여, 흉부 X선 보고서를 빠르고 해석 가능하게 평가하는 회귀 기반 경량 평가 지표를 제안한다.
방법: 제안하는 지표는 기준 보고서와 후보 보고서 쌍을 도메인 특화 BERT 기반의 경량 인코더로 처리한 이후, 거짓 소견, 누락, 오위치, 중증도 오류, 비교 오류 등 여섯 가지 세분화된 오류 범주를 공동으로 예측한다. 이중 헤드 구조를 사용하여 각 범주의 오류 개수를 예측하고, 동시에 각 오류 유형의 존재 여부를 탐지함으로써 클래스 불균형을 완화하고 개수 예측의 정확도를 높였다. 학습은 공개 MIMIC-CXR 데이터셋에서 파생한 32,000쌍의 합성 보고서로 수행하였다. 후보 보고서는 흉부 X선 영상에 특화된 비전–언어 파운데이션 모델로 생성하였고, 범주별 오류 주석은 상용 LLM과의 구조화된 비교 절차를 통해 보안 거버넌스 하에서 획득하였다. 평가는 방사선과 전문의가 주석한 다수의 공개 벤치마크에서 수행했으며, 여섯 개의 사전 정의된 임상 범주별 전문가 오류 개수를 포함하는 ReXVal을 비롯해 ReFiSco-v0, RadEvalX, RaTE-Eval을 사용하였다.
결과: ReXVal에서 켄달의 타우 상관계수는 0.786(95% 신뢰구간 0.749–0.816), 스피어만의 로우 상관계수는 0.933(95% 신뢰구간 0.907–0.949)으로, 기존 지표들을 통계적으로 유의미하게(p < 0.001) 상회하였으며, 연산 비용이 높은 GREEN Error count 지표와 통계적으로 유의미한 차이가 관찰되지 않았다 (p > 0.05). RadEvalX 에서는 타우 값 0.580(95% 신뢰구간 0.477–0.669), 로우 값 0.745(95% 신뢰구간 0.625–0.826)를 기록하며 GREEN Error count 지표를 유의미하게(p = 0.013) 앞섰고, RaTE-Eval에서는 LLM 기반 GREEN Error count 지표 대비 평균 절대 오차를 33% 감소시켰다. 추론 시간은 샘플 당 평균 9.53 ms로 GREEN(2,642 ms) 대비 약 280배 빨랐다. 클래스 불균형 필터링 데이터셋(ReXVal*)에서도 성능 저하는 최소를 달성하였으며 켄달의 타우 상관계수 변화 값은 −0.033 이었다.
결론: BERT 기반 다중 타깃 회귀 접근법은 생성된 흉부 X선 영상 보고서의 미세한 임상 오류를 효율적이면서 정확하게 정량화할 수 있다. 본 방법은 최신 LLM 기반 지표와 통계적으로 유의미한 차이를 보이지 않거나, 외부 데이터셋(OOD) 환경에서 더 우수한 성능을 입증하였으며, 동시에 획기적으로 높은 연산 효율성을 제공한다. 이는 의료 AI 워크플로에서 직접 LLM 기반 평가를 대체할 수 있는 실용적이고 확장 가능한 대안이 됨을 시사한다.

번역하기

배경: 비전–언어 모델(VLM)의 등장으로 자동 흉부 X선 보고서 생성이 크게 발전하여 임상 워크플로의 효율성 향상이 기대되고 있다. 그러나 자동으로 생성된 보고서를 평가하는 것은 여전히 ...

목차 (Table of Contents)