Continuous blood pressure estimation during surgery via large language model-based multimodal fusion

다국어 초록 (Multilingual Abstract)

Background: Continuous blood pressure monitoring is vital for patient safety during surgery. However, clinicians face a dilemma: invasive methods carry risks, while noninvasive cuff measurements are intermittent and can miss dangerous periods of transient hypotension. This research investigates the use of a Large Language Model (LLM) to provide a novel solution for noninvasive, near real-time, and continuous mean arterial pressure (MAP) estimation.
Objective: The goal of this study was to develop a lightweight, parameter-efficient framework for continuous MAP estimation using noninvasive biosignals (ECG, PPG, CO₂). The core challenge was to effectively adapt a frozen, pre-trained LLM for a complex physiological time-series regression task, ensuring computational efficiency for potential real-time clinical use.
Methods: Using the large-scale intraoperative VitalDB dataset, we developed a model featuring a multi-scale 1D-CNN front-end that extracts relevant features from raw waveforms. This extractor employs learnable Sinc-Convolution filters and an attention mechanism to fuse multimodal signals. To bridge the domain gap between numerical data and the LLM, we implemented key techniques such as patch reprogramming and structured natural language prompting. The model was trained using a weighted Huber loss function to penalize errors more heavily in the clinically critical hypotensive range, thereby prioritizing patient safety.
Results: The final model, utilizing a LLaMA backbone, achieved a Mean Absolute Error (MAE) of 7.72 mmHg. Ablation studies confirmed that the specialized feature extractor and prompt-based guidance were crucial for this performance. While this accuracy does not yet meet the stringent AAMI standard for medical devices (mean error ≤ 5 mmHg), it is highly promising for application in clinical early warning systems and patient triage.
Conclusion: This study successfully demonstrates that a frozen LLM can be effectively adapted for accurate, continuous MAP estimation from noninvasive biosignals. The proposed framework offers a parameter-efficient pathway to broaden the application of continuous hemodynamic monitoring, potentially enabling earlier intervention for hypotension and improving surgical outcomes.

국문 초록 (Abstract)

배경: 수술 중 환자 안전을 위해 지속적인 혈압 모니터링이 필수적이다. 그러나 의료진은 여러 임상적 궁지에 직면한다: 침습적 방법은 위험을 수반하는 반면, 비침습적 커프 측정은 간헐적이며 위험한 일시적 저혈압 시기를 놓칠 수 있다. 본 연구는 대규모 언어 모델(LLM)을 활용하여 비침습적, 준실시간, 지속적인 평균동맥압(MAP) 추정을 위한 새로운 해결책을 제시한다.
목적: 본 연구의 목표는 비침습적 생체 신호(ECG, PPG, CO₂)를 활용한 연속적 MAP 추정을 위한 경량화되고 매개변수 효율적인 프레임워크를 개발하는 것이다. 핵심 과제는 복잡한 생리학적 시계열 회귀 작업에 동결된 사전 훈련된 LLM을 효과적으로 적용하여 잠재적 실시간 임상 적용을 위한 계산 효율성을 보장하는 것이다.
방법: 대규모 수술 중 VitalDB 데이터셋을 활용하여 원시 파형에서 관련 특징을 추출하는 다중 스케일 1D-CNN 기반 모델을 개발하였다. 이 추출기는 학습 가능한 Sinc-Convolution 필터와 어텐션 메커니즘을 사용하여 다중 모달 신호를 융합한다. 수치 데이터와 LLM 간의 도메인 간극을 해소하기 위해 패치 리프로그래밍 및 구조화된 자연어 프롬프팅과 같은 핵심 기법을 구현하였다. 모델은 가중치 허버 손실 함수를 사용하여 임상적으로 중요한 저혈압 범위에서 오류를 더 가중하여 처벌함으로써 환자 안전을 우선시하도록 훈련하였다.
결과: LLaMA 백본을 활용한 최종 모델은 평균 절대 오차(MAE) 7.72 mmHg를 달성했다. 비교 연구를 통해 특수화된 특징 추출기와 프롬프트 기반 지도가 이 성능에 핵심적임을 확인했다. 이 정확도는 의료 기기에 대한 엄격한 AAMI 기준(평균 오차 ≤ 5 mmHg)을 아직 충족하지 못하지만, 임상 조기 경보 시스템 및 환자 분류에 적용하기에 매우 유망하다.
결론: 본 연구는 동결된 대규모 언어 모델이 비침습적 생체 신호로부터 정확한 지속적 평균 동맥압 추정에 효과적으로 적용될 수 있음을 입증하였다. 제안된 프레임워크는 지속적 혈역학 모니터링의 적용 범위를 확장하는 매개변수 효율적인 경로를 제공하여 저혈압에 대한 조기 개입을 가능하게 하고 수술 결과를 개선할 잠재력을 지닌다.

목차 (Table of Contents)

• Chapter 1. INTRODUCTION. 1
• 1-1. Background of the Study. 1
• 1-2. Purpose of the Study 5
• Chapter 2. RELATED WORKS. 7
• 2-1. Large Language Models 7
• 2-2. Approaches for applying LLMs to time-series data 8
• 2-3. Deep learning for blood pressure prediction 12
• Chapter 3. METHODOLOGY. 15
• 3-1. Data Description 17
• 3-2. Statistical Description of the Study Population 18
• 3-3. Data Preprocessing 20
• 3-4. Bio-signal Extractor. 23
• 3-4-1. Multi-Scale 1D-CNN Feature Extractor. 25
• 3-4-2. Channel Fusion 28
• 3-5. Patching and Patch Reprogramming 29
• 3-6. Patient Text Information Prompt. 33
• 3-7. Pre-trained LLMs and Output projection. 35
• Chapter 4. EXPERIMENT SETTINGS. 38
• 4-1. Backbone LLM Comparison. 38
• 4-2. Feature Extractor Comparison. 39
• 4-3. Loss Function. 42
• 4-4. Learning Rate Scheduler 43
• 4-5. Model Parameters. 44
• 4-6. Hyperparameters. 47
• 4-7. Training Environment. 50
• Chapter 5. RESULT. 51
• 5-1. Evaluation Method 51
• 5-2. Backbone LLM Selection 52
• 5-3. Feature Extractor Selection 55
• Chapter 6. CONCLUSION 58
• 6-1. Key Findings 58
• 6-2. Clinical Implications. 59
• 6-3. Technical Implications 61
• 6-4. Limitations and Future Research Directions 62
• 6-5. Final Conclusions 65