뇌파-텍스트 표현 학습 기반 멀티모달 모델 구축 및 일반화 성능 향상 방법 연구 : 대조학습 모달리티 간극 감소 기법 연구 = A Study on EEG-Text Multimodal model Construction based on Representation Learning and Enhancing Generalization Performance

국문 초록 (Abstract)

뇌전도(EEG) 데이터는 뇌-컴퓨터 인터페이스 연구의 핵심 도구이나, 기존 단일 모달리티 기반 모델들은 학습된 표현의 해석이 어렵고 텍스트 기반 질의나 검색과 같은 멀티모달 작업 수행에 한계가 있었다. 본 연구는 이러한 한계를 극복하기 위해 뇌파와 텍스트 데이터를 통합한 고성능 멀티모달 사전학습 모델을 제안한다. 제안하는 모델은 최신 자기지도학습 기반 EEG 인코더인 CBraMod와 의료 기록에 특화된 BERT 기반 텍스트 인코더인 ClinicalBERT를 기반으로 구축되었다. 두 인코더를 대조학습(contrastive learning) 방식으로 학습시켜 뇌파와 텍스트 간의 의미적 연결을 학습하였다. 대조학습에서 서로 다른 모달리티의 임베딩이 분리된 공간에 위치하는 모달리티 간 간극(modality gap) 현상이 EEG-텍스트 도메인에서도 나타남을 확인하였다. 이를 개선하기 위해 Maximum Mean Discrepancy(MMD) 손실과 Multi-Modal Uniformity(MMU) 손실을 결합한 새로운 손실 함수를 제안하였다. 실험은 TUAB, CHB-MIT, MUMTAZ-2016 등 다양한 EEG 데이터셋을 활용하여 수행되었다. TUAB 데이터셋을 이용한 대조학습 후, 다른 데이터셋에서의 전이학습 성능을 평가하였다. 제안된 손실 함수는 기존 대조학습 손실 함수를 사용하는 경우와 대비해 모달리티 간 간극을 29.4% 줄였다. 또한 alignment를 유지하면서도 uniformity를 크게 개선하였으며, 제로샷 추론 시 성별 분류에서 2.52%, 연령 분류에서 1.78%의 향상을 보였다. 또한 본 연구는 실제 의료 환경 적용을 위한 EEG 기반 유사 환자 보고서 검색 시스템을 제안하였다. 검색 실험 결과, 상위 1개 검색에서 약 70%의 보고서가 실제 환자와 3개 이상의 속성이 일치하였으며, 이는 모델이 여러 의학적 속성을 종합적으로 고려한 검색 결과를 제공하고 있음을 시사한다. 제안된 모델은 사전 학습된 파라미터를 고정한 상태에서도 다른 데이터셋의 분류 과제에서 실용적 수준의 성능을 보여, 다양한 EEG 관련 임상 진단 시스템에 활용될 수 있을 것으로 기대된다.

목차 (Table of Contents)

• 국문초록 i
• 목 차 iii
• 표 목 차 iv
• 그림목차 v
• 제 1장 서론 1
• 제 2장 제안하는 방법론 3
• 2.1. 사용한 데이터셋 및 전처리 3
• 2.2. 모델 아키텍처 4
• 2.3. 대조 학습 기반 모델 훈련 7
• 2.4. 제로샷 평가를 위한 프롬프트 튜닝 9
• 제 3장 실험 결과 11
• 3.1. 실험 파라미터 11
• 3.2. 학습된 표현에 대한 평가 12
• 3.3. 모달리티 간 간극 분석 16
• 3.4. EEG-텍스트 보고서 검색 20
• 제 4장 결론 23
• 참고문헌 25
• Abstract 28