분자 특성 예측을 위한 In-Context Learning: Shot 선택 전략의 중요성 = In-Context Learning for Molecular Property Prediction : The Role of Shot Selection Strategies

국문 초록 (Abstract)

신약 개발 초기 단계의 고질적인 데이터 희소성(Cold Start) 문제는 딥러닝 모델의 현장 적용을 가로막는 주요 장벽이다. 이에 별도의 학습 없이 소수의 예제(Shot)만으로 새로운 과업에 적응하는 거대 언어 모델(Large Language Model; LLM) 기반의 In-Context Learning (ICL)이 유력한 대안으로 부상하고 있다. 그러나 기존의 단순 유사도 기반(Instance-level) 샷 선택 전략은 구조적으로 유사한 분자가 활성이 반대인 활성 절벽(Activity Cliff) 현상을 간과하며, 파편화된 문맥으로 인해 모델의 추론 성능을 저해한다는 한계가 있다. 본 연구에서는 이를 해결하기 위해 Pool-Clustering이라는 새로운 Set-level 샷 선택 프레임워크를 제안한다. 제안 방법은 전체 탐색 공간을 분자 골격(Scaffold) 기준으로 사전 군집화하고, 희소한 스캐폴드를 병합하여 구조적 문맥을 보존한 뒤, 질의(Query)와 연관된 클러스터 전체를 샷 집합으로 제공한다. 이는 LLM에게 동일 골격 내 구조적 변형에 따른 활성 변화의 인과 관계를 맥락적으로 학습시킨다. MoleculeNet 벤치마크의 분류 데이터셋(BACE, BBBP)에 대한 실험 결과, 제안 방법은 기존 학습 가능한 모델들과 대등한 경쟁력을 보였다. 특히, 기존 전략인 Top-k가 취약했던 활성 절벽 구간(Hard Case)에서 성능 하락을 효과적으로 억제하며 우수한 강건성과 추론 효율성을 입증하였다.

다국어 초록 (Multilingual Abstract)

Data sparsity, or the Cold Start problem, significantly hinders the application of deep learning in early-stage drug discovery. While LLM (Large Language Model)-based In-Context Learning (ICL) offers a training-free alternative, existing instance-level selection strategies fail to address "Activity Cliffs" and suffer from context fragmentation. To overcome this, we propose Pool-Clustering, a novel Set-leve} shot selection framework. By pre-clustering the search space (Pool) based on molecular scaffolds and retrieving entire clusters as context, our method enables LLMs to learn the causal relationship between structural variations and biological activity. Experiments on MoleculeNet (BACE, BBBP) demonstrate that our approach achieves performance comparable to supervised models and exhibits superior robustness in hard cases involving activity cliffs.

목차 (Table of Contents)

• 1 서론 1
• 1.1 연구 배경: Cold Start 문제와 ICL의 부상 1
• 1.2 문제 정의: 기존 샷 선택 전략의 한계 1
• 1.3 제안 방법 및 기여 2
• 2 관련 연구 4
• 2.1 LLM 기반 분자 표현 및 학습 모델 4
• 2.2 ICL과 샷 선택 전략의 진화 4
• 2.3 분자 도메인 특화 ICL의 필요성 5
• 3 배경 지식 6
• 3.1 분자 표현 및 유사도 6
• 3.1.1 분자 지문(Molecular Fingerprint) 6
• 3.1.2 MolT5 임베딩 7
• 3.2 구조적 Scaffold의 정의 7
• 3.3 데이터셋 특징과 활성 절벽 8
• 3.3.1 BACE 8
• 3.3.2 BBBP 8
• 3.3.3 활성 절벽 9
• 4 제안 방법: Pool-Clustering 10
• 4.1 문제 정의 10
• 4.1.1 C1: 활성 절벽으로 인한 의미론적 불일치(Semantic Gap) 10
• 4.1.2 C2: 멱법칙 분포로 인한 구조적 희소성(Structural Sparsity) 10
• 4.1.3 접근 방법: Pool-Clustering 11
• 4.2 구조적 맥락 확보(C1 해결) 12
• 4.3 Singleton 병합(C2 해결) 12
• 4.4 동적 샷 검색 및 확장 13
• 4.4.1 Step 1: 앵커 클러스터 식별 13
• 4.4.2 Step 2: 근접 클러스터 확장 13
• 4.4.3 Step 3: 클러스터 내 샘플링 14
• 4.5 구현 상세 14
• 4.6 프롬프트 디자인 14
• 5 실험 설정 및 결과 17
• 5.1 실험 설정 17
• 5.1.1 데이터셋 및 분할 17
• 5.1.2 Baselines 17
• 5.1.3 하이퍼파라미터 및 구현 상세 18
• 5.1.4 예측 불확실성 정량화 지표 18
• 5.2 실험 결과 19
• 5.2.1 전반적 성능 평가 19
• 5.3 비교 실험(Ablation Study) 20
• 5.3.1 지시문 유형의 영향 20
• 5.3.2 샷 수(K) 및 Pool-Clustering의 효율성 21
• 5.3.3 임베딩 유형의 영향 22
• 5.4 심층 분석 23
• 5.4.1 활성 절벽에서의 강건성 분석 23
• 5.4.2 정보 이득 및 문맥 효율성 분석 24
• 6 고찰 및 향후 연구 26
• 6.1 연구 결과에 대한 고찰 26
• 6.1.1 유사도와 문맥의 질적 차이 26
• 6.1.2 Set-level 접근의 효용성 26
• 6.2 한계점 및 향후 연구 27
• 6.2.1 동적 클러스터 크기 조절 27
• 6.2.2 Singleton 병합 임계값의 최적화 27
• 6.2.3 데이터셋 확장 및 다양한 과업 적용 27
• 6.2.3 PC-sim의 일반 성능 고도화 28
• 7 결론 29
• References 30
• Abstract 33