Transformer 기반 이중 인코더 모델을 활용한 약물-표적 상호작용 이진 분류 연구 : 모델을 활용하여 신약 ↔ 단백질 활성도 예측 = A Binary Classification Study of Drug–Target Interactions Using a Transformer-Based Dual-Encoder Model

국문 초록 (Abstract)

이 논문은 약물-표적 상호작용(Drug-Target Interaction, DTI)을 예측하기 위한 새로운 딥러닝 모델을 제안한다. 신약 개발 과정에서 화학 물질 약물과 단백질 간의 결합 여부를 사전에 예측할 수 있다면, 막대한 시간과 비용을 절감할 수 있다. 따라서, DTI 예측은 바이오인포매틱스 및 제약 산업에서 매우 중요한 과제로 여겨진다.
기존 DTI 예측 연구에서는 주로 CNN 기반의 DeepDTA, 분자 그래프를 활용한 GraphDTA, Transformer 기반의 MolTrans 등의 모델들이 제안되었지만, 이들 모델은 시퀀스의 장기적 의존성 정보를 충분히 반영하지 못하거나, 사전 학습된 임베딩에 의존하는 경우가 많아 일반화에 한계가 있었다. [1, 4, 5, 6, 20].
이에 본 연구에서는 사전 학습 없이 순수한 원-핫 인코딩 데이터를 입력으로 사용하는 Transformer 기반 이중 인코더 모델을 설계하였다. 약물의 SMILES 시퀀스와 단백질의 아미노산 서열을 각각 One-hot Encoding한 후, 독립적인 Transformer Encoder를 적용하여 시퀀스 임베딩을 생성하고, 이를 Mean Pooling하여 약물과 단백질 각각의 벡터 표현을 생성한다. 이렇게 얻어진 두 벡터를 연결(concatenate)하여 다층 퍼셉트론(Multi-Layer Perceptron)에 입력하고, sigmoid 활성화 함수를 통해 상호작용 확률을 이진 분류 형태로 출력한다.
모델의 성능 평가는 DAVIS 데이터셋을 기반으로 수행되었다. 해당 데이터셋은 68개의 약물과 442개의 단백질 간의 결합 친화도K_d정보를 포함하며, 총 30,056개의 상호작용 쌍을 포함한다. 이 연구에서는 K_d<300nM을 기준으로 상호작용을 양성(1), 그 외는 음성(0)으로 라벨링하여 이진 분류 문제로 변환하였다.
학습은 200 epoch 동안 Adam 옵티마이저와 learning rate 0.0001로 수행되었으며, 평가 지표로는 AUROC, AUPRC, F1 Score, Log Loss를 사용하였다.
실험 결과, 제안한 모델은 테스트 세트 기준 AUROC 0.9352± 0.024, AUPRC 0.6947, F1 Score 0.6618, Log Loss 0.3537의 우수한 성능을 기록하였다.
이러한 결과는 기존 모델과 비교해 경쟁력 있는 수준이며, 복잡한 사전 임베딩 없이도 Transformer의 구조만으로도 높은 예측 정확도를 확보할 수 있음을 시사한다.
본 연구의 기여는 다음과 같다.
첫째, 사전학습 없이도 시퀀스 기반 Transformer 모델로 의미 있는 약물-단백질 관계를 학습할 수 있음을 보였다.
둘째, 약물과 단백질을 각각 인코딩하는 이중 인코더 구조를 통해 구조적 분리와 효율적 결합을 실현하였다.
셋째, 단순하고 확장 가능한 구조로 향후 다양한 생물학적 시퀀스 데이터와의 융합이 용이하다.
결론적으로, 본 논문에서 제안한 Transformer 기반 이중 인코더 모델은 DTI 예측의 정확도와 효율성을 크게 향상시킬 수 있는 가능성을 제시하며, 신약 개발 초기 단계에서 후보 물질을 선별하고 필터링하는 데 유용한 도구로 활용될 수 있다.

다국어 초록 (Multilingual Abstract)

This paper proposes a novel deep learning approach for predicting drug–target interactions (DTI) using a Transformer-based dual-encoder architecture. Early prediction of binding between small-molecule drugs and protein targets can dramatically reduce the time and cost of drug discovery, making DTI prediction a critical task in bioinformatics and the pharmaceutical industry. Prior DTI models—such as CNN-based DeepDTA, graph-based GraphDTA, and Transformer-based MolTrans—struggle to fully capture long-term dependencies in sequences or rely heavily on pre-trained embeddings, limiting their generalization [1, 4, 5, 6, 20].
To address these issues, we design a dual-encoder Transformer that operates purely on one-hot encoded SMILES strings of compounds and amino-acid sequences of proteins without any pre-training. Each modality is independently processed by its own Transformer encoder to produce sequence embeddings, which are mean-pooled into fixed-length vectors. The two vectors are concatenated and fed into a multilayer perceptron (MLP) with a sigmoid activation to output the probability of interaction in a binary classification framework.
We evaluate our model on the DAVIS dataset, which comprises binding affinity (K_d) measurements for 68 drugs and 442 proteins across 30,056 interaction pairs. We binarize the continuous affinity values using a threshold of 300 nM (K_d < 300 nM → positive; otherwise negative) to form a classification task. The model is trained for 200 epochs using the Adam optimizer with a learning rate of 0.0001. We assess performance using AUROC, AUPRC, F1 score, and log loss.
On the held-out test set, the proposed model achieves an AUROC of 0.9352 ± 0.024, an AUPRC of 0.6947, an F1 score of 0.6618, and a log loss of 0.3537, demonstrating competitive performance against existing methods without complex pre-training.
The main contributions of this work are:
1. Demonstrating that a pure one-hot, sequence-based Transformer can learn meaningful drug–protein interactions without pre-training.
2. Realizing structural separation and efficient fusion of modalities via an independent dual-encoder design.
3. Providing a simple, scalable architecture that can be readily extended to other biological sequence data.
In conclusion, our Transformer-based dual-encoder offers a highly accurate and efficient tool for early-stage DTI screening, enabling rapid selection and prioritization of candidate compounds in drug development.

목차 (Table of Contents)

• 제1장 연구 배경 및 필요성 1
• 제1절 연구 배경 1
• 제2절 DTI연구의 필요성 1
• 제3절 딥러닝 기반 DTI 예측의 발전과 한계 2
• 제4절 본 연구의 필요성 및 차별성 2
• 제2장 기존 연구 소개 3
• 제1절 DeepDTA (Öztürk et al., 2018) 3
• 제2절 GraphDTA(Nguyen et al., 2021) 5
• 제3절 MolTrans(Huang et al., 2021) 7
• 제3장 기존 연구 한계점 9
• 제1절 DeepDTA의 한계와 본 연구의 대응 9
• 제2절 GraphDTA의 한계와 본 연구의 대응 11
• 제3절 MolTrans의 한계와 본 연구의 대응 12
• 제4장 본 연구와 기존 연구의 차별성 및 기여점 13
• 제1절 장기적 의존성(long-term dependency) 문제의 효과적인 극복 13
• 제2절 데이터 전처리의 간결성과 모델 구조의 효율성 향상 15
• 제3절 이진 분류 접근법을 통한 모델 안정성과 해석성 강화 16
• 제4절 본 연구 모델의 기여점 종합 18
• 제5장 Dataset 19
• 제1절 DAVIS 데이터셋의 개요 및 선정 배경 19
• 제2절 DAVIS 데이터셋의 상세 구성 19
• 제3절 DAVIS 데이터셋 사용의 장점 및 기여점 21
• 제4절 기존 연구와의 차별성 분석 22
• 제5절 DAVIS Dataset 23
• 제6절 Sequence Representation 24
• 제7절 300임계값 선택의 타당성 24
• 제8절 이진 분류 문제 단순화의 타당성 25
• 제6장 Method 26
• 제1절 Overall Architecture 26
• 제2절 Transformer Encoder 26
• 제3절 Classifier 27
• 제7장 실험 및 결과 27
• 제1절 학습 설정 27
• 제2절 평가 지표 33
• 제3절 결과 34
• 제8장 시사점, 기여, 기대효과 35
• 제1절 시사점 35
• 제2절 기여 35
• 제3절 기대효과 36
• 제4절 기존 연구와의 장점 및 한계점 종합 비교 37
• 제5절 결론 39
• 참 고 문 헌 41
• Abstract 44