LCD back light 구동을 위한 inverter transformer의 자기장 감소에 관한 연구

남정모 성균관대학교 일반대학원 2010 국내석사

본 논문은 LCD(Liquid crystal display)모니터의 저주파 자기장 저감을 위하여 LCD panel의 Inverter 회로를 분석하고 Transformer의 자기장 방사를 Modeling하여 효과적인 자기장 감소 방안을 제시한다. TFT-LCD는 비자발광 소자로써 화면을 display하기 위해서는 반드시 광원이 필요하며 LCD 모니터의 경우 대부분 냉음극관램프(Cold cathod fluorescent lamp, CCFL)를 광원으로 사용한다. 이 CCFL을 구동시키기 위해서는 Set에서 입력된 직류전압을 높은 교류전압으로 전환시킬 Inverter가 필요한데 Inverter는 직류를 교류로 변환시키는 공진회로와 전압을 상승시켜줄 변압기(Electric Transformer)로 구성된다. Transformer의 core에 감겨있는 1차 coil에 시간에 따라 변화되는 전류가 흐르면 core에는 마찬가지로 시간에 따라 변화되는 자기장이 발생되고, 2차 coil에는 전자기유도에 의한 유도기전력이 발생하여 권선비에 의한 전압상승이 이루어진다. 이 과정에서 core에는 강력한 자기장이 발생하게 되는데 본 논문에서는 이러한 자기장 발생 mechanism을 분석하고, 자기장의 방사 원리를 파악하여 Transformer의 극성변경에 의한 자기장 감소 방안을 제시한다. The low frequency magnetic fields from LCD panel can be serious problem for emission certification. Inverter transformer for LCD back light is a main factor of magnetic fields emission. Therefore we analyze transformer circuits in inverter and verify driving function. This paper describes a simulation results of magnetic fields path from transformer and suggests an effective design of transformer coils for reduction of magnetic fields.

Reducing Computational Complexity of Transformer Models with U-Net-based Embedding Marvin John Ignacio

IGNACIO MARVIN JOHN 세종대학교 대학원 2025 국내박사

Transformer-based models have become the foundation of modern artificial intel- ligence systems due to their expressive power and versatility in language, vision, and multimodal tasks. However, their widespread adoption remains limited by the high com- putational cost associated with training and deployment. This dissertation addresses the growing need for efficient model architectures by exploring a novel method to reduce the computational complexity of Transformer models through a U-Net-based embed- ding mechanism. We propose the U-Net Encapsulated Transformer (UET), an architectural framework that embeds Transformer modules within a hierarchical U-Net structure. By downsam- pling the token embeddings prior to self-attention, UET reduces the dimensionality of input representations, thereby minimizing the number of parameters and operations re- quired. This design enables efficient training from scratch, distinguishing it from most existing optimization methods that rely on post-hoc compression or pre-trained teacher models. UET is evaluated across three domains to demonstrate its cross-task generalizabil- ity. First, in multimodal sentiment analysis of internet memes, UET processes GPT- generated keyphrases and visual features to interpret nuanced emotional content with fewer resources. Second, in the sequential recommendation, UET constructs tempo- ral patterns in user behavior using a reinforcement learning framework, outperforming baselines on multiple datasets while preserving computational efficiency. Finally, UET is applied to language modeling, where it supports next-token prediction under reduced embedding dimensionality, offering a viable alternative to full-scale Transformers in low-resource environments. In addition to presenting this architectural solution, the dissertation integrates foun- dational concepts from the U-Net family of models. It reflects on the increasing im- portance of computational efficiency in user-facing applications. As multimodal and in- teractive AI systems become more prevalent, the demand for responsive and accessible models grows. UET responds to this demand by enabling practical, scalable deployment of Transformer-based systems without compromising depth or performance. This work contributes a general-purpose, resource-aware architecture for reducing the training and inference burden of Transformer models. Through theoretical motiva- tion and empirical validation, it offers a pathway toward more inclusive and sustainable AI development.

Transformer 기반 이중 인코더 모델을 활용한 약물-표적 상호작용 이진 분류 연구 : 모델을 활용하여 신약 ↔ 단백질 활성도 예측

김민찬 성균관대학교 정보통신대학원 2025 국내석사

이 논문은 약물-표적 상호작용(Drug-Target Interaction, DTI)을 예측하기 위한 새로운 딥러닝 모델을 제안한다. 신약 개발 과정에서 화학 물질 약물과 단백질 간의 결합 여부를 사전에 예측할 수 있다면, 막대한 시간과 비용을 절감할 수 있다. 따라서, DTI 예측은 바이오인포매틱스 및 제약 산업에서 매우 중요한 과제로 여겨진다. 기존 DTI 예측 연구에서는 주로 CNN 기반의 DeepDTA, 분자 그래프를 활용한 GraphDTA, Transformer 기반의 MolTrans 등의 모델들이 제안되었지만, 이들 모델은 시퀀스의 장기적 의존성 정보를 충분히 반영하지 못하거나, 사전 학습된 임베딩에 의존하는 경우가 많아 일반화에 한계가 있었다. [1, 4, 5, 6, 20]. 이에 본 연구에서는 사전 학습 없이 순수한 원-핫 인코딩 데이터를 입력으로 사용하는 Transformer 기반 이중 인코더 모델을 설계하였다. 약물의 SMILES 시퀀스와 단백질의 아미노산 서열을 각각 One-hot Encoding한 후, 독립적인 Transformer Encoder를 적용하여 시퀀스 임베딩을 생성하고, 이를 Mean Pooling하여 약물과 단백질 각각의 벡터 표현을 생성한다. 이렇게 얻어진 두 벡터를 연결(concatenate)하여 다층 퍼셉트론(Multi-Layer Perceptron)에 입력하고, sigmoid 활성화 함수를 통해 상호작용 확률을 이진 분류 형태로 출력한다. 모델의 성능 평가는 DAVIS 데이터셋을 기반으로 수행되었다. 해당 데이터셋은 68개의 약물과 442개의 단백질 간의 결합 친화도K_d정보를 포함하며, 총 30,056개의 상호작용 쌍을 포함한다. 이 연구에서는 K_d<300nM을 기준으로 상호작용을 양성(1), 그 외는 음성(0)으로 라벨링하여 이진 분류 문제로 변환하였다. 학습은 200 epoch 동안 Adam 옵티마이저와 learning rate 0.0001로 수행되었으며, 평가 지표로는 AUROC, AUPRC, F1 Score, Log Loss를 사용하였다. 실험 결과, 제안한 모델은 테스트 세트 기준 AUROC 0.9352± 0.024, AUPRC 0.6947, F1 Score 0.6618, Log Loss 0.3537의 우수한 성능을 기록하였다. 이러한 결과는 기존 모델과 비교해 경쟁력 있는 수준이며, 복잡한 사전 임베딩 없이도 Transformer의 구조만으로도 높은 예측 정확도를 확보할 수 있음을 시사한다. 본 연구의 기여는 다음과 같다. 첫째, 사전학습 없이도 시퀀스 기반 Transformer 모델로 의미 있는 약물-단백질 관계를 학습할 수 있음을 보였다. 둘째, 약물과 단백질을 각각 인코딩하는 이중 인코더 구조를 통해 구조적 분리와 효율적 결합을 실현하였다. 셋째, 단순하고 확장 가능한 구조로 향후 다양한 생물학적 시퀀스 데이터와의 융합이 용이하다. 결론적으로, 본 논문에서 제안한 Transformer 기반 이중 인코더 모델은 DTI 예측의 정확도와 효율성을 크게 향상시킬 수 있는 가능성을 제시하며, 신약 개발 초기 단계에서 후보 물질을 선별하고 필터링하는 데 유용한 도구로 활용될 수 있다. This paper proposes a novel deep learning approach for predicting drug–target interactions (DTI) using a Transformer-based dual-encoder architecture. Early prediction of binding between small-molecule drugs and protein targets can dramatically reduce the time and cost of drug discovery, making DTI prediction a critical task in bioinformatics and the pharmaceutical industry. Prior DTI models—such as CNN-based DeepDTA, graph-based GraphDTA, and Transformer-based MolTrans—struggle to fully capture long-term dependencies in sequences or rely heavily on pre-trained embeddings, limiting their generalization [1, 4, 5, 6, 20]. To address these issues, we design a dual-encoder Transformer that operates purely on one-hot encoded SMILES strings of compounds and amino-acid sequences of proteins without any pre-training. Each modality is independently processed by its own Transformer encoder to produce sequence embeddings, which are mean-pooled into fixed-length vectors. The two vectors are concatenated and fed into a multilayer perceptron (MLP) with a sigmoid activation to output the probability of interaction in a binary classification framework. We evaluate our model on the DAVIS dataset, which comprises binding affinity (K_d) measurements for 68 drugs and 442 proteins across 30,056 interaction pairs. We binarize the continuous affinity values using a threshold of 300 nM (K_d < 300 nM → positive; otherwise negative) to form a classification task. The model is trained for 200 epochs using the Adam optimizer with a learning rate of 0.0001. We assess performance using AUROC, AUPRC, F1 score, and log loss. On the held-out test set, the proposed model achieves an AUROC of 0.9352 ± 0.024, an AUPRC of 0.6947, an F1 score of 0.6618, and a log loss of 0.3537, demonstrating competitive performance against existing methods without complex pre-training. The main contributions of this work are: 1. Demonstrating that a pure one-hot, sequence-based Transformer can learn meaningful drug–protein interactions without pre-training. 2. Realizing structural separation and efficient fusion of modalities via an independent dual-encoder design. 3. Providing a simple, scalable architecture that can be readily extended to other biological sequence data. In conclusion, our Transformer-based dual-encoder offers a highly accurate and efficient tool for early-stage DTI screening, enabling rapid selection and prioritization of candidate compounds in drug development.

On the head redundancy in Swin transformer for image classification

오준호 Graduate School, Yonsei University 2022 국내석사

Transformer 모델은 원래 자연어 처리를 위해 고안된 모델이지만, computer vision 등의 타 분야에서도 Transformer를 활용하려는 연구가 매우 활발하게 진행되고 있다. 자연어 처리 분야에서 이용되는 Transformer 기반 모델의 Multi-Head Self-Attention (MHSA) 모듈을 구성하는 각 헤드간의 중복성에 관한 연구는 존재하지만, computer vision 분야에서 이용되는 Transformer 기반 모델에 대해 이를 연구한 바는 없다. 본 논문에서는 Swin Transformer 모델의 MHSA 모듈에서 각 헤드를 제거했을 때 ImageNet 데이터셋의 이미지 분류 작업에서 모델 성능의 변화를 측정하였고, 이를 통해 몇몇 헤드는 다른 헤드와 중복성이 존재하여, 그 헤드를 제거하더라도 정확도의 하락이 적거나 오히려 상승함을 밝혔다. 또한 stage 3을 구성하는 헤드 중 절반을 제거하여 비교적 적은 정확도 감소를 대가로 모델을 경량화할 수 있음을 보였다. 마지막으로, 헤드의 중복성에 영향을 미칠 것으로 예상되는 3개의 잠재요소로 출력 행렬의 노름의 평균값, 입력에 따른 출력 행렬 간의 불변성, 각 헤드 간 attention map의 코사인 유사도를 제시하였고, 그 중 전자 2개의 요소와 모델 성능 간에 상관관계가 존재함을 발견하였다. Although the Transformer model was originally designed for natural language processing (NLP), many studies are being actively conducted in utilizing the Transformer in other fields such as computer vision. There is a study on the redundancy between attention heads in multi-head self-attention (MHSA) modules of Transformer-based models in NLP, but there is no study on Transformer-based models in computer vision. In this thesis, we measure the change of model performance on the ImageNet image classification task when each head in MHSA layers in Swin Transformer is removed. Several heads are redundant, so the model accuracy slightly decreases or rather increases. In addition, it is shown that the model can be compressed by removing half of the heads in stage 3, in exchange for insignificant accuracy loss. Finally, we offer three factors that are expected to affect the head redundancy; the mean of norms of output matrices for various inputs, the invariance of output matrices for various inputs, and the cosine similarity between attention maps of each head. It is proved that the former two factors are correlated with head redundancy.

TransSkip : Leveraging Transformer based Attention Mechanisms for Multi-Scale Feature Fusion

Khan Rabeea Fatma 경기대학교 대학원 2024 국내석사

의료 영상 분할 분야의 효과적이고 정확한 해결책을 찾기 위해 다양한 연구가 진행되어 왔다. 전통적인 영상처리 방법에서 복잡한 합성곱 신경망(CNN)까지 다양한 방법이 제안되었다. 최근, Transformer의 셀프어텐션 메커니즘 및 Transformer와 CNN의 조합에서 비롯된 혼합 네트워크가 주된 방법으로 떠올랐다. 일반적으로 해당 모델은 계층적 인코더-디코더 아키텍처로 구성되어 있다. 이런 구조들은 간단한 잔차 연결을 사용하여 인코더에서 디코더로 중요한 공간 정보를 전송한다. 본 논문에서는 어떤 계층적 인코더 디코더 네트워크에서도 간단한 잔차 연결을 대체할 수 있는 TransSkip이라는 새로운 트랜스포머 기반 잔차 연결 아키텍처를 제안한다. 이는 교차 어텐션과 다중 해상도 상관 관계를 활용하여 전역 종속성 및 다양한 해상도에서의 정보를 효과적으로 포착한다. 간단한 잔차 연결을 제안된 향상된 스킵 연결로 대체함으로써 안정적인 네트워크를 구축하여 고도로 다양한 의료 데이터를 처리할 수 있다. 또한 TransSkip을 통해 최신 기술의 네트워크를 강화할 때 성능이 명확하게 향상되는 것을 방대한 실험 결과를 통해 확인할 수 있다. Significant research has been conducted to create efficient and accurate solutions to the very in demand problem of medical image segmentation. From handcrafted solutions to complex convolutional neural networks (CNNs), a variety of approaches have been looked into. One of these is the self-attention mechanism of the Transformer and the resulting hybrid networks of a combination of CNNs and the Transformer. Among these, the hierarchical encoder-decoder architecture has remained the state of the art. Generally, these models have simple skip connections transferring vital spatial information from the encoder to the decoder. In this thesis, a novel transformer-based skip connection architecture called TransSkip is proposed that can replace simple skip connections in any hierarchical encoder decoder network. This is carried out by utilizing cross attention and multi-scale correlations to efficiently capture global dependencies and information from different resolutions. Replacing simple skip connections with proposed enhanced skip connections can help construct robust networks that can deal with the highly varying medical data. This is also confirmed through extensive experimental results that show a clear boost in performance when state of the art networks are enhanced through TransSkip.

Transformer-based Video Object Segmentation Methods with Target-Specific Object Queries for Eliminating the Association Process

조준호 서울대학교 대학원 2024 국내박사

This dissertation presents novel Transformer-based methods for Video Object Segmentation (VOS) with enhanced Object Queries. VOS is crucial for understanding spatial-temporal dynamics in videos and is valuable in numerous industrial applications, including Semi-supervised Video Object Segmentation (SSVOS) and Video Instance Segmentation (VIS). In recent developments, the Transformer architecture has been effectively adapted for vision-based tasks. The DEtection TRansformer (DETR) introduced Object Queries, which are learnable embeddings representing potential objects within an image. DETR induces the properties of non-maximum suppression (NMS) and region proposal through bipartite matching functions. The flexibility of Object Queries in DETR allows them to induce desired properties by designing specific objective functions. This dissertation leverages this flexibility to enhance performance across different VOS sub-tasks, removing the need for auxiliary association processes. First, I propose an object-centric VOS (OCVOS) method for SSVOS using query-based Transformer decoder blocks to extract object-wise information. This method introduces target-specific queries that segment specified objects directly, eliminating the need for auxiliary association processes for tracking. Building on this, I extend the task to VIS and introduce VideoMaskDINO, an extension of MaskDINO. This method uses the Denoising (DN) task from DN-DETR for video tracking, sharing principles with OCVOS. To enhance tracking reliability, I modify the training schemes to simulate tracking scenarios more accurately and initialize the DN parts’ anchors with Kalman filter predictions. This approach demonstrates consistent tracking ability with frame-level learning alone. Finally, I propose a novel offline VIS approach by integrating upsampling layers into the Transformer decoder. Existing methods face challenges with query capacity and ID-switching. By introducing upsampling of video queries along the temporal axis, I facilitate association properties and refine predictions. This method handles video queries with arbitrary temporal dimensions and shows notable performance, particularly in long and challenging videos. Overall, this dissertation demonstrates the adaptability and robustness of the Transformer architecture with enhanced Object Queries across various VOS tasks, providing comprehensive solutions for improving video segmentation performance and eliminating the auxiliary association processes. 이 논문은 향상된 오브젝트 쿼리를 활용한 Transformer 기반의 새로운 비디오 객체 분할(Video Object Segmentation, VOS) 방법을 제시한다. VOS는 비디오의 시공간 동역학을 이해하는 데 중요하며, 반자동 비디오 객체 분할(Semi-supervised Video Object Segmentation, SSVOS) 및 비디오 인스턴스 분할(Video Instance Segmentation, VIS) 등 다양한 산업 응용 분야에서 가치를 지닌다. 최근 자연어 처리 분야에서 큰 성과를 거둔 Transformer 구조는 비전 기반 작업에 효과적으로 적용되었다. 특히 DEtection TRansformer(DETR)는 이미지 내의 잠재적 객체를 나타내는 학습 가능한 임베딩인 오브젝트 쿼리(object query)를 도입했다. DETR은 오브젝트 쿼리에 이분 매칭(bipartite matching)을 통해 비-최대 억제(Non-Maximum Suppression, NMS)와 영역 제안(region proposal)의 특성을 유도되는 것을 확인하였으며, 특정 목표 함수를 설계하여 원하는 특성을 유도할 수 있는 유연성을 지니고 있다는 걸 보였다. 본 논문에서는 이 유연성을 활용하여 다양한 VOS 하위 작업에서 성능을 향상시키고 추가적인 연관(Association) 과정의 필요성을 제거하는 방법을 제안한다. 먼저, 본 논문은 SSVOS를 위한 오브젝트 중심 VOS(OCVOS) 방법을 제안한다. 이 방법은 쿼리 기반 Transformer 디코더 블록을 사용하여 객체 단위의 정보를 추출한다. 또한 이 방법은 특정 객체를 직접 분할하는 타겟-특정 쿼리를 도입하여 추적을 위한 연관(association) 과정의 필요성을 제거한다. 이를 바탕으로, 온라인 VIS 작업으로 확장하고 MaskDINO의 확장판인 VideoMaskDINO를 제안한다. 이 방법은 OCVOS와 원리를 공유하는 DN-DETR의 디노이징(Denoising, DN) 작업을 비디오 추적에 사용한다. 추적 신뢰성을 향상시키기 위해, 추적 시나리오를 보다 정확하게 시뮬레이션하도록 학습 방식을 수정하고, 칼만 필터 예측으로 DN 부분의 앵커를 초기화한다. 이 접근 방식은 프레임 단위 학습만으로도 일관된 추적 능력을 보여준다. 마지막으로, Transformer 디코더에 업샘플링 레이어를 통합하여 오프라인 VIS를 위한 새로운 접근 방식을 제안한다. 기존 방법은 작은 쿼리 용량으로 인한 ID 스위칭 문제에 직면해 있다. 비디오 쿼리를 시간 축을 따라 업샘플링하여 연관 속성을 촉진하고 더욱 정제된 결과를 내도록 한다. 이 방법은 임의의 시간적 차원을 가진 비디오 쿼리를 처리할 수 있으며, 특히 길고 도전적인 비디오에서 눈에 띄는 성능을 보여준다. 결론적으로, 이 논문은 다양한 VOS 작업에서 향상된 오브젝트 쿼리를 사용한 Transformer 아키텍처의 적응성과 견고성을 입증하며, 추가적인 연관 과정을 제거 하여 비디오 분할 성능을 개선하기 위한 포괄적인 솔루션을 제공한다.

Transformer-based Feature Extraction Approach for Hematopoietic Cancer Subtype Classification through Gene Expression Profile

박광호 충북대학교 2024 국내박사

Recently, with the development of computing performance, machine learning, and deep learning, research is being actively conducted to solve various problems using the technology not only in the computer field but also in many other fields. As genetic information is becoming digitized in the field of biology, many studies are being conducted on ways to use computers to solve problems associated with various diseases using the genetic information. Cancer, which is mainly caused by genetic defects in cells, is one of the most active fields, and a lot of research has already been conducted. However, most studies are focused on classifying cancer and normal or cancers of different organs. The challenge is to clinically detect cancer in cells that have the ability to differentiate from a single cell into many different types of cells. Cells with this characteristic are called multipotent cells, and a typical cancer is breast cancer. In the case of breast cancer, the genetic markers of mammary stem cells are clear and have been utilized in various treatments. In contrast, hematopoietic stem cells, which are also multipotent cells, have the ability to differentiate into a wider variety of cells and differentiate in various locations in the body, making early diagnosis and prediction clinically difficult. Nevertheless, hematologic stem cell subtypes of hematologic cancers are less studied than other cancers, and unlike breast cancer, there are no accurate genetic markers of subtype differentiation. Therefore, this dissertation proposes a feature extraction technique using transformers to solve the subtype classification problem of hematopoietic cancer and detect genetic indicators. A transformer is a large structure that utilizes an attachment technique, which is currently being actively utilized in the field of natural language processing (NLP). In NLP, a transformer consists of an encoder and a decoder. The encoder is responsible for extracting contextual meaning, and the decoder is responsible for generating context from the extracted meaning. Using this concept, this dissertation proposes a transformer-based autoencoder (TFAE), a new feature extraction algorithm using a transformer encoder combined with autoencoder, with the goal of obtaining feature information meaningful for subtype classification of hematopoietic cancer. The details of research contents can be summarized as follows: First, this dissertation presents a transformer-based feature extraction algorithm, TFAE, for gene expression data. TFAE is designed to extract features by using a transformer-encoder to extract important feature of the data, and then extending it to a decoder to create the original. Second, in order to compare the feature extraction of the proposed feature extraction algorithm, different algorithms used for feature extraction are applied. For this purpose, PCA (Principal Component Analysis) and NMF (Non-Negative Factorization), which are widely used statistical-based feature extraction algorithms, and AE (Autoencoder) and VAE (Variational Autoencoder), which are deep learning-based feature extraction algorithms, were applied and compared. Third, multiple classifiers were applied to real tabular genomic data to classify hematopoietic cancer subtypes. Each set of features was applied to eight multiclass classifiers for performance evaluation. Finally, applied XAI (eXplainable Artificial Intelligence) to find genes that are important for hematopoietic cancer subtype classification. For this purpose, this research applied the SHAP (SHapley Additive exPlanations) algorithm, one of the XAI techniques, to show how much the extracted genes affect the subtyping and to detect which genes are important. To achieve these research objectives, the data of five types of blood cancers were collected from TCGA (The Cancer Genome Atlas), a representative open database of genetic information, and experimental data were generated by preprocessing, and then feature extraction algorithms including the proposed TFAE were used to extract genes of the same size. In order to determine how much a particular gene contributes to the subtype classification of hematopoietic cancers, this research applied the SHAP algorithm, one of the explanatory artificial intelligence (AI) techniques, to find the top 20 genes that best classify hematopoietic cancer subtypes. The overall experimental results show that the feature extraction techniques for each classifier yield reasonable performance for hematopoietic cancer subtype classification but the proposed TFAE algorithm can achieve better results than other feature extraction algorithms. In particular, when TFAE was combined with LGBM to classify hematopoietic cancer subtypes, the best performance was achieved with Accuracy 0.9857, Precision 0.9753, Recall 0.9635, Specificity 0.9963, F1 score 0.9691, G-mean 0.9797, and Balanced accuracy 0.9543. Although other algorithms have lower performance, they showed sufficiently significant performance in classification, confirming that this approach is effective. Consequently, the findings of this dissertation showed that our proposed feature extraction model, namely TFAE, could more accurately classify the hematopoietic cancer subtypes, and the SHAP method could identify the genes which are significant for each subtype classification. This dissertation can be regarded as one of the studies that showed the research potential of feature extraction techniques for classifier algorithms by applying transformer techniques to biological data, as apply real world hematopoietic cancer data to subtype classification. In the future, plans are to further develop this research and work on feature extraction for biological data using methods with similar representations such as Generative Adversarial Network (GAN) and diffusion.

Refining Embeddings in Transformers : Image Classification, MRI Reconstruction, and Safe Image Generation = 트랜스포머 임베딩 정제 : 이미지 분류, MRI 재구성 및 안전한 이미지 생성

안재신 경북대학교 대학원 2026 국내박사

Vision transformer research has evolved from foundational architectural designs to specialized domain applications and, more recently, to the critical issue of model safety. Following this trajectory, this thesis pursues three complementary lines of research to advance both the capability and responsible deployment of transformer models. First, to improve general-purpose vision backbones, I propose novel embedding architectures that utilize nonlinear transformations and shared-weight structures. Complementing these embedding-level improvements, a self-attention-based classifier head is introduced to replace the standard linear head, thereby improving feature aggregation at the final output stage. Second, adapting transformer architectures to the medical domain, I develop a domain-aware model for MRI reconstruction. This approach introduces a gated dual-domain transformer that processes spatial and frequency information concurrently to effectively correct off-resonance artifacts. Third, recognizing the safety risks in generative AI, I present a practical machine unlearning framework that controls embedding space. This method neutralizes unsafe concepts by realigning embeddings within the text encoder, ensuring robust defense against adversarial attacks while preserving benign generation quality. Collectively, these contributions demonstrate a comprehensive advancement of vision transformers, spanning from architectural refinement to domain specialization and safety alignment. 비전 트랜스포머 연구는 기초적인 아키텍처 설계에서 시작하여 특정 도메인으로의 응용, 그리고 최근에는 모델의 안전성 문제로 그 초점이 확장되어 왔다. 본 논문에서는 이러한 연구 흐름에 발맞추어 비전 트랜스포머의 성능과 활용성을 종합적으로 발전시키기 위한 세 가지 연구를 수행하였다. 첫째, 범용 비전 모델의 기초 역량을 강화하기 위해 임베딩 레이어와 분류기 구조를 개선하였다. 비선형 변환과 가중치 공유 구조를 도입하여 임베딩의 표현력을 높였으며, 기존의 선형 분류기를 대체하는 자기 주의 기반의 분류기 헤드를 도입하여 최종 단계에서의 특징 해석 성능을 개선하였다. 둘째, 의료 영상 분야의 특수한 요구사항을 반영하여 MRI 재구성을 위한 도메인 특화 트랜스포머를 개발하였다. 제안하는 게이트 이중 도메인 트랜스포머는 공간과 주파수 도메인 정보를 동시에 처리하여 MRI의 비공명 아티팩트를 효과적으로 보정한다. 셋째, 생성형 AI 모델의 안전한 활용을 위해 실용적인 머신 언러닝 프레임워크인 임베딩 공간 왜곡 기법을 제안하였다. 이 방법은 텍스트 인코더 내에서 유해 임베딩을 재정렬하여 생성 품질을 유지하면서도 유해 개념을 효과적으로 무력화한다. 결과적으로 본 논문은 아키텍처의 정교화부터 도메인 특화, 그리고 안전성 확보에 이르기까지 비전 트랜스포머 연구의 핵심적인 발전 방향을 포괄적으로 제시한다.

Transformer 방법론을 활용한 개인 신용대출 부도예측 연구 : Tab/FT-Transformer 및 생성형 AI의 RAG 활용

김창효 서강대학교 일반대학원 2025 국내박사

Transformer AutoEncoder를 활용한 보안 로그 이상 탐지 성능 평가 및 비교

양현지 전남대학교 2025 국내석사

컴퓨터 통신과 인공지능 기술이 발전하고 스마트 기기의 확산으로 컴퓨터 시스템은 점점 더 복잡해지고 있다. 이러한 복잡성으로 인해 대규모 시스템 오류와 악의적 공격이 빈번하게 발생하고 컴퓨터 시스템의 가용성과 안정성에 심각한 영향을 초래하고 있다. 이에 따라 시스템에 대한 보안의 중요성이 커지면서 보안 로그 이벤트를 분석하여 잠재적인 위협을 식별하고 예방하는 로그 이상 탐지 알고리즘의 필요성이 증가하고 있다. 시스템 로그는 오류를 진단하고 내부 및 외부 침입을 탐지하는 데 중요한 역할을 하기 때문에 시스템 로그 분석은 정보 보안과 시스템 안정성을 유지하는데 필수이다. 현재 딥러닝을 활용한 로그 기반 이상 탐지(Log-based Anomaly Detection, LAD) 연구가 활발히 진행되고 있다. LAD를 위한 딥러닝 모델로는 DeepLog, LogBERT, LogCluster 그리고 LogAnomaly 등이 제안 되었으며, 이중 가장 대표적인 모델로는 DeepLog와 LogBERT가 있다. DeepLog는 LSTM을 기반으로 한 모델로, 적은 양의 정상 데이터만을 사용하기 때문에 다른 모델보다 초기에 이상 징후를 탐지할 수 있다는 장점이 있다. 그러나 많은 수의 로그 이벤트를 가진 데이터 세트의 경우 제대로 이상 징후를 탐지하기 힘들다는 단점이 있다. LogBERT는 BERT를 기반으로 하는 모델로 로그 입력의 일부를 ‘[MASK]’로 대체하고 이 부분을 예측하는 방식으로 이상 탐지를 수행하는 모델이다. 이 모델은 로그 시퀀스 전체 정보를 한 번에 처리할 수 있다는 장점이 있는 반면, 복잡한 알고리즘을 사용하기 때문에 학습 및 전처리 과정에서 높은 비용과 시간이 소요된다는 단점이 있다. 본 논문에서는 기존 로그 이상 탐지 모델에 비해 간단한 구조를 가지고 대규모 데이터 처리와 실시간 이상 탐지가 가능한 새로운 Transformer AutoEncoder(TAE) 모델을 제안하고, 다른 모델과 성능을 평가하고 비교한다. TAE는 Transformer와 AutoEncoder (AE) 구조를 통합한 모델이다. 제안하는 기법은 입력 데이터를 encoder와 은닉층(hidden layer)을 통해 압축하여 저차원의 데이터로 변환하고, decoder를 사용해 원래 데이터로 복원하는 구조를 갖고 있다. TAE를 사용하여 정상 로그 데이터를 훈련하게 되면 은닉층의 표현은 정상 데이터에 대해 잘 표현하여 복원 손실이 작은 반면, 비정상 데이터는 복원 손실이 크게 되어 정상 또는 비정상을 잘 탐지할 수 있게 된다. 은닉층 구조는 다양한 형태를 가질 수 있지만, 본 기법에서는 은닉층을 배제한 구조와 softmax를 활용한 은닉층 구조를 각각 제안하였다. 제안된 TAE의 성능을 평가하기 위해 HDFS, Thunderbird 그리고 BGL 데이터 세트를 활용한 로그 이상 탐지 실험을 수행하였다. Thunderbird와 BGL 데이터는 계산과 메모리 제약을 고려하여 일부 데이터만을 사용하여 실험을 진행하였다. 그리고 제안된 TAE의 성능을 위해 제안된 구조에서 다양한 head 수, layer 수, 은닉층 차원 그리고 epoch 수를 변환시켜 최적의 성능을 찾아 평가를 진행하였다. 실험결과 제안된 TAE은 HDFS와 Thunderbird에서 LogCluster, DeepLog, LogAnomaly 그리고 LogBERT보다 더 우수한 F1 Score를 나타내었다. TAE는 HDFS에서 94.214%, Thunderbird에서 99.130%의 성능을 나타내었다. 그러나 BGL에서는 TAE은 81.250%로 LogCluster와 LogAnomaly보다 더 높은 성능을 보였으나, DeepLog와 LogBERT에 비해 더 낮은 F1 Score을 나타내었다. 제안된 TAE 기법은 Transformer 기반 간단한 AE 구조를 갖고 있기 때문에 학습 및 탐지 과정에서 시간과 메모리 비용을 절감할 수 있다는 장점이 있다. 또한 짧은 로그 시퀀스를 처리하여 기존의 로그 이상 탐지 모델보다 초기 이상 탐지에 적합하다는 점을 실험 결과를 통해 알 수 있었다. With the development of computer communication and artificial intelligence technologies and the spread of smart devices, computer systems are becoming more and more complex. Due to this complexity, large-scale system errors and malicious attacks frequently occur and seriously affect the availability and stability of computer systems. Accordingly, as the importance of security for the system increases, the need for a log anomaly detection algorithm that analyzes security log events to identify and prevent potential threats is increasing. System log analysis is essential to maintain information security and system stability because system logs play an important role in diagnosing errors and detecting internal and external intrusion. Currently, Log-based Anomaly Detection (LAD) research using deep learning is being actively conducted. DeepLog, LogBERT, LogCluster, and LogAnomaly have been proposed as deep learning models for LAD, and the most representative models are DeepLog and LogBERT. DeepLog is a model based on LSTM and has the advantage of being able to detect abnormalities earlier than other models because it uses only a small amount of normal data. However, a dataset with a large number of log events has the disadvantage that it is difficult to properly detect abnormalities. LogBERT is a model based on BERT and performs anomaly detection by replacing part of the log input with '[MASK]' and predicting this part. While this model has the advantage of being able to process the entire log sequence information at once, it has the disadvantage of high cost and time-consuming in the learning and preprocessing process because it uses complex algorithms. This paper proposes a new Transformer Autoencoder (TAE) model that can process large-scale data and detect large-scale data and abnormalities in real-time compared to the existing log anomaly detection model, and evaluates and compares its performance with other models. TAE is a model that integrates the Transformer and Autoencoder (AE) structures. The proposed technique has a structure that compresses input data through an encoder and a hidden layer to convert it into low-dimensional data, and uses a decoder to restore it to the original data. When normal log data is trained using TAE, the representation of the hidden layer is well expressed for normal data, so the recovery loss is small, while abnormal data can be detected well due to large recovery loss. The hidden layer structure can have various forms, but in this technique, a structure excluding the hidden layer and a hidden layer structure using softmax were proposed, respectively. Log anomaly detection experiments using HDFS, Thunderbird and BGL datasets were conducted to evaluate the performance of the proposed TAE. Thunderbird and BGL data were tested using only some data in consideration of calculation and memory constraints. In addition, the optimal performance was found and evaluated by converting various heads, layers, hidden layer dimensions, and epochs in the proposed structure for the performance of the proposed TAE. As a result of the experiment, the proposed TAE showed better F1 Score than LogCluster, DeepLog, LogAnomaly and LogBERT in HDFS and Thunderbird. TAE showed 94.214% performance in HDFS and 99.130% performance in Thunderbird. However, in BGL, TAE showed higher performance than LogCluster and LogAnomaly at 81.250%, but lower F1 Score than DeepLog and LogBERT. Since the proposed TAE technique has a simple transformer-based AE structure, it has the advantage of reducing time and memory cost in the learning and detection process. In addition, the experimental results show that it is more suitable for initial anomaly detection than the existing log anomaly detection model by processing a short log sequence