Vision Transformer-Based Methods for Robust Malware Analysis

Jeong, In-Woong 연세대학교 일반대학원 2026 국내석사

The advancement of artificial intelligence has achieved significant success across various domains, including computer vision, natural language processing, and generative AI. This advancement is also extending to the field of cybersecurity. In particular, AI-based malware attacks enable more sophisticated and complex attack scenarios, such as automated malware generation and propagation. These attacks are particularly threatening because they allow attackers to execute attacks using AI tools even without expertise in cyberattacks. Furthermore, attackers can rapidly generate malware variants or apply novel obfuscation techniques to easily bypass existing malware defense systems. Therefore, it is necessary to develop malware analysis methods that are robust against obfuscation techniques. Among deep learning-based approaches, image-based malware analysis methods are effective at detecting new malware variants by extracting and analyzing malware features based on visual similarities and texture patterns in malware images. Convolutional Neural Networks (CNNs), a representative vision model widely employed in these methods, have shown high malware classification performance. However, CNNs have limitations in effectively utilizing global features of images, making them vulnerable to obfuscation techniques such as code insertion or transposition. To address these limitations, Vision Transformer (ViT)-based methods have been researched for malware analysis. However, these methods fail to capture local features of images or have generalization performance limitations of ViTs, making effective malware analysis difficult. Therefore, to employ ViTs in the malware domain, it is necessary to develop ViT-based methods that can provide effective and robust malware analysis. Therefore, in this paper, we propose Vision Transformer (ViT)-based methods for robust malware analysis. The contributions of this research are as follows: (1) We introduce ViT-based methods for malware analysis. Additionally, we develop a novel model called MalFormer, specifically designed for image-based malware analysis, and propose a new analysis method based on it. (2) To overcome the limitations of ViT-based models and enhance their generalization performance, we introduce Sharpness-Aware Minimization (SAM) into the training process. (3) We validate that the proposed methods achieve high performance and robustness against obfuscation techniques across various malware datasets, and analyze the model’s predictions based on Explainable AI (XAI). From the experimental results, we show that the proposed methods achieve high performance. In particular, MalFormer, specifically designed for malware analysis, achieves the highest performance and provides strong robustness against obfuscated samples by enhancing sensitivity to key features while maintaining a well-balanced integration of local and global features. We show that applying SAM optimizer overcomes the limitations of ViT and improves generalization performance, enabling the effective use of ViT-based methods for malware analysis. We validate that the proposed methods provide strong robustness through visualization-based analysis including XAI. Therefore, we provide Vision Transformer-based methods that can be effectively applied to malware analysis, and we expect this work to contribute to future research in vision model-based malware analysis. 인공지능의 발전은 컴퓨터 비전, 자연어 처리, 생성형 AI 등 다양한 분야에서 큰 성공을 거두었으며, 사이버 보안 분야도 변화시키고 있다. 특히 AI 기반 악성코드 공격은 자동화된 악성코드 생성 및 전파 등 더욱 정교하고 복잡한 공격 시나리오를 가능하게 한다. 이러한 공격은 공격자가 사이버 공격에 대한 전문 지식 없이도 AI 도구를 사용하여 공격을 수행할 수 있다는 점에서 특히 위협적이다. 또한 공격자는 빠르게 변종 악성코드를 생성하거나 새로운 난독화 기법을 적용하여 기존의 악성코드 방어 체계를 손쉽게 우회할 수 있다. 따라서, 악성코드 분석에 대한 연구가 필요하며 특히 난독화에 강건한 기법에 대한 연구가 요구된다. 딥러닝 기반 접근법 중 이미지 기반 악성코드 분석 기법은 악성코드 이미지의 시각적 유사성과 텍스처 패턴을 기반으로 악성코드 특징을 추출하고 분석하여 새로운 악성코드 변종을 탐지하는 데 효과적이다. 이러한 방법에서 널리 사용되는 대표적인 Vision 모델인 Convolutional Neural Networks (CNNs)는 높은 악성코드 분류 성능을 보여주었다. 그러나 CNN 계열 모델은 이미지의 전역적 특징을 효과적으로 활용하는 데 한계가 있어 코드 삽입이나 전치와 같은 난독화 기법에 취약하다. 이러한 한계를 해결하기 위해 악성코드 분석을 위한 Vision Transformer (ViT) 기반 방법들이 연구되었다. 그러나 이러한 방법들은 이미지의 국소적 특징을 포착하지 못하거나 ViT의 일반화 성능 한계를 가지고 있어 효과적인 악성코드 분석을 어렵게 한다. 따라서 악성코드 도메인에서 ViT를 활용하기 위해서는 효과적이고 강건한 악성코드 분석을 제공할 수 있는 ViT 기반 방법에 대한 연구가 필요함을 시사한다. 따라서 본 논문에서는 강건한 악성코드 분석을 위한 Vision Transformer 기반 기법들을 제안한다. 본 연구의 기여는 다음과 같다. (1) 악성코드 분석을 위한 Vision Transformer 기반 기법들을 소개하고, 이미지 기반 악성코드 분석에 특화된 새로운 모델 MalFormer를 설계하여 이를 기반으로 한 분석 기법을 제안한다. (2) ViT 기반 모델의 한계를 극복하고 일반화 성능을 향상시키기 위해 학습 과정에 Sharpness-Aware Minimization (SAM) 최적화 기법을 도입한다. (3) 다양한 악성코드 데이터셋에서 제안하는 기법들이 높은 성능과 난독화 기법에 대한 강건성을 달성함을 검증하고, Explainable AI(XAI)를 기반으로 모델의 예측을 분석한다. 실험 결과를 통해 제안하는 기법들이 높은 성능을 달성함을 보인다. 특히 악성코드 분석에 특화된 MalFormer는 가장 높은 성능을 달성하며, 핵심 특징에 대한 민감도를 향상시키면서 국소적 특징과 전역적 특징의 균형 잡힌 통합을 유지함으로써 난독화된 샘플에 대해 강한 강건성을 제공한다. 또한 SAM 최적화 적용을 통해 ViT의 한계를 극복하고 일반화 성능을 향상시켜 악성코드 분석에 ViT 기반 기법을 효과적으로 활용할 수 있음을 검증하였다. XAI를 포함한 시각화 기반 분석을 통해 제안하는 기법들이 우수한 강건성을 보인다. 따라서 본 논문은 악성코드 분석에 효과적으로 적용될 수 있는 Vision Transformer 기반 기법들을 제공하며, 이를 통해 향후 Vision 모델 기반 악성코드 분석 연구에 기여할 것으로 기대한다.

정적 분할 알고리즘을 이용한 에너지 효율적 비전 트랜스포머 하드웨어 가속기 설계

최철호 인하대학교 대학원 2025 국내석사

본 논문에서는 정적 분할 알고리즘 기법을 이용한 에너지 효율적 비전 트랜스포머(Vision Transformer) 하드웨어 가속기 설계를 제안한다. Vision Transformer의 경우 컴퓨터 비전 분야에서 다양하게 응용되고 있는 Transformer 계열의 알고리즘이다. 하지만 파라미터가 너무 크고 에너지 소모량이 많아 엣지 디바이스 수준에서 사용하는 데 어려움이 있기 때문에 최적화가 필수이다. ViT 알고리즘 내부의 어텐션 매커니즘(Attention Mechanism)은 연산이 복잡하며 여러 번 반복해야 하므로 실행시간이 긴 연산이다. Array의 크기 자체가 크기 때문에 이미 메모리 소모가 많은 데다 Matrix Multiply를 하는 연산이기 때문에 최적 설계 되어야 할 핵심 모듈이 다. 제안하는 ViT 가속기는 Attention Mechanism의 Sparse Pattern을 최 적화하여 활용하기 위한 Sparse Matrix Processor(SMP)와 Multi Layer Perceptron을 효율적으로 계산하기 위해 Systolic Array 구조를 이용한 Dense Matrix Processor(DMP)로 구성되어있다. SMP의 경우, Static Partitioning Algorithm을 활용하여 Sparse Matrix Multiply 을 최적화하 기 위한 구조로 설계했다. Sparse Matrix 자체의 효율을 높이기 위해서 BCSR(Block Compressed Sparse Row) Format을 활용하였다. DMP의 경우, 내부구조는 Systolic Array 구조로 설계하였고 다수의 DMP을 활용 해 큰 행렬 연산 시에 데이터 처리량을 높였다. 제안된 에너지 효율적인 ViT 가속기는 Xilinx Vitis HLS, Vivado 툴과 FPGA ZYNQ ZCU-102보드를 이용하여 구현하였으며, 성능 비교 및 검증 을 하였다. FPGA Utilization 측정 결과, LUT Slice는 163K(59.4%), DSP 블록은 1,452(57.6%), BRAM은 1,049(57.5%)가 사용되었다. 클럭 속도는 300MHz로 동작한다. 제안된 ViT 가속기의 데이터 처리율은 107.4 GOP/s(Giga Operation per Second)이며, 에너지 효율은 10.89 GOP/J로 비슷한 크기의 ViT 가속기들 대비 최대 225% 향상된 데이터 처리율을 갖 는다. 본 논문에서 제안하는 정적 분할 알고리즘 기법을 이용한 에너지 효율적 비전 트랜스포머 하드웨어 가속기는 저전력 구동이 요구되는 딥러닝 기반의 다양한 어플리케이션에서 높은 성능을 발휘할 것으로 기대된다. Key Words: 정적 분할 알고리즘(Static Partitioning Algorithm), 비전 트랜스포머(Vision Transformer), 하드웨어 가속기(Hardware Accelerator), 컴퓨터 비전(Computer Vision), 어텐션 매커니즘 (Attention Mechanism), Systolic Array, BCSR(Block Compressed Sparse Row), FPGA(Field Programmable Gate Array) In this paper, we propose the design of an energy-efficient Vision Transformer hardware accelerator using static partitioning algorithm techniques. Vision Transformer is a Transformer-based algorithm widely applied in computer vision fields. However, optimization is essential as it is difficult to implement on edge devices due to its large parameters and high energy consumption. The Attention Mechanism within the ViT algorithm is a time-consuming operation that requires complex calculations and multiple iterations. The Attention module needs to be optimally designed as it already consumes significant memory due to its large array size and involves matrix multiplication operations. The proposed ViT accelerator consists of a Sparse Matrix Processor (SMP) for optimizing and utilizing the Sparse Pattern of the Attention Mechanism, and a Dense Matrix Processor (DMP) using Systolic Array architecture for efficient Multi Layer Perceptron calculations. The SMP is designed with a structure that optimizes Sparse Matrix Multiply using Static Partitioning Algorithm. To improve the efficiency of the Sparse Matrix itself, BCSR (Block Compressed Sparse Row) Format was utilized. For the DMP, the internal structure was designed with Systolic Array architecture, and multiple DMPs were utilized to increase data throughput during large matrix operations. The proposed energy-efficient ViT accelerator was implemented using Xilinx Vitis HLS, Vivado tools, and FPGA ZYNQ ZCU-102 board, and its performance was compared and verified. According to FPGA Utilization measurements, LUT Slice used 163K (59.4%), DSP blocks used 1,452 (57.6%), and BRAM used 1,049 (57.5%). The clock speed operates at 300MHz. The proposed ViT accelerator has a data throughput of 107.4 GOP/s (Giga Operation per Second) and an energy efficiency of 10.89 GOP/J, achieving up to 225% improved data throughput compared to ViT accelerators of similar size. The energy-efficient Vision Transformer hardware accelerator using static partitioning algorithm techniques proposed in this paper is expected to deliver high performance in various deep learning-based applications requiring low-power operation. Key Words: Static Partitioning Algorithm, Vision Transformer, Hardware Accelerator, Computer Vision, Attention Mechanism, Systolic Array, BCSR(Block Compressed Sparse Row), FPGA(Field Programmable Gate Array)

Refining Embeddings in Transformers : Image Classification, MRI Reconstruction, and Safe Image Generation = 트랜스포머 임베딩 정제 : 이미지 분류, MRI 재구성 및 안전한 이미지 생성

안재신 경북대학교 대학원 2026 국내박사

Vision transformer research has evolved from foundational architectural designs to specialized domain applications and, more recently, to the critical issue of model safety. Following this trajectory, this thesis pursues three complementary lines of research to advance both the capability and responsible deployment of transformer models. First, to improve general-purpose vision backbones, I propose novel embedding architectures that utilize nonlinear transformations and shared-weight structures. Complementing these embedding-level improvements, a self-attention-based classifier head is introduced to replace the standard linear head, thereby improving feature aggregation at the final output stage. Second, adapting transformer architectures to the medical domain, I develop a domain-aware model for MRI reconstruction. This approach introduces a gated dual-domain transformer that processes spatial and frequency information concurrently to effectively correct off-resonance artifacts. Third, recognizing the safety risks in generative AI, I present a practical machine unlearning framework that controls embedding space. This method neutralizes unsafe concepts by realigning embeddings within the text encoder, ensuring robust defense against adversarial attacks while preserving benign generation quality. Collectively, these contributions demonstrate a comprehensive advancement of vision transformers, spanning from architectural refinement to domain specialization and safety alignment. 비전 트랜스포머 연구는 기초적인 아키텍처 설계에서 시작하여 특정 도메인으로의 응용, 그리고 최근에는 모델의 안전성 문제로 그 초점이 확장되어 왔다. 본 논문에서는 이러한 연구 흐름에 발맞추어 비전 트랜스포머의 성능과 활용성을 종합적으로 발전시키기 위한 세 가지 연구를 수행하였다. 첫째, 범용 비전 모델의 기초 역량을 강화하기 위해 임베딩 레이어와 분류기 구조를 개선하였다. 비선형 변환과 가중치 공유 구조를 도입하여 임베딩의 표현력을 높였으며, 기존의 선형 분류기를 대체하는 자기 주의 기반의 분류기 헤드를 도입하여 최종 단계에서의 특징 해석 성능을 개선하였다. 둘째, 의료 영상 분야의 특수한 요구사항을 반영하여 MRI 재구성을 위한 도메인 특화 트랜스포머를 개발하였다. 제안하는 게이트 이중 도메인 트랜스포머는 공간과 주파수 도메인 정보를 동시에 처리하여 MRI의 비공명 아티팩트를 효과적으로 보정한다. 셋째, 생성형 AI 모델의 안전한 활용을 위해 실용적인 머신 언러닝 프레임워크인 임베딩 공간 왜곡 기법을 제안하였다. 이 방법은 텍스트 인코더 내에서 유해 임베딩을 재정렬하여 생성 품질을 유지하면서도 유해 개념을 효과적으로 무력화한다. 결과적으로 본 논문은 아키텍처의 정교화부터 도메인 특화, 그리고 안전성 확보에 이르기까지 비전 트랜스포머 연구의 핵심적인 발전 방향을 포괄적으로 제시한다.

ViT-slice : end-to-end vision transformer accelerator with bit-slice algorithm

신동진 Graduate School, Yonsei University 2024 국내석사

비전 트랜스포머 (Vision Transformer)는 자연어 처리 분야에서 성공을 이룬 트랜스포머와 유사한 구조로 다양한 비전 작업에서 뛰어난 성능을 보여왔다. 그러나 CPU 및 GPU와 같은 범용 프로세서는 비전 트랜스포머의 추론을 효과적으로 처리하는데 어려움이 있다. 이 문제를 해결하기 위해, 이전 연구들은 자연어 처리 트랜스포머에서 오버헤드가 큰 어텐션 연산만을 가속화하는데 중점을 두었다. 하지만 비전 트랜스포머는 어텐션 연산보다 선형 연산에서 더 높은 계산 비용을 보인다. 이 논문에서, 우리는 ViT-slice라는 알고리즘-아키텍처 통합 설계를 제시한다. 이는 어텐션 연산 뿐 아니라 선형 연산까지 최적화하여 전체적인 성능과 에너지 효율성을 향상시킨다. 알고리즘 수준에서는 불필요한 최상위 비트(MSBs)를 저장하지 않는 비트-슬라이스 압축을 제안한다. 또한, 비트-슬라이스 데이터를 사용하여 내적을 효과적으로 계산하기 위해 조기 종료 기능을 가진 비트-슬라이스 내적을 제안한다. 조기 종료 기능은 학습 가능한 임계값을 활용하여 구현한다. 하드웨어 수준에서는, 비트-슬라이스 내적 알고리즘을 효과적으로 처리할 수 있는 특화된 비트-슬라이스 내적 유닛(BSDPU)을 소개한다. 또한, 칩 내의 비트-슬라이스 압축을 위한 비트-슬라이스 인코더와 디코더를 제시한다. ViT-slice는 Xeon CPU, EdgeGPU, TITAN Xp GPU, Sanger 가속기, 그리고 ViTCoD 가속기와 비교하여 전체적인 성능 향상을 각각 244배, 35.3배, 16.8배, 10.4배, 5.0배 달성했다. Vision Transformers have demonstrated remarkable performance in various vision tasks, building upon the success of Transformers in the field of natural language processing (NLP). However, general-purpose processors, such as CPUs and GPUs, face challenges in efficiently handling the inference of Vision Transformers. To address the issue, prior works have focused on accelerating only attention due to its high computational cost in NLP Transformers. In contrast, Vision Transformers demonstrate a higher computational cost due to linear modules such as linear transformation, linear projection and Feed-Forward Network (FFN), compared to attention. In this paper, we present ViT-slice, an algorithm-architecture co-design that enhances end-to-end performance and energy efficiency by optimizing not only attention but also linear modules. At the algorithm level, we propose bit-slice compression that avoids storing the redundant most significant bits (MSBs). Additionally, we present bit-slice dot product with early skip to efficiently compute the dot product using bit-sliced data. To enable early skip during the dot product computation, we leverage a trainable threshold. On the hardware level, we introduce a specialized bit-slice dot product unit (BSDPU) to efficiently process the bit-slice dot product with early skip algorithm. Additionally, we present a bit-slice encoder and decoder for on-chip bit-slice compression. ViT-slice achieves 244×, 35.3×, 16.8×, 10.4×, 5.0× end-to-end speedup over Xeon CPU, EdgeGPU, TITAN Xp GPU, Sanger accelerator and ViTCoD accelerator, respectively

도심지 환경 자율주행을 위한 Vision Transformer 기반 주변 차량 미래 경로 예측 기법 연구

양현석 국민대학교 자동차공학전문대학원 2022 국내석사

자율주행은 시간과 공간이 동시에 변하는 특성을 지니고 있다. 그리고 도심지 환경 속 차량은 모두 다른 의도를 가지며 주행하고 있다. 따라서, 다양한 경로의 이동 가능성이 존재하므로 각 차량의 미래 궤적을 예측하는 것은 쉽지 않다. 도로의 다양한 경로 가능성을 고려함으로써 예측 성능을 개선하기 위해, 최근에는 정밀도로지도 정보를 적절히 활용하여 추가적인 정보 제공 및 예측 성능 향상에 주력하고 있다. 하지만 정밀도로지도가 없는 환경, 특히 도심지에서 보수공사 등에 의해 정밀 도로 지도를 적절히 활용할 수 없는 경우에 대해서는 아직 대책이 미흡하다. 또한 전국의 모든 도로 지도를 차량에 저장하여 활용하는 것은 하드웨어적 한계가 분명히 존재한다. 따라서 강건한 경로 예측을 위해선 객체의 과거 정보만을 활용하여도 객체의 이동 경향을 파악할 수 있어야 한다. 이를 위해 ConvLSTM을 비롯하여 Transformer, Convolutional Social Pooling 등 경로 예측에 효과적인 기법들을 다양하게 적용하며 예측하고 있다. 그러나 이러한 방법은 일반적으로 고속도로에 한정적인 적용이거나, 혹은 시간에 대해 동적 특성과 공간적 특성을 동시에 고려하지 못하는 단점이 있다. 본 연구에서는 정밀도로지도가 제공되지 않는 도심지 환경에서, 객체의 과거 정보를 기반으로 Image Sequence를 생성하고, 이를 Vision Transformer에 적용한다. 특히 Positional Encoding을 추가함으로써, 순서 정보가 포함된 Image Sequence를 적용한다. 이 과정을 통해 공간적 특징을 추출 및 예측하고, 차량의 미래 경로 예측 성능을 향상하는 모델을 제안한다. 이 학습 모델은 과거의 궤적 정보를 통해 미래의 예측 궤적 값을 출력하게 된다. 본 연구에서는 Waymo Open Datasets을 기반으로 다양한 학습 모델들을 적용하고, 출력된 결과를 비교하며 제안한 모델의 성능을 분석 및 검증한다. 이 결과를 통해 주변 객체의 과거 정보 및 특성만으로도 신뢰성있는 미래 궤적 예측을 기반으로, 차량의 안정적인 판단에 기여할 수 있을 것으로 예상한다. Autonomous driving has the characteristic of changing time and space at the same time. In addition, it is not easy to predict the future trajectory of each vehicle as vehicles in the urban environment have different intentions and there is a possibility of movement of various routes. In order to improve the prediction performance by considering the possibility of various routes of roads, recently, we have focused on providing additional information and improving the prediction performance by appropriately utilizing precision road map information. However, countermeasures are still insufficient for environments without precision road maps, especially in urban areas where precision road maps cannot be properly used due to repair works. In addition, storing and using all road maps in vehicles across the country clearly has hardware limitations. Therefore, in order to predict a robust path, it is necessary to grasp the movement tendency of the object even by using only the past information of the object. To this end, various techniques effective in path prediction such as ConvLSTM, Transformer, and Convolutional Social Pooling were applied and predicted. However, these methods are generally limited to expressways, or have the disadvantage of not simultaneously considering dynamic and spatial characteristics over time. In this study, in an urban environment where no precise road map is provided, Image Sequence is generated based on historical information of objects in Waymo Open Datasets and applied to Vision Transformer. In particular, we propose a model that improves the future path prediction performance of the vehicle through spatial feature extraction and prediction by applying Image Sequence with ordering information through the addition of Positional Encoding. This learning model outputs future predicted trajectory values through past trajectory information. The output results are compared with various existing techniques, and the performance of the proposed model is analyzed and verified. This result is expected to contribute to the stable judgment of the vehicle, based on reliable future trajectory prediction only on the historical information and characteristics of the surrounding objects.

(A) Study of Sequential Patterns Analysis in Surveillance Videos for Anomaly Detection and Recognition

Ulla, Waseem 세종대학교 대학원 2024 국내박사

In today's technological era, surveillance systems are deployed worldwide, collecting vast amounts of video data that often require human monitoring for a specific event detection or recognition. The increasing global threats to safety and security necessitate the adoption of intelligent surveillance systems for the detection and recognition of events in video. These systems can efficiently detect and recognize anomalous events in video, providing a rapid response to address potential risks in surveillance environments, a task that traditional surveillance systems currently struggle to perform effectively. The current trend in surveillance systems focuses on automatic anomaly detection and recognition, but it faces various challenges, such as camera motion, cluttered backgrounds, inter/intra-class similarities, varying lighting conditions, and required effective video stream analysis while maintaining lower computational hardware’s. To address the abovementioned challenges several mainstream methods are developed that used the computational complex backbones convolutional neural networks (CNNs) with delayed responses during anomalies, required substantial computational demands, limited scalability to extensive datasets, and difficulty adapting to real-world flexibility. This dissertation addresses these challenges by investigating lightweight deep networks such as the Dual Stream Network, Vision Transformer, Multi-Reservoir Echo State Network, Bidirectional Long-Short Term Memory (BDLSTM), and Self-Attention Memory Network for surveillance anomaly detection and recognition. This research results in improved accuracy compared to state-of-the- art methods while also providing computationally efficient solutions for video anomaly detection. In this dissertation, a detailed evaluation is carried out to examine the thoughts, trends, and terminology for video anomaly detection and recognition. This analysis includes both data pre-processing and core processing techniques, generic flows, intermediate stages, and the challenges faced in achieving research results. Furthermore, this dissertation introduces video anomaly detection and recognition methodologies based on deep learning and sequential learning mechanisms. The first method is based on a hybrid network, where spatiotemporal features are extracted using a pre-trained CNN architecture, and multilayer BD-LSTM followed by fully connected layers for anomalous events classification in complex surveillance environment. In the second method an IoT-friendly instant anomaly detection and a cloud-based detailed analysis framework is proposed for anomaly recognition, featuring a self-pruned lightweight CNN and a two-stream neural network with BD-LSTM for anomaly classification. In the third method, a vision transformer-based network is developed for anomaly detection in surveillance videos. This network is integrated with an initial one-class classifier for detecting potential anomalies. The subsequent step involves classifying the detected anomalies by utilizing vision transformer features and a multi reservoir echo state network. In the fourth method, the spatial features are extracted from surveillance videos via a looker-based attention module. These spatial features are then processed by a temporal model equipped with a self-attention memory module to capture both local and global dependencies in spatiotemporal dimensions for improved anomaly detection and recognition. The proposed methods are evaluated using four standard datasets, such as, UCF-Crime, LAD-2000, UCFCrime2local, and RWF-2000 datasets. Various statistical evaluation metrics and detailed ablation studies provide substantial evidence of the superior performance of the proposed methods, resulting in an accuracy improvement of 1% to 5% when compared to state-of-the-art methods. Keywords: Anomaly Detection/Recognition, Video classification, Video Analytics, Sequence Learning, Computer Vision, Echo State Network, Bidirectional LSTM, Dual Stream Network, Convolutional Neural Network, Vision Transformer, Activity Analysis. 최근 감시 시스템이 전 세계적으로 배치됨에 따라 수집되는 대량의 비디오 데이터들은 특정 이벤트 감지나 식별을 위해 사람이 직접 모니터링하는 방식을 필요로 한다. 세계적으로 안전과 보안에 대한 위협이 증가함에 따라 비디오에서 이벤트를 감지하고 식별하기 위해 지능적인 감시 시스템의 도입을 필요로 한다. 이러한 시스템은 비디오에서 비정상적인 이벤트를 효율적으로 감지하고 식별하여 감시 환경에서 잠재적인 위험에 신속하게 대응할 수 있어 현재의 전통적인 감시 시스템이 효과적으로 수행하기 어려운 작업을 수행한다. 현재의 감시 시스템의 트렌드는 자동 이상 감지와 식별에 중점을 두지만, 카메라 움직임, 혼잡한 배경, 클래스 간 유사성, 다양한 조명 조건 및 하드웨어의 낮은 계산 유지를 유지하면서 효과적인 비디오 스트림 분석과 같은 여러 가지 문제에 직면해 있다. 이러한 문제를 해결하기 위해 계산 복잡성을 지니는 백본 합성곱 신경망 (CNNs)을 사용하는 주요 메서드들이 개발되었다. 그러나 이러한 메서드들은 이상 현상 중 지연된 응답, 상당한 계산 수요, 광범위한 데이터셋에 대한 제한된 확장성 및 실제 세계 유연성에 대한 어려움과 같은 다양한 문제에 직면하고 있다. 본 논문은 이러한 문제를 해결하기 위해 감시 상황에서의 이상 현상 감지 및 식별을 위한 Dual Stream Network, Vision Transformer, Multi-Reservoir Echo State Network, Bidirectional Long-Short Term Memory (BDLSTM), Self-Attention Memory Network와 같은 가벼운 심층 네트워크를 조사한다. 이 연구 결과는 최첨단 방법과 비교하여 향상된 정확도를 제공하면서 비디오 이상 현상 감지에 대한 계산 효율적인 솔루션을 제공한다. 본 논문에서는 비디오 이상 현상 감지와 인식을 위한 생각, 트렌드 및 용어를 검토하기 위한 상세한 평가가 진행된다. 이 분석에는 데이터 전처리 및 핵심 처리 기술, 일반적인 흐름, 중간 단계 및 연구 결과 달성을 위해 직면한 다양한 도전 사항이 포함된다. 본 논문에서는 딥 러닝과 순차 학습 메커니즘을 기반으로 한 비디오 이상 현상 감지 및 인식 방법을 소개한다. 첫 번째 방법은 공간-시간 특징을 사전 훈련된 CNN 아키텍처를 사용하여 추출하고 복잡한 감시 환경에서 이상한 이벤트 분류를 위한 다계층 BD-LSTM 및 완전히 연결된 레이어를 사용하는 하이브리드 네트워크를 기반으로 한다. 두 번째 방법은 IoT 친화적인 즉각 이상 감지 및 클라우드 기반 상세 분석 프레임워크를 제안하며 이는 이상 현상 인식을 위한 가벼운 CNN 및 이상 상황 분류를 위한 BD-LSTM과 함께 Two-stream 신경망을 특징으로 한다. 세 번째 방법에서는 비디오 이상 현상 감지를 위해 Vision Transformer 기반 네트워크가 개발된다. 이 네트워크는 잠재적인 이상 현상을 감지하기 위한 초기 단일 클래스 분류기와 통합되어 있다. 다음 단계는 Vision Transformer 특징 및 Multi-Reservoir Echo State Network를 활용하여 감지된 이상 현상을 분류한다. 네 번째 방법에서는 looker-based attention 모듈을 통해 감시 비디오에서 공간 특징을 추출한다. 이러한 공간 특징은 이상 현상 감지와 인식을 위해 시간 모델로 처리되며 self-attention 메모리 모듈을 갖추고 있어 공간-시간 차원에서 로컬 및 글로벌 종속성을 확보한다. 제안된 방법은 UCF-Crime, LAD-2000, UCFCrime2local, RWF-2000과 같은 네 가지 표준 데이터셋을 사용하여 평가되었다. 다양한 통계적 평가 지표와 ablation study를 통해 제안된 방법의 우수한 성능을 입증하여 최첨단 방법과 비교하여 높은 정확도를 확보하였다. 키워드: 이상 탐지/인식, 비디오 분류, 비디오 분석, 시퀀스 학습, 컴퓨터 비전, echo state network, Bidirectional LSTM, Dual Stream Network, Convolutional Neural Network, Vision Transformer, 활동 분석.

분류 학습이 Self-Supervised Transformer의 Activation map에 미치는 영향 분석

김재욱 고려대학교 컴퓨터정보통신대학원 2023 국내석사

컴퓨터 비전의 발전에 따라 객체 검출은 다양한 분야에서 활용되고 있지만, 학습을 위한 label 비용은 매우 높기 때문에 이 비용을 줄이기 위한 시도가 계속되고 있다. Vision Transformer(ViT)는 자기지도학습이 가능하며 입력 영상에 포함된 여러 중요 객체의 activation map을 추출할 수 있어 객체 검출에 적용하기 위한 연구가 진행 중이다. 본 논문에서는 ImageNet으로 자기지도학습한 ViT 모델을 기반으로, 특정 데이터를 사용하여 분류 학습을 하였을 때 이 데이터에 보다 적합한 activation map을 추출할 수 있는지 분석하고자 하였다. With the development of computer vision, object detection is being used in various fields, but since the cost for annotation for learning is very high, attempts to reduce this cost are continuing. Vision Transformer(ViT) is capable of self-supervised learning, and can extract activation maps of several important objects included in the input image, so research is underway to apply it to object detection. In this paper, based on the self-supervised ViT model trained with ImageNet, we tried to analyze whether an activation map more suitable for this data can be extracted when classification learning is performed using specific data.

A Memory-Centric Architecture for Energy-Efficient Vision Transformer based on High Bandwidth Memory

함은경 이화여자대학교 대학원 2024 국내석사

최근 10년 사이 비약적으로 발전한 AI (Artificial Intelligence)는 다양한 분야에 접목되며 4차 산업혁명의 대표주자로 주목받고 있다. Transformer는 자연어 처리 (Natural Language Processing) 과제에 활용되는 거대 언어 모델 (Large Language Model)로, 이러한 Transformer를 Computer Vision Task에 활용하는 Vision Transformer에 대한 연구 또한 2020년 이후 활발히 이루어지고 있다. 현재 Image classification 분야의 State-of-the-art 성능을 기록하고 있으나, 다량의 parameter로 인한 메모리 overhead와 높은 연산양 등이 문제점으로 남아 있다. 본 논문에서는 하드웨어 구현에 적합한 Block-Balanced Pruning (BBP) 과 Compressed Block Row(CSR) 기법을 통해 Vision transformer 모델의 가중치를 감소시키고 연산양을 줄였으며, 이에 따른 Sparse Matrix의 연산에 적합하게 설계한 Processing Engine을 HBM (High-Bandwidth Memory)의 Pseudo-channel level에서 병렬적으로 동작시키는 Processing-Near Memory Architecture를 제안하였다. 또한 연산 과정 및 DRAM의 Data read/write 특성과 제약을 고려한 Column-major data mapping 방식을 적용해 Row hit ratio를 1.57배 향상시켰다. Block-Balanced Pruning과 Compressed Block Row 기법을 이용하여 ViT-B 모델을 압축하여 83%의 target sparsity에서 82.3%의 메모리 사용량 감소를 확인하였으며, Cycle-accurate DRAM simulator인 Ramulator을 이용한 시뮬레이션 결과 CPU 상에서 수행된 압축하지 않은 Dense Vision Transformer보다, Pruning과 함께 제안하는 PNM 아키텍처를 적용하였을 경우 DRAM의 동작 cycle이 1.72%로 감소하였다. 또한 Xilinx의 Alveo U280 FPGA 보드를 통해 구현한 결과 CPU보다 4.26배 높은 FPS와 5.21 (FPS/W)의 Energy-Efficiency를 보였다. In the rapidly evolving landscape of Artificial Intelligence (AI), the past decade has seen significant progress, positioning AI as a key player in the 4th industrial revolution. The advent of large language models, specifically Transformers, has greatly impacted natural language processing tasks. Since 2020, there has been a growing interest in applying these models, known as Vision Transformers, to computer vision tasks. Despite their success in image classification, challenges persist, including high memory usage and computational demands due to the complexity of these models. This paper presents practical solutions to address these challenges. We introduce Block-Balanced Pruning (BBP) and Compressed Block Row (CSR) techniques, designed for efficient hardware implementation, to reduce the weight and computational load of Vision Transformer models. Additionally, we propose a Processing-Near Memory based Memory-Centric Architecture that optimizes a processing engine for sparse matrix calculations in High-Bandwidth Memory (HBM) at the pseudo-channel level. To further improve efficiency, we introduce a column-major data mapping method, considering read/write characteristics and constraints, resulting in a 1.57 times improvement in the row hit ratio. By employing Block-Balanced Pruning and Compressed Block Row techniques to compress the ViT-B model, memory usage saw a remarkable reduction of 82.3% at 83% target sparsity. Simulation results utilizing Ramulator, a cycle-accurate DRAM simulator, showcased a significant reduction in the DRAM operating cycle to 1.72% when the proposed Processing-Near Memory (PNM) architecture with pruning was applied, compared to the uncompressed Dense Vision Transformer executed on the CPU. Moreover, implementation on Xilinx's Alveo U280 FPGA board revealed an energy efficiency of 5.21 (FPS/W) and a 4.26 times higher FPS compared to the CPU.

On the head redundancy in Swin transformer for image classification

오준호 Graduate School, Yonsei University 2022 국내석사

Transformer 모델은 원래 자연어 처리를 위해 고안된 모델이지만, computer vision 등의 타 분야에서도 Transformer를 활용하려는 연구가 매우 활발하게 진행되고 있다. 자연어 처리 분야에서 이용되는 Transformer 기반 모델의 Multi-Head Self-Attention (MHSA) 모듈을 구성하는 각 헤드간의 중복성에 관한 연구는 존재하지만, computer vision 분야에서 이용되는 Transformer 기반 모델에 대해 이를 연구한 바는 없다. 본 논문에서는 Swin Transformer 모델의 MHSA 모듈에서 각 헤드를 제거했을 때 ImageNet 데이터셋의 이미지 분류 작업에서 모델 성능의 변화를 측정하였고, 이를 통해 몇몇 헤드는 다른 헤드와 중복성이 존재하여, 그 헤드를 제거하더라도 정확도의 하락이 적거나 오히려 상승함을 밝혔다. 또한 stage 3을 구성하는 헤드 중 절반을 제거하여 비교적 적은 정확도 감소를 대가로 모델을 경량화할 수 있음을 보였다. 마지막으로, 헤드의 중복성에 영향을 미칠 것으로 예상되는 3개의 잠재요소로 출력 행렬의 노름의 평균값, 입력에 따른 출력 행렬 간의 불변성, 각 헤드 간 attention map의 코사인 유사도를 제시하였고, 그 중 전자 2개의 요소와 모델 성능 간에 상관관계가 존재함을 발견하였다. Although the Transformer model was originally designed for natural language processing (NLP), many studies are being actively conducted in utilizing the Transformer in other fields such as computer vision. There is a study on the redundancy between attention heads in multi-head self-attention (MHSA) modules of Transformer-based models in NLP, but there is no study on Transformer-based models in computer vision. In this thesis, we measure the change of model performance on the ImageNet image classification task when each head in MHSA layers in Swin Transformer is removed. Several heads are redundant, so the model accuracy slightly decreases or rather increases. In addition, it is shown that the model can be compressed by removing half of the heads in stage 3, in exchange for insignificant accuracy loss. Finally, we offer three factors that are expected to affect the head redundancy; the mean of norms of output matrices for various inputs, the invariance of output matrices for various inputs, and the cosine similarity between attention maps of each head. It is proved that the former two factors are correlated with head redundancy.

비전 트랜스포머와 YOLO 딥 네트워크를 이용한 하수관로 결함 탐지

양승혁 중앙대학교 대학원 2022 국내석사

This paper introduces a model for detecting defects in sewage pipelines using YOLO. In addition, by attaching a vision transformer to the header of YOLOv5, it showed higher accuracy and learning speed than when only YOLOv5 was used. In training, a total of 15 labels and 2,000 images for each label were used for training. The mAP, which is the average value of the AP (Average Precision) of all labels, was 0.829 to 0.833 based on mAP 0.5 in the YOLOv5 model, and a vision transformer installed in the header of the YOLOv5 model was derived up to 0.846 based on mAP 0.5. The inference time, which is the speed of processing a single image, is also less than 20 ms, and when it is converted to FPS (Frame Per Second), it is 50 FPS or more, confirming that defects in sewer pipes can be detected in real time. In addition, the adoption of a transformer in the YOLO model brought an encouraging point to this study in that the effect increases as the amount of images to be trained increases. 본 논문은 YOLO를 이용하여 하수관로의 결함을 탐지하는 모델을 소개하였다. 또한 비전 트랜스포머를 YOLOv5의 헤더에 접합하여 YOLOv5만을 사용했을 때보다 더욱 높은 정확도와 학습 속도를 보여주었다. 학습에는 총 15개의 레이블과 각 레이블 당 2,000 장의 이미지를 이용하여 학습하였고, 모든 레이블의 AP(Average Precision)의 평균값인 mAP가 YOLOv5 모델에서는 mAP 0.5 기준 0.829에서 0.833, YOLOv5 모델의 헤더에 비전 트랜스포머를 접합한 모델은 mAP 0.5 기준 0.846까지 도출되었다. 한 장의 이미지를 처리하는 속도인 Inference time 또한 모두 20 ms 미만으로 이를 FPS(Frame Per Second)로 환산하면 50 FPS 이상으로, 실시간으로 하수관로 결함을 탐지할 수 있다는 점을 확인하였다. 또한 YOLO 모델에 트랜스포머를 채용하는 것이 학습시키는 이미지의 양이 많을수록 효과가 커진다는 점에서 본 연구에 고무적인 점을 가져왔다.