Student Behavior Detection Using Modified YOLO with Channel Attention = 채널 어텐션이 적용된 YOLO 를 이용한 학생 행동 감지

다국어 초록 (Multilingual Abstract)

In education, monitoring learning behaviors and exam cheating is crucial for understanding students' learning status and ensuring fair exams. It's a key factor in achieving high-quality management. Deep learning technology can improve the efficiency and quality of educational supervision by applying object detection techniques to recognize student behavior. However, student learning behavior detection faces challenges in practice. First, detection scenarios in actual classrooms are complex. Challenges such as occlusion, low image resolution, large variations in target size, and ambiguous feature distinctions lead to decreased detection accuracy. Second, there's an increasing demand for lightweight models in environments with limited hardware resources. Third, in exam settings, detection models must operate in real-time and efficiently while identifying covert cheating behaviors involving subtle features and small targets, resulting in high miss rates and low detection accuracy. This study makes the following key innovative contributions. Firstly, this paper addresses the issue of low detection accuracy in complex classroom environments by proposing DyHead-YOLOv8n. The model integrates the DyHead Block into YOLOv8n's detection head, enhancing its scale, spatial, and task awareness. This strengthens the model’s core feature learning capability and improves detection accuracy. Secondly, to address hardware limitations in scenarios requiring lighter detection models, RepPSHead was proposed. This shared detection head employs a single module for classification and regression for each scale. It replaces the YOLOv8n's original detection head, reducing parameters and GFLOPs by 20%. The model achieves a faster speed while maintaining comparable accuracy. Thirdly, this study proposes a downsampling module called SpAttDown that uses channel attention to address the loss of small targets and subtle cheating behavior features during exam behavior detection. The module uses average and max pooling techniques to extract key spatial features and generates attention weights based on these features. This integrates channel attention with the downsampling process, minimizing spatial information loss and enhancing the extraction of subtle features. The SpAttDown-YOLOv11n model was designed to improve the learning of cheating behavior features. Experimental results on three exam datasets demonstrate that the proposed model achieves higher detection accuracy than existing state-ofthe-art models without increasing latency. In addition, to seek the optimal balance between detection accuracy and speed of the model in different scenarios and to evaluate the model’s generalization ability in diverse detection environments, the study integrated the lightweight detection head RepPSHead and the downsampling module SpAttDown into YOLOv8n and YOLOv11n, respectively. The proposed combinations were evaluated on both the learning behavior dataset and the exam behavior dataset. Experimental results show that in the learning behavior detection scenario, the SpAttDown-RepPSHeadYOLOv8n model demonstrates the best balance between processing speed and accuracy. In the exam behavior detection scenario, the SpAttDown-YOLOv11n model achieves the optimal balance between speed and accuracy. This contributes to the field of cross-scenario student behavior recognition.

국문 초록 (Abstract)

교육에서는 학습 행동과 시험 부정행위를 모니터링하는 것이 학생들의 학습 상태를 이해하고 공정한 시험을 보장하는 데 매우 중요한다. 이는 고품질 관리를 달성하는 데 핵심 요소다. 딥러닝 기술은 객체 인식 기법을 적용하여 학생 행동을 인식함으로써 교육 감독의 효율성과 품질을 향상시킬 수 있다. 그러나 학생 학습 행동 감지는 실제로 여러 도전에 직면해 있다. 첫째, 실제 교실에서의 감지 환경은 복잡한다.가림 현상, 낮은 이미지 해상도, 대상 크기의 큰 변동, 모호한 특징 구분과 같은 문제들은 탐지 정확도 저하를 초래한다. 둘째, 하드웨어 자원이 제한된 환경에서는 경량화된 모델에 대한 수요가 증가하고 있다. 셋째, 시험 환경에서는 탐지 모델이 실시간으로 효율적으로 작동해야 하며, 미세한 특징과 작은 대상을 포함하는 은밀한 부정행위를 식별해야 하므로 높은 누락률과 낮은 탐지 정확도가 발생한다. 위 문제를 해결하기 위해 본 논문는 다음과 같은 주요 혁신적 기여를 한다. 본 논문는 교실 환경의 복잡성으로 인한 검출 정확도 저하 문제를 해결하기 위해 DyHead-YOLOv8n 모델을 제안한다. 해당 모델은 DyHead 모듈을 YOLOv8n 의 검출 헤드에 통합하여 검출 헤드가 스케일 인식, 위치 인지 및 채널 인지 능력을 강화할 수 있도록 하며, 이를 통해 모델의 핵심 특징 학습 능력을 향상시켜 검출 정확도를 높인다. 둘째, 더 가벼운 검출 모델이 필요한 상황에서 하드웨어 한계를 해결하기 위해 RepPSHead 가 제안되다. 이 공유 검출 헤드는 각 스케일마다 분류와 회귀를 위한 단일 모듈을 사용한다. 이는 YOLOv8n 의 기존 검출 헤드를 대체하여 파라미터 수와 GFLOPs 가 약 20% 감소한다. 이 모델은 유사한 정확도를 유지하면서 더 빠른 속도를 달성한다 셋째, 시험 행위 감지 과정에서 작은 목표 및 미세한 부정행위 특징 손실로 인한 감지 정확도 저하 문제를 해결하기 위해, 채널 어텐션이 적용된 다운샘플링 모듈 SpAttDown 을 제안한다. 이 모듈은 평균 풀링과 맥스 풀링 기법을 사용하여 주요 공간적 특징을 추출하고, 이러한 특징을 기반으로 어텐션 가중치를 생성하여 채널 어텐션을 다운샘플링 과정과 효과적으로 통합한다. 본 연구에서 제안한 방법은 다운샘플링 과정에서 공간 정보 손실을 최대한 줄여 미세 특징 추출 능력을 크게 향상시키고, 작은 목표의 누락률을 낮춘다. 이를 바탕으로 부정행위 특징 학습을 강화하기 위해 SpAttDown-YOLOv11n 모델을 설계한다. 세 개의 시험 데이터셋을 이용한 실험 결과, 제안된 모델은 지연 시간을 증가시키지 않으면서 기존 최첨단 모델보다 감지 정확도가 우수함을 보여준다. 또한, 모델이 다양한 상황에서 검출 정확도와 속도의 최적 균형을 찾고, 다양한 검출 환경에서 모델의 일반화 능력을 평가하기 위해, 경량 검출 헤드인 RepPSHead 와 다운샘플링 모듈 SpAttDown 을 각각 YOLOv8 과 YOLOv11n 에 결합한다. 본 논문은 학습 행동 데이터셋과 시험 행동 데이터셋에서 제안된 조합을 평가한다. 실험 결과, 학습 행동 검출 상황에서는 SpAttDown-RepPSHead-YOLOv8n 모델이 처리 속도와 정확도 사이에서 최적의 균형을 본다. 반면 시험 행동 검출 상황에서는 SpAttDown-YOLOv11n 모델이 속도와 정확도 면에서 최적의 균형을 달성한다. 이는 교차 상황 학생 행동 인식 분야에 기여할것으로 사료된다.

목차 (Table of Contents)

• Ⅰ. Introduction . 1
• 1.1 Research Background and Significance 1
• 1.2 Research Questions. 4
• 1.3 Research Contributions. 5
• 1.4 Thesis Structure. 7
• Ⅱ. Related Research and Theoretical Foundations. 9
• 2.1 Related Research on Student Behavior Detection. 9
• 2.1.1 Related Research on Student Learning Behavior Detection 9
• 2.1.2 Related Research on Exam Cheating Behavior Detection . 11
• 2.1.3 Limitation of Related Research on Student Behavior Detection 14
• 2.2 Related Theoretical Foundations. 16
• 2.2.1 Convolutional Neural Networks. 16
• 2.2.2 Object Detection Based on Deep Learning 21
• 2.2.3 Evolution of YOLO Series Models 21
• 2.2.4 Framework Structure of YOLOv8n 25
• 2.2.5 Network Structure of YOLOv11n 28
• 2.2.6 Loss Function . 31
• 2.2.7 Limitations of Lightweight YOLO Models in Behavior Detection. 33
• 2.3 Conclusion of This Chapter. 34
• Ⅲ. Two Head-Modified YOLOv8n Models for Learning Behavior Detection. 36
• 3.1 Motivation for Improving the Detection Head 36
• 3.1.1 Detection Head of YOLOv8n. 36
• 3.1.2 Challenges of Learning Behavior Detection in Complex Scene 38
• 3.1.3 Assumptions for Improving the Detection Head 40
• 3.2 Precision-Enhanced DyHead-YOLOv8n for Learning Behavior Detection 41
• 3.2.1 DyHead Block 41
• 3.2.2 DyHead Block in YOLOv8n 42
• 3.2.3 Framework of DyHead-YOLOv8n 45
• 3.3 Lightweight Accelerated RepPSHead-YOLOv8n for Learning BehaviorDetection 48
• 3.3.1 Parameter-Sharing Mechanism 48
• 3.3.2 RepConv for Head Optimization 49
• 3.3.3 Structure of RepPSHead. 51
• 3.3.4 Framework of RepPSHead-YOLOv8n 54
• 3.4 Conclusion of This Chapter. 56
• Ⅳ. Modified YOLO with Channel Attention for Cheating Behavior Detection 58
• 4.1 Motivation for Downsampling Module Improvement 58
• 4.2 Mechanisims of Downsampling in YOLO Series. 61
• 4.2.1 MaxPooling 62
• 4.2.2 Conv(stride=2) . 64
• 4.2.3 ADown . 66
• 4.2.4 SCDown . 68
• 4.2.5 Limitations of Conventional Downsamplings in YOLO Series. 70
• 4.3 Detailed Structure of the SpAttDown Module 72
• 4.4 Framework of SpAttDown Modeified Detection Model. 76
• 4.4.1 SpAttDown-YOLOv8n 76
• 4.4.2 SpAttDown-YOLOv11n. 79
• 4.5 Conclusion of This Chapter. 81
• Ⅴ. Joint Improvement on YOLOv8n and YOLOv11n for Student Behavior Detection. 82
• 5.1 Motivation for Joint Improvement 82
• 5.2 Joint Improvement Strategy for Different Base Models . 84
• 5.2.1 Joint Improved Model Based on YOLOv8n. 84
• 5.2.2 Joint Improved Model Based on YOLOv11n. 85
• 5.3 Conclusion of This Chapter. 86
• Ⅵ. Experimental Results and Analysis 88
• 6.1 Datasets and Experimental Setup 88
• 6.1.1 Dataset 88
• 6.1.2 Experimental Setup 89
• 6.2 Evaluation Metrics 91
• 6.3 Experimental Results and Analysis of Single-Modified Models 92
• 6.3.1 Results and Analysis of Head-Modified Models on Learning Behavior Datasets. 92
• 6.3.2 Results and Analysis of Downsampling-Modified Models on Exam Behavior Datasets 94
• 6.4 Results and Analysis of Joint Improved Models. 100
• 6.5 Visualization Analysis of Model Performance 106
• 6.5.1 Training Process Visualization . 106
• 6.5.2 Visualization of Comparison on Detection Effects 109
• 6.6 Conclusion of This Chapter. 112
• Ⅶ. Conclusion 114
• Reference 117
• 논문요약 126