Group Behavior Recognition Algorithm Based on Human Posture in Complex Scenes = 복잡장면의 휴먼동작기반 그룹행동인식 알고리즘

다국어 초록 (Multilingual Abstract)

With the rapid development of intelligent transportation systems, accurately perceiving and understanding pedestrian behavior has become the key to ensuring road safety. However, the diversity of pedestrian occlusion and behavior in complex traffic scenarios poses significant challenges to environmental perception systems. This paper focuses on this issue and conducts systematic research on pedestrian detection and behavior recognition based on human posture skeleton sequences, aiming to develop an algorithm solution that combines high precision and high real-time performance. In the field of 2D human pose estimation, this paper proposes the lightweight network IDP-Net. This network takes the high-resolution network as the baseline and innovatively designs the IDP basic module and the peer feature fusion module. While ensuring the accuracy of pose estimation, it significantly reduces the number of parameters and computational complexity of the model, meeting the strict requirements of the intelligent driving system for the real-time performance of the algorithm. To address the challenge of pose estimation in severely occlusive scenarios, this paper proposes a 3D human pose estimation CTP model based on multiple perspectives. This model operates directly in the 3D voxel space. By projecting 2D joint features from multiple perspectives onto a unified three-dimensional space, it effectively solves the problem of joint occlusion in a single perspective. The CTP model adopts a strategy of first detecting the center point of pedestrians and 3D bounding boxes, and then regressing the center points of each joint, avoiding the complex process of matching joint points and performing well in multi-person occlusion scenarios. At the level of behavior recognition, this paper proposes a multi-stream adaptive attention subgraph convolution method based on graph convolutional neural networks. By traversing the sequence of depth-first trees to construct subgraphs, adaptively learning the association weights among various body parts, and embedding the ECA channel attention module, the recognition accuracy of pedestrian behavior has been significantly improved. The multi-stream framework is adopted to integrate the physical structure information and motion information of the human body, further enhancing the algorithm's ability to discriminate complex behaviors. To support algorithm research, this paper also constructs a pedestrian behavior dataset for intelligent transportation scenarios, including a singleview dataset based on on-board cameras and a multi-view dataset based on multi-view visual sensors at intersections, providing an important data foundation for training and validating behavior recognition algorithms. The experimental results show that the series of methods proposed in this paper have achieved competitive performance on public benchmark datasets, effectively enhancing the accuracy and robustness of pedestrian perception in complex traffic scenarios, and providing reliable technical support for the practical application of intelligent transportation systems.

국문 초록 (Abstract)

지능형 교통 시스템의 급속한 발전에 따라 보행자 행동을 정확하게 인식하고 이해하는 것은 도로 안전을 보장하는 핵심 요소이다. 그러나 복잡한 교통 환경에서 발생하는 보행자의 가려짐 및 다양한 행동 양상은 환경 인식 시스템에 큰 과제를 제기한다. 본 논문은 이러한 문제를 해결하기 위해 인간 자세 골격 시퀀스에 기반한 보행자 검출 및 행동 인식 연구를 체계적으로 수행하여, 높은 정확도와 실시간 성능을 모두 갖춘 알고리즘 솔루션 개발을 목표로 한다. 2D 인간 자세 추정 분야에서는 경량 네트워크인 IDP-Net을 제안한다. 이 네트워크는 고해상도 네트워크를 기본 모델로 채택하고, 혁신적인 IDP 기본 모듈 및 동급 특징 융합 모듈을 설계하여 자세 추정 정확도를 유지하면서 모델의 매개변수 수와 계산 복잡도를 현저히 낮춰, 지능형 주행 시스템의 실시간 성능 요구사항을 충족시킨다. 심각한 가려짐 환경에서의 자세 추정 문제를 해결하기 위해, 다중 시점 기반 3D 인간 자세 추정 CTP 모델을 제안한다. 이 모델은 3D 복잡 공간에서 직접 작동하며, 다중 시점의 2D 관절 특징을 통일된 3D 공간에 투영하여 단일 시점에서의 관절 가려짐 문제를 효과적으로 해결한다. CTP 모델은 보행자의 중심점과 3D 경계 상자를 먼저 검출한 후 각 관절의 중심점을 회귀하는 전략을 사용하여 복잡한 관절점 매칭 과정을 피하고, 다중 보행자 및 가려짐 환경에서 뛰어난 성능을 보여준다. 행동 인식 측면에서는 그래프 합성곱 신경망(GCN)을 기반으로 한 다중 스트림 적응형 주의 하위 그래프 합성곱 방법을 제안한다. 깊이 우선 탐색 순서를 통해 하위 그래프를 구성하고 신체 부위 간의 연관 가중치를 적응적으로 학습하며, ECA 채널 주의 모듈을 삽입하여 보행자 행동 인식 정확도를 크게 향상시킨다. 신체의 물리적 구조 정보와 운동 정보를 융합하는 다중 스트림 프레임워크를 사용하여 복잡한 행동 판별 능력을 더욱 강화하였다. 알고리즘 연구를 위하여, 본 논문에서는 차량 탑재 카메라 기반의 단일 시점 데이터셋과 교차로 다중 시점 비전 센서 기반의 다중 시점 데이터셋을 포함하는 지능형 교통 환경 맞춤형 보행자 행동 데이터셋을 구축하여, 행동 인식 알고리즘의 학습과 검증에 중요한 데이터 기반을 마련하였다. 실험 결과, 본 논문에서 제안한 일련의 방법들은 공개 벤치마크 데이터셋에서 경쟁력 있는 성능을 달성했으며, 복잡한 교통 환경에서 보행자 인식의 정확성과 강건성을 효과적으로 향상시켜, 지능형 교통 시스템의 실제 적용에 유용한 기술적 지원을 제공하였다.

목차 (Table of Contents)

• I. Introduction..........................................................................................................1
• 1.1 Background and Significance of the Study ...............................................1
• 1.2 Current Status of Research in People Behavior Recognition ....................4
• 1.3 Research Content and Innovation Points in this Thesis...........................10
• II. Related Works...................................................................................................16
• 2.1 Behavior Recognition Methods Based on Skeleton Sequences...............16
• 2.2 Algorithm for Analyzing People Behavior in Complex Scenarios..........22
• 2.3 Group Behavior Analysis Method based on Anchor Points ....................23
• 2.3.1 KLT Feature Point Extraction Algorithm......................................25
• 2.3.2 Interaction Degree.........................................................................27
• 2.4 Experimental Results and Analysis .........................................................29
• III. Pedestrian Database for Intelligent Transportation System.................................30
• 3.1 Introduction .............................................................................................30
• 3.2 2D Single-Viewpoint Pedestrian Behavior Video Dataset.......................32
• 3.2.1 Vehicle-Mounted Camera Dataset.................................................32
• 3.2.2 Extraction of Public Dataset Videos..............................................34
• 3.3 3D Multi-Perspective Pedestrian Behavior Video Dataset......................36
• 3.4 Classification of Pedestrian Behavior Categories....................................39
• 3.5 Dataset Annotation and Division.............................................................40
• 3.5.1 Model Training and Inference.......................................................40
• 3.5.2 Analysis of the Datast ...................................................................41
• IV. 2D Human Posture Estimation Algorithms ........................................................48
• 4.1 Introduction .............................................................................................48
• 4.2 Lightweight 2D Human Posture Estimation Network Framework..........49
• 4.2.1 Key Technologies Suitable for Human Body Pose Estimation.....50
• 4.2.2 IDP-Net Model Architecture.........................................................53
• 4.3 Equivalence Residual Block and Parallel Module of Dense Layers........55
• 4.3.1 Mainstream Convolutional Module ..............................................55
• 4.3.2 Asymmetric and Symmetric Convolution Fusion Module............58
• 4.3.3 Parallel Module of The Dense Layer ............................................60
• 4.4 High-Resolution Feature Fusion Module of The Same Level.................63
• 4.5 Model Accuracy and Speed Balance Strategy .........................................64
• V. 3D Human Posture Estimation Algorithm Based on Multiple Perspectives.....66
• 5.1 Introduction .............................................................................................66
• 5.2 Multi-view 3D Human Posture Estimation Network Framework ...........68
• 5.2.1 3D Convolutional Basic Theory Model ........................................68
• 5.2.2 Three-dimensional Spatial Point Data Processing ........................70
• 5.2.3 Multi-View Human Key-point Network Architecture ..................72
• 5.3 CTP Network Model Head Detection......................................................74
• 5.3.1 Voxelization encoding...................................................................74
• 5.3.2 Center Point Classification Module ..............................................75
• 5.3.3 Bounding box regression module .................................................77
• 5.4 Posture Regression Module .....................................................................78
• 5.5 Main Network Structure ..........................................................................79
• VI. Experimental Results and Analysis.................................................................82
• 6.1 Experimental results of 2D Human Posture Estimation ..........................82
• 6.2 Experimental results of 2D Human Posture Estimation ..........................93
• Ⅶ. Conclusions...................................................................................................101
• References...........................................................................................................105
• 논문요약.............................................................................................................111