LiDAR 센서 기반 신체 골격 추적을 통한 근골격계 부하 예측

국문 초록 (Abstract)

전 세계 조선 산업은 인공지능(AI), 사물인터넷(IoT), 빅데이터 등 첨단 정보통신기술(ICT)을 접목한 스마트 야드(Smart Yard) 체제로의 전환을 가속화하고 있다. 스마트 야드의 궁극적 목표는 생산성 향상뿐 아니라, 작업자의 안전 확보 및 건강 보호를 통한 지속가능한 작업환경 조성에 있다. 특히 용접과 같은 고위험 수작업 공정에서는 부적절한 작업 자세가 근골격계 질환(Musculoskeletal Disorders, MSD)을 유발하는 주요 요인으로 작용하며, 중대재해처벌법 시행 이후 이러한 위험 요소에 대한 선제적 대응의 중요성이 더욱 강조되고 있다. 본 연구에서는 별도의 착용형 센서 없이, 비접촉 방식으로 작업자의 신체 골격을 실시간으로 추적하고 근골격계 부하 및 누적 피로도를 정량적으로 추정할 수 있는 시스템을 제안하였다.
LiDAR가 탑재된 스마트 기기를 기반으로, 2차원 관절 좌표와 depth map을 정합하여 작업자의 3차원 관절 위치를 실시간으로 산출하였다. 산출된 3차원 관절 데이터를 기반으로 해부학적 기준면을 설정하고, 역기구학 알고리즘을 적용하여 어깨, 허리, 고관절 등 주요 관절 각도를 계산하였다. 특히, 어깨의 외회전(glenohumeral external rotation)과 같이 복잡한 3차원 회전 관절은 가상 팔을 생성하여 실제 팔과 비교함으로써 보다 정확하고 일관된 측정이 가능하도록 하였다.
산출된 관절 각도를 입력 변수로, 상용 근골격계 해석 소프트웨어를 통해 획득한 근골격계 부하 데이터를 출력 변수로 설정하여 회귀 모델 학습을 수행하였다. 선형 회귀, 다층 퍼셉트론(MLP), XGBoost 등의 알고리즘을 비교 분석한 결과, XGBoost가 가장 우수한 성능을 나타내었다. 학습 데이터는 IMU 기반 고정밀 모션 캡처 장비를 활용하여 수집하였으며, 데이터 품질 확보 및 분포 균형을 위해 정제 및 구간별 리샘플링 과정을 거쳤다. 또한 예측된 부하 지표를 시간 축으로 누적하여 누적 피로도를 산출하고, 이를 반영한 위험 수준 평가가 가능하도록 구성하였다.
최종적으로 구현된 어플리케이션은 관절 추적, 역기구학 계산, 근골격계 부하 예측 및 누적 피로도 갱신을 온디바이스(On-device) 환경에서 실시간으로 수행하며, 관리자 또는 감독자가 피로 수준을 시각적으로 확인하고 기록할 수 있도록 설계하였다. 본 연구는 산업 현장의 근골격계 부담을 사전에 모니터링하고 예방할 수 있는 스마트 야드 환경의 구현을 위한 실용적 기술적 대안으로 활용될 수 있을 것이다.

주제어: 근골격계 질환(MSD), 근골격계 부하 추정, 누적 피로도, LiDAR 센서, 3차원 관절 추적, 기계 학습, 작업 자세 평가

다국어 초록 (Multilingual Abstract)

The global shipbuilding industries are accelerating the transition toward smart yards by incorporating advanced Information and Communication Technologies (ICT) such as Artificial Intelligence (AI), the Internet of Things (IoT), and big data. The ultimate goal of smart yards is not only to improve productivity but also to ensure workers’ safety and protect their health, thereby creating a sustainable working environment. In particular, improper working postures in high-risk manual processes such as welding are a major cause of Musculoskeletal Disorders (MSDs), and the importance of proactive responses to such risk factors has been further emphasized following the enforcement of Korea’s Serious Accidents Punishment Act. This study proposes a system that, without any wearable sensors, tracks a worker’s skeletal motion in real time in a contactless manner and quantitatively estimates both musculoskeletal load and accumulated fatigue.
Using a LiDAR-equipped smart device, 2D joint keypoints are aligned with a depth map to compute 3D joint positions in real time. Based on the resulting 3D joint data, anatomical reference planes are defined and an inverse kinematics algorithm is applied to calculate joint angles of major joints such as the shoulder, trunk, and hip. In particular, for complex three-dimensional rotations such as glenohumeral external rotation, a virtual arm is generated and compared with the actual arm to enable more accurate and consistent measurements.
Regression models were trained by using the computed joint angles as input variables and musculoskeletal load data obtained from a commercial musculoskeletal analysis software as output variables. Among Linear Regression, Multi-Layer Perceptron (MLP), and XGBoost, XGBoost achieved the best performance. Training data were collected using high-precision IMU-based motion capture equipment, and data refinement and interval-wise resampling were performed to ensure data quality and a balanced distribution. In addition, accumulated fatigue was computed by integrating the predicted load indicators over time, enabling risk-level assessment that accounts for fatigue accumulation.
Finally, the implemented application performs joint tracking, inverse kinematics computation, musculoskeletal load prediction, and accumulated-fatigue updates in real time in an on-device environment, allowing managers or supervisors to visually inspect and record fatigue-related status. The proposed approach can serve as a practical technical alternative for implementing smart yard environments that proactively monitor and help prevent musculoskeletal burden in industrial workplaces.

Keywords: musculoskeletal disorders (MSD), musculoskeletal load estimation, accumulated fatigue, LiDAR sensor, 3D joint tracking, machine learning, work posture assessment

목차 (Table of Contents)

• List of Tables ⅲ
• List of Figures ⅲ
• Abstract v
• 1. 서론 1
• 1.1 연구 배경 1
• 1.1.1 조선소 작업 환경 1
• 1.1.2 연구 필요성 2
• 1.2 선행 연구 3
• 1.2.1 접촉식 측정 방식 3
• 1.2.2 비접촉식 측정 방식 3
• 1.3 연구 목표 4
• 2. 3차원 관절 좌표 획득 6
• 2.1 2차원 관절 좌표 획득 7
• 2.2 깊이 정보 획득 8
• 2.3 2차원 관절 좌표 및 깊이 정보 결합 10
• 3. 생체역학 해석을 위한 관절 정보 처리 12
• 3.1 Unprojection(역투영) 12
• 3.2 Vector projection 15
• 3.3 Euler-Rodrigues formula 16
• 3.3.1 동적 기준 좌표계 생성 17
• 3.3.2 가상 전완 벡터 생성 17
• 3.3.3 실제 전완 벡터와의 비교 18
• 3.4 관절 각도 산출 결과 19
• 4. 작업자세 데이터 수집 및 정제 22
• 4.1 데이터 수집 프로토콜 및 시나리오 22
• 4.2 모션 데이터 수집 22
• 4.2.1 IMU 센서 기반 모션 캡처 22
• 4.2.2 BVH 데이터 수집 24
• 4.3 근골격계 부하 데이터 획득 26
• 4.4 데이터셋의 구성 및 전처리 27
• 5. 근골격계 부하 예측 모델 선정 및 평가 29
• 5.1 예측 모델 후보 선정 및 하이퍼파라미터 최적화 29
• 5.2 모델 평가 및 최적 모델 선정 30
• 5.2.1 모델 성능 평가 및 결과 비교 30
• 5.2.2 최적 모델 선정 및 시각화 34
• 6. 누적 피로도 평가 시스템 36
• 6.1 누적 피로도 계산 모델 36
• 6.2 휴식 임계값 설정 37
• 6.3 작업 부하에 따른 위험 관리 기준 수립 37
• 7. 실시간 근골격계 부담 평가 어플리케이션 39
• 7.1 어플리케이션 주요 기능 39
• 7.2 기대 효과 40
• 8. 결론 41
• 8.1 요약 41
• 8.2 향후 과제 42
• 참고문헌 43
• 초록 47