카메라 기반 비접촉식 실시간 EOG 측정 기법에 관한 연구

국문 초록 (Abstract)

본 논문에서는 피부에 부착한 전극을 통해 계측하는 전통적인 Electrooculography(EOG) 측정 방식이 가지는 착용 불편, 피부 자극, 장시간 모니터링 시의 실용적 한계를 완화하기 위하여 범용 RGB 카메라 영상만을 이용하여 EOG 파형을 실시간으로 추정하는 비접촉식 측정 기법을 제안한다. 이를 위해 RGB 카메라와 2채널 EOg 계측 모듈을 이용하여 약 30fps의 얼굴 영상화 100Hz의 수평 및 수직 EOG 신호를 동기화하여 동시에 취득하는 시스템을 구축하고, 타임스탬프 기반 실시간 수집 파이프라인을 설계하였다. 카메라 영상에는 MediaPipe Facemesh를 적용하여 468개 얼굴 랜드마크 중 눈 및 홍채 주변 좌표를 추출하고, 얼굴 좌표계에 정규화된 홍채 위치, 눈 종횡비(EAR), 속도 및 가속도 등 안구운동을 반영하는 기하학적 눈 특징 시계열을 정의하였다. 한편 EOG 신호는 아날로그 증폭 및 대역 필터링 후 디지털화하여 각 카메라 프레임 시각 이전의 최근 샘플을 평균함으로써 프레임에 대응되는 대표 EOG 값을 생성하고, 얼굴 및 눈 랜드마크 인식 실패 프레임을 제거하는 전처리를 통해 카메라-EOG 통합 시계열 데이터셋을 구축하였다. 구축된 데이터셋을 이용하여 일정 길이의 시간 윈도우에 대해 카메라 기반 눈 특징 시퀀스를 입력으로 하고, 윈도우 끝 시점의 수평 및 수직 EOG 값을 동시에 회귀하도록 하는 GRU 기반 시계열 모델을 설계하였다. 시퀀스 길이와 GRU 은닉 구조를 변화시키며 학습을 수행하고, 시험 데이터에서의 MSE, RMSE, MAE, 피어슨 상관계수 및 추론 시간을 비교하였다. 그 결과 시퀀스 길이가 증가할수록 오차 지표는 감소하고 상관계수는 증가하나, 3초 이후에는 성능 향상이 포화되는 경향을 보였으며, 3초 시퀀스와 2층 GRU(128–96) 구조 조합에서 수평 및 수직 채널 평균 기준 상관계수 약 0.83, RMSE 약 0.07 수준의 성능을 달성하였다. 또한, 2층 GRU(128–96) 구조는 1층 GRU 대비 상관계수와 오차가 소폭 개선되는 동시에 시퀀스당 평균 추정 시간이 약 0.6ms로 유지되어 실시간 적용에 적합한 모델로 확인되었다. 최종 선정된 모델을 웹캠 입력과 연동하여 총 8명의 피험자를 대상으로 실시간 EOG 추정 실험을 수행한 결과, 피험자별 채널 평균 기준 MSE 약 0.0106, RMSE 약 0.1016, MAE 약 0.0732, 상관계수 약 0.767 수준을 보였으며, 좌우 및 상하 시선 전환과 같은 주요 안구운동 이벤트에서 추정 파형이 기준 EOG의 피크 시점과 부호, 상대적 진폭 변화를 안정적으로 재현함을 확인하였다. 반면 고정 응시 구간에서는 기준 파형보다 추정 파형 쪽에 고주파 잡음이 상대적으로 크게 포함되고, 눈 깜빡임과 같은 짧은 고진폭 이벤트에서는 피크 진폭이 과소 추정되거나 지속 시간이 완만하게 표현되는 한계가 관찰되었다. 이는 카메라 기반 눈 특징이 고주파 성분에 둔감하고, 3초 길이 시퀀스를 입력으로 사용하는 GRU 구조가 과거 구간의 정보를 함께 반영하는 과정에서 새로운 이벤트의 영향이 시간적으로 평활되기 때문으로 해석된다. 그럼에도 불구하고 제안한 기법은 피부 전극 부착 없이도 카메라만으로 EOG 수준의 연속적인 안구운동 정보를 실시간으로 추정할 수 있음을 보여주며, 차량 내부나 산업 안전 모니터링, 장시간 작업 환경에서의 사용자 상태 평가 등 기존 카메라 인프라를 활용한 비접촉식 생체 신호 계측 수단으로서의 가능성을 제시한다. 향후에는 MediaPipe Facemesh 랜드마크의 프레임 간 흔들림을 저감하기 위한 전처리와 눈 주변 미세 근육 움직임 특징을 추가하여 눈을 감고 있는 상태에서도 추정 성능을 유지하고, 다양한 촬영 조건과 피험자군에 대한 데이터 확장을 통해 모델의 일반화 성능과 실용성을 더욱 향상시킬 필요가 있다.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1.1 연구 배경 및 필요성 1
• 1.2 선행 연구 3
• 1.3 연구 목적 및 내용 5
• Ⅱ. 이론 7
• 2.1 Electrooculography(EOG) 7
• 2.2 MediaPipe Facemesh 8
• 2.3 Gated Recurrent Unit(GRU) 9
• Ⅲ. 데이터 수집 및 딥러닝 기반 EOG 추정 방법 11
• 3.1 시스템 구성 11
• 3.2 데이터 수집 방법 13
• 3.2.1 EOG 신호 계측 13
• 3.2.2 카메라 영상 계측 16
• 3.3 카메라 기반 눈 특징 추출 및 카메라-EOG 동기화 17
• 3.3.1 안구 랜드마크 검출 및 특징 정의 17
• 3.3.2 학습용 데이터셋 구성 및 전처리 20
• 3.4 GRU 기반 EOG 추정 모델 23
• 3.4.1 입력 시퀀스 구성 23
• 3.4.2 GRU 기반 EOG 추정 모델 구조 24
• 3.4.3 학습 설정 및 데이터 분할 25
• Ⅳ. 실험 및 결과 27
• 4.1 실험 설계 27
• 4.1.1 실험 데이터 및 공통 설정 27
• 4.1.2 시퀀스 길이 설정 및 비교 실험 설계 28
• 4.1.3 GRU 은닉 구조 설정 및 비교 실험 설계 29
• 4.1.4 실시간 추정 실험 설계 29
• 4.2 평가 지표 및 평가 방법 31
• 4.3 GRU 모델 성능 비교 결과 34
• 4.3.1 시퀀스 길이별 성능 비교 34
• 4.3.2 GRU 구조별 성능 비교 41
• 4.4 실시간 추정 실험 결과 47
• Ⅴ. 결론 52
• 참고문헌 55
• Abstract 57