뇌파기반 정신적 피로 판별을 위한 딥러닝 모델

서쌍희,Seo, Ssang-Hee 한국디지털정책학회 2021 디지털융복합연구 Vol.19 No.10

Individual mental fatigue not only reduces cognitive ability and work performance, but also becomes a major factor in large and small accidents occurring in daily life. In this paper, a CNN model for EEG-based mental fatigue discrimination was proposed. To this end, EEG in the resting state and task state were collected and applied to the proposed CNN model, and then the model performance was analyzed. All subjects who participated in the experiment were right-handed male students attending university, with and average age of 25.5 years. Spectral analysis was performed on the measured EEG in each state, and the performance of the CNN model was compared and analyzed using the raw EEG, absolute power, and relative power as input data of the CNN model. As a result, the relative power of the occipital lobe position in the alpha band showed the best performance. The model accuracy is 85.6% for training data, 78.5% for validation, and 95.7% for test data. The proposed model can be applied to the development of an automated system for mental fatigue detection. 개인의 정신적 피로는 인지능력 및 업무 수행능력을 감소시킬 뿐만 아니라 일상에서 발생하는 크고 작은 사고의 주요 요인이 된다. 본 논문에서는 EEG 기반의 정신적 피로 판별을 위한 CNN 모델을 제안하였다. 이를 위해 안정 상태와 작업 상태에서의 뇌파를 수집하여 제안한 CNN 모델에 적용한 후 모델 성능을 분석하였다. 실험에 참여한 피험자들은 모두 대학교에 재학 중인 오른손잡이 남학생들이며 평균 나이는 25.5세이다. 각 상태에서의 측정된 뇌파에 대해 스펙트럼분석을 수행하였으며, CNN 모델의 입력데이터로써 원시 EEG 신호, 절대파워, 상대파워를 사용하여 CNN모델의 성능을 비교 분석하였다. 그 결과, 알파대역 후두엽 위치의 상대파워가 가장 좋은 성능을 나타내었다. 모델정확도는 훈련데이터 85.6%, 검증데이터 78.5%, 시험데이터 95.7%이다. 제안한 모델은 정신적 피로 판별을 위한 자동화시스템 개발에 적용될 수 있다.

Development of a Web Platform System for Worker Protection using EEG Emotion Classification

서쌍희 한국사물인터넷학회 2023 한국사물인터넷학회 논문지 Vol.9 No.6

As a primary technology of Industry 4.0, human-robot collaboration (HRC) requires additional measures to ensure worker safety. Previous studies on avoiding collisions between collaborative robots and workers mainly detect collisions based on sensors and cameras attached to the robot. This method requires complex algorithms to continuously track robots, people, and objects and has the disadvantage of not being able to respond quickly to changes in the work environment. The present study was conducted to implement a web-based platform that manages collaborative robots by recognizing the emotions of workers – specifically their perception of danger – in the collaborative process. To this end, we developed a web-based application that collects and stores emotion-related brain waves via a wearable device; a deep-learning model that extracts and classifies the characteristics of neutral, positive, and negative emotions; and an Internet-of-things (IoT) interface program that controls motor operation according to classified emotions. We conducted a comparative analysis of our system’s performance using a public open dataset and a dataset collected through actual measurement, achieving validation accuracies of 96.8% and 70.7%, respectively.

뇌파를 활용한 IoT기반 스마트홈 시스템 구현

서쌍희 국제차세대융합기술학회 2021 차세대융합기술학회논문지 Vol.5 No.6

본 논문은 나이가 많거나 몸이 불편한 사람을 위해 뇌파를 사용하여 가정 내에서 장치 및 가전제어가 가 능한 스마트 홈 시스템을 구현하였다. 구현 시스템은 크게 사용자의 뇌파 수집 및 유도를 위한 모바일 앱 부분과 수집된 뇌파의 특징을 추출하고 분류하는 뇌파처리 부분과 이를 명령으로 전달하여 창문을 개폐하는 IoT 부분으 로 나누어진다. 모바일 앱은 안드로이드 기반으로 개발하였으며, 제어명령 생성을 위한 뇌파 특징 추출 및 분류를 위해 CNN모델을 적용하였다. 또한 라즈베리파이를 활용하여 창문제어를 위한 IoT 환경을 구축하였다. 개발된 시 스템은 사용자가 방향을 상상한 이후 원하는 방향으로 동작할 때까지 약 2.3 초가 소요되었으며, 평균 84%의 정 확도를 가지고 동작하였다. 구현 시스템은 창문뿐만 아니라 가정 내 다양한 장치나 가전 제어에 적용될 수 있다. In this paper, we implemented a smart home system that can control devices and home appliances in the home using EEG for the elderly or physically disabled. The implementation system is largely divided into a mobile application part for collecting and inducing the user’s brain waves, an EEG processing part that extracts and classifies the characteristics of the collected brain waves, and an IoT part that opens and closes a window by transmitting it as a command. The mobile application was developed based on Android, and a CNN model was applied to extract and classify EEG features for generating control commands. In addition, an IoT environment for window control was established using Raspberry Pi. The developed system took about 2.3 seconds from the time the user imagined the direction to the desired direction, and operated with an average accuracy of 84%. The developed system can be applied not only to windows, but also to control various devices and home appliances in the home.

정신적 피로 판별을 위한 뇌파 스펙트럼 기반 특징 파라미터 도출

서쌍희,Seo, Ssang-Hee 중소기업융합학회 2021 융합정보논문지 Vol.11 No.10

본 논문은 뇌파 측정 및 분석을 통해 정신적 피로를 반영하는 특징 파라미터를 도출하고자 하였다. 이를 위해 30분간 눈을 감은 편안한 안정 상태와 뺄셈연산을 암산으로 수행하는 작업을 통해 정신적 피로를 유도하였다. 5명의 피험자가 실험에 참가하였으며, 피험자들은 모두 대학 재학 중인 오른손잡이 남학생들이며 평균 나이는 25.5세이다. 정신적 피로를 반영하는 특징 파라미터 도출을 위해 실험 처음과 마지막에서 수집된 뇌파에 대해 스펙트럼분석을 수행하였다. 분석 결과, 정신적으로 피로할수록 후두엽 및 측두엽 위치에서 알파대역의 절대파워는 증가한 반면 상대파워는 감소하였다. 또한 안정 상태와 작업 상태간 파워 차이는 절대파워에 비해 상대파워가 크게 나타났다. 이 결과는 후두엽 및 측두엽 위치에서의 알파 상대파워가 정신적 피로를 반영하는 특징 파라미터임을 나타낸다. 본 연구 결과는 운전 중 피로 및 졸음 판단과 같은 정신적 피로 판별을 위한 자동화시스템 개발을 위한 특징 파라미터로 활용될 수 있다. In this paper, we tried to derive characteristic parameters that reflect mental fatigue through EEG measurement and analysis. For this purpose, mental fatigue was induced through a resting state with eyes closed and performing subtraction operations in mental arithmetic for 30 minutes. Five subjects participated in the experiment, and all subjects were right-handed male students in university, with an average age of 25.5 years. Spectral analysis was performed on the EEG collected at the beginning and the end of the experiment to derive feature parameters reflecting mental fatigue. As a result of the analysis, the absolute power of the alpha band in the occipital lobe and the temporal lobe increased as the mental fatigue increased, while the relative power decreased. Also, the difference in power between resting state and task state showed that the relative power was larger than the absolute power. These results indicate that alpha relative power in the occipital lobe and temporal lobe is a feature parameter reflecting mental fatigue. The results of this study can be utilized as feature parameters for the development of an automated system for mental fatigue determination such as fatigue and drowsiness while driving.

스마트 환경에서의 실시간 재난 안전 관리 솔루션 설계

서쌍희,김봉현 한국디지털정책학회 2020 디지털융복합연구 Vol.18 No.7

BCI 제어를 위한 뇌신호 분류에서의 딥러닝 모델 개발

서쌍희 국제차세대융합기술학회 2020 차세대융합기술학회논문지 Vol.4 No.5

EEG는 활동 중인 뇌 상태를 반영하는 복잡한 신호이며 정확한 해석을 위해서는 신호처리와 특징추출 그 리고 적절한 분류알고리즘이 필요하다. BCI는 몸이 불편한 사람이 주변 환경과 소통할 수 있는 시스템을 말한다. EEG장치는 BCI 시스템에서 뇌신호를 기록하기 위해 널리 사용된다. EEG 신호의 전처리, 특징추출과 분류는 BCI 응용 분야에서 시스템의 신뢰도에 영향을 미치는 중요한 부분이다. 본 논문에서는 운동상상할 때의 EEG 신 호 분류를 위해 딥러닝 모델을 제안하고자 한다. 효과적인 모델 제안을 위해 웨어러블 EEG 장치를 통해 측정된 데이터를 다층신경망 모델, 합성곱신경망 모델, 순환신경망 모델에 적용한 후 세 모델 간 성능을 비교, 분석하였 다. 세 모델 중 합성곱신경망 모델의 분류정확도가 가장 높았으며, 약 84%로 나타났다. EEG is a complex signal that reflects an active brain state and requires signal processing, feature extraction, and an appropriate classification algorithm for accurate interpretation. BCI refers to a system that enables people with disabilities to communicate with their surroundings. EEG device is used to record brain signals in BCI system. Feature extraction and classification of EEG signals is an important part that affects the reliability of the BCI applications. In this paper, we propose a deep learning model for EEG signal classification during motor imagery. In orer to propose an effective model, the data measured through the wearable EEG device were applied to the multi-layer perceptron, CNN, and LSTM model, and then the performance of the three models was compared and analyzed. Among the three models, the CNN model had the highest classification accuracy, which was about 84%.

EEG와 타액 코티졸에 근거한 스트레스 반응

서쌍희(Ssang-Hee Seo),장상동(Sang-Dong Jang),김봉현(Bong-Hyun Kim) 한국산학기술학회 2014 한국산학기술학회 학술대회 Vol.2014 No.2

본 논문은 스트레스에 대한 신경생리학적 특징을 파악하기 위해 EEG와 타액 코티졸 반응을 연구하였다. 33명(9:여성, 24:남성, 평균연령: 35세) 피험자들이 본 실험에 참여하였으며, 피험자들은 스트레스 설문지를 작성한 후, 스트레스 유발 환경 하에서 EEG실험을 수행하였으며, 이후 타액이 채취되었다. 스트레스와 EEG간의 상관관계를 파악하기 위하여 본 연구에서는 스트레스 호르몬인 코티졸을 기준으로 스트레스 그룹을 분류하였으며, 이 그룹들 간의 EEG 특성을 통해 EEG와 스트레스간의 관계를 파악하였다. 분석 결과, 타액속의 코티졸과 EEG highbeta 대역의 상대파워와 밀접한 상관관계를 가지는 것으로 나타났으며, 특히 전방측두엽에서 EEG highbeta 대역의 활동이 높을수록 코티졸 수치가 높은 것으로 나타났다. 이 결과는 EEG가 스트레스와 밀접한 관련이 있으며, 스트레스 반응에 대한 효과적인 요소가 될 수 있음을 나타낸다.

정서조절에 관한 Event related potentials 및 행동학적 반응 연구

서쌍희(Seo, Ssang-Hee) 한국산학기술학회 2013 한국산학기술학회논문지 Vol.14 No.10

본 논문은 정서-주의 태스크를 수행할 때의 신경학적, 행동학적 반응이 정서조절 능력을 반영할 수 있는지를 측정하였다. 이를 위해, 건강한 성인 남녀 19명을 대상으로 3일에 걸쳐 1일 1회씩 동일 시간대에 정서-주의 상호작용 이 요구되는 실험을 수행하였다. 이 실험을 통해 정서를 유발하는 비디오를 보여주기 전과 후, 정서-주의 태스크를 수행할 때의 EEG와 반응시간이 측정되었다. ERP P100과 P300 성분 간의 밀접한 상관관계가 나타났으며, P100 진 폭이 높을수록 P300 잠재기가 길게 나타났다. 또한 P300 잠재기가 길수록 반응시간이 길게 나타났다. 또한, 정서-주 의 태스크를 수행할 때 ERP 성분과 반응시간에 개인별 차이가 존재하였다. 정서유발을 위해 사용된 비디오 자극의 유형에 관계없이 ERP 성분의 낮은 진폭과 빠른 잠재기를 나타낸 집단이 더 빠른 반응시간을 나타내었다. 이러한 반 응특성은 목표인식에 대한 성급한 반응으로 해석될 수 있으며, 낮은 정서 조절력과 관련이 있다고 할 수 있다. This paper measured whether neural and behavior responses to attention-emotion task were reflected to emotion regulation capacities. For this purpose, Nineteen healthy right-handed graduates participated in the emotion-attention task three times for three days. Before and after the negative and positive video clips were shown, the participants performed emotion-attention task. EEG and response time were recorded during emotion-attention task. There was positive correlation between ERP P100 and P300 component. The larger the P100 amplitudes at the specific positions, the longer the P300 latencies at these same positions during attention-emotion task. The longer the P300 latencies at the specific positions, the longer the delay in response time. Also, there is and individual differences in ERP components and response time during attention-emotion integration task. Individuals who had lower amplitude and shorter latency of ERP showed faster response time during attention-emotion task, regardless of the type of video clips. This characteristic was interpreted to the lower emotional controls due to premature response for target identification.

인공 신경망을 이용한 화학적 혼합물의 성분 분석을 위한 시스템 설계

서쌍희(Ssang Hee Seo),이재영(Jae Young Lee) 경남대학교 기초과학연구소 1998 慶南大學校 基礎科學硏究所 硏究報告 Vol.12 No.-

청각적 스트레스 자극에 대한 EEG 비대칭성 및 ERP 반응

서쌍희(Ssang-Hee Seo),장상동(Sang-Dong Jang),김봉현(Bong-Hyun Kim) 한국산학기술학회 2014 한국산학기술학회 학술대회 Vol.2014 No.2

본 논문은 청각적 스트레스 자극에 대한 신경학적 특징을 파악하기 위해 전두엽 EEG 비대칭성과 ERP 반응을 연구하였다. 20명(3:여성, 17:남성, 평균연령: 25세) 피험자들이 본 실험에 참가하였다. 청각자극으로서 부정적 감정을 유도하기 위해 여자의 비명소리를 사용하였으며, 이와 상반되는 긍정적 감정을 유도하기 위해 조용한 새소리를 사용하였다. 조용한 새소리에 비해 여자의 비명소리를 들었을 때 N200 과 P300의 진폭이 모두 높게 나타났으며, N200과 P300의 잠재기가 짧게 나타났다. 또한 조용한 새소리에 비해 여자의 비명소리를 들었을 때 오른쪽 전두엽의 활동성이 더 크게 나타났다. 이 결과들은 부정적 감정을 유발하는 청각적 자극이 전두엽에서의 EEG 비대칭성 및 N200, P300과 같은 ERP 요소들과 밀접한 관련이 있음을 나타낸다.