CNN 기반 인간 동작 인식을 위한 생체신호 데이터의 증강 기법

게렐바트,권춘기 한국융합신호처리학회 2023 융합신호처리학회 논문지 (JISPS) Vol.24 No.2

합성곱 신경망을 비롯하여 딥러닝 신경망의 학습에서 많은 양의 훈련데이터의 확보는 과적합 현상을 피하고 우수한성능을 가지기 위해서 매우 중요하다. 하지만, 딥러닝 신경망에서의 레이블화된 훈련데이터의 확보는 실제로는 매우 제한적이다. 이를 극복하기 위해, 이미 획득한 훈련데이터를 변형, 조작 등으로 추가로 훈련데이터를 생성하는 여러 증강 방법이 제안되었다. 하지만, 이미지, 문자 등의 훈련데이터와 달리, 인간 동작 인식을 행하는 합성곱 신경망의 생체신호 훈련데이터를 추가로생성하는 증강 방법은 연구 문헌에서 찾아보기 어렵다. 본 연구에서는 합성곱 신경망에 기반한 인간 동작 인식을 위한 생체신호 훈련데이터를 생성하는 간편하지만, 효과적인 증강 방법을 제안한다. 본 연구의 제안된 증강 방법의 유용성은 추가로 생성된 생체신호 훈련데이터로 학습하여 합성곱 신경망이 인간 동작을 높은 정확도로 인식하는 것을 보임으로써 검증하였다.

생체신호 기반 사용자의 긍정적인 감정에 영향을 미치는 실내디자인 특성에 관한 문헌고찰

김시은,하미경 대한건축학회 2020 대한건축학회논문집 Vol.36 No.5

Environmental conditions are known to impact human health and behavior, emotions such as pleasure, anxiety, and depression, and reducestress. Interior design that elevates emotional comfort and satisfaction can help improve mental health and well-being. This study is asystematic review that analyzed previous empirical studies that explored the effect of interior design elements on the user’s emotionalresponse which is quantitatively evaluated by bio-signal and qualitatively evaluated through self-reported questionnaire surveys. This paperaims to derive the attributes of interior design and biometric indicators that affect the user’s positive emotion through the synthesis ofprevious studies and to confirm the feasibility of measuring bio-signals as an objective evaluation tool for architectural design and as aquantitative research method. As a result of the review, the biometric data from EEG, fMRI, ECG, EMG, GSR, and eye-tracking were usedto measure the participants’ emotional responses, which were manifested as positive or negative depending on certain attributes of interiordesign such as the form, color, lighting, material and furniture. The attributes of interior design related to the positive emotional responsewere the curved shape, high ceiling, openness of space, and subdued tone colors. Standard lighting conditions and wooden spaces wererelated to stress reduction in terms of comfort and relaxation. The free arrangement of furniture was related to the user’s positive emotions. On the other hand, consistent experimental protocols could not be found, and although the sample sizes of the studies were small, the studieshave demonstrated the feasibility of the emotional response measurement by using the biometric data. Therefore this method can be a usefulobjective tool in the measurement of human-centric data in architectural design, and to develop the evidence-based design to induce positiveemotions and minimize stress. 사회적으로 웰빙과 건강이 중요한 화두로 떠오르면서 사람들이 일상에서 대부분 시간을 보내는 실내공간환경을 탐구하는 일은 중요해졌다. 이에 공간의 효율성과 기능성을 넘어 ‘인간 중심 디자인’ 관점에서 사용자의 정서적 측면을 고려하는 것이 필요하다. 사용자에게 정서적 편안함과 만족감을 주는 실내디자인은 웰빙과 정신건강 증진에 기여할 수 있다. 본 연구는 선행연구를 분석한 체계적 문헌고찰로서, 실내공간에서 사용자의 감정반응을 생체신호를 통한 정량적 방법과, 자기보고식 감정평가 설문조사를 통한 정성적 방법으로 측정한 실험연구를 대상으로, 실내디자인 요소가 생체신호 측정에 의한 사용자의 감정반응에 미치는 영향을 분석했다. 본 연구의 목적은 사용자의 긍정적인 감정에 영향을 미치는 실내디자인 요소와 생체데이터 지표를 도출하고, 건축디자인에 대한 객관적 평가도구이자 정량적 연구방법으로서 생체신호의 사용 가능성을 확인하는 것이다. 분석결과, 사용자의 감정반응 측정에는 EEG, fMRI, ECG, EMG, GSR, eye-tracking의 생체데이터가 사용되며, 형태, 색상, 조명, 마감재, 가구의 실내디자인 요소의 특성에 따라 긍정적 또는 부정적 감정반응이 나타났다. 긍정적인 감정반응과 관련된 실내디자인 특성은 공간형태는 곡선형, 높은 천장, 개방형 공간이며, 색상은 소프트톤 공간인 것으로 나타났다. 또한, 표준 조명환경과 나무로 마감된 공간에서 사용자들은 편안함을 느끼고, 스트레스 감소반응을 보이는 것으로 나타났다. 가구는 자유로운 가구배치가 긍정적인 감정과 관련이 있는 것으로 나타났다. 한편, 분석대상 연구들에서 일관된 실험 프로토콜을 발견할 수 없었고, 실험표본의 크기가 작아 연구결과의 정확성을 확신하기 어려운 한계점이 있었다. 그러나 건축공간에 대한 사용자의 감정평가 방법으로 생체신호의 사용 가능성은 충분히 입증하고 있었다. 생체신호 측정을 통한 사용자 감정평가 방법은 건축설계에서 사용자 중심의 정보 획득에 유용한 객관적인 평가도구가 될 수 있으며, 건축디자인 시 객관적인 근거에 기반한 설계가 가능하게 하여 근거기반 디자인을 실현하는 데 도움이 될 것으로 본다. 궁극적으로 사용자의 긍정적인 감정반응을 고려한 실내디자인을 통해 사용자에게 정서적으로 편안한 공간을 제공하고, 스트레스 감소 등 정신건강 증진과 웰빙에 기여할 수 있을 것이다.

생체신호 기반 바이오인식 시스템 기술 동향

최규호,문해민,반성범 한국디지털정책학회 2017 디지털융복합연구 Vol.15 No.1

생체신호 측정기반 사용자의 긍정적인 감정에 영향을 미치는 건축설계요소의 특성

김시은(Kim, Sieun),하미경(Ha, Mikyoung) 대한건축학회 2020 대한건축학회 학술발표대회 논문집 Vol.40 No.1

This paper aims to derive the attributes of architectural design elements and biometric indicators that affect the user’s positive emotion through the synthesis of previous studies and to confirm the feasibility of measuring bio-signals as an objective evaluation tool for architectural design and as a quantitative research method. As a result, the biometric data from EEG, ECG, EMG, GSR, and eye-tracking were used to measure the participants’ emotional responses. The attributes of Architectural design elements related to the positive emotion were the curved shape, high ceiling, openness of space, and soft tone colors. Standard lighting conditions and wooden spaces were related to stress reduction in terms of comfort and relaxation. Therefore we confirmed the feasibility of the emotional response measurement by using the biometric data.

생체신호를 활용한 학습기반 영유아 스트레스 상태 식별 모델 연구

전유미(Yu-Mi Jeon),한태성(Tae Seong Han),김관호(Kwanho Kim) 한국전자거래학회 2017 한국전자거래학회지 Vol.22 No.2

오늘날 감정 표현이 서툰 영유아가 처한 극도의 스트레스 상태를 자동적으로 파악하는 것은 영유아의 안전을 위협하며 지속적으로 발생하는 위험 상황의 실시간적인 인지를 위해 반드시 필요한 기술이다. 따라서 본 논문에서는 생체신호를 활용하여 영유아의 스트레스 상태를 분류하기 위한 기계학습 기반의 모델과 생체신호 수집용 스마트 밴드 및 모니터링용 모바일 어플리케이션을 제안한다. 구체적으로 본 연구에서는 영유아의 감정을 나타내는 주요한 요인이 되는 음성 및 심박 데이터의 조합을 활용하여 기존에 널리 알려진 데이터 마이닝 기법을 통해 영유아의 스트레스 상태 패턴을 학습하고 예측한다. 본 연구를 통해 생체신호를 활용하여 영유아의 스트레스 상태 식별을 자동화할 수 있는 가능성을 확인하였으며 나아가서 궁극적으로 영유아의 위험 상황 예방에 활용될 수 있을 것으로 기대된다. Recently, identification of the extremely stressed condition of children is an essential skill for real-time recognition of a dangerous situation because incidents of children have been dramatically increased. In this paper, therefore, we present a model based on machine learning techniques for stress status identification of a child by using bio-signals such as voice and heart rate that are major factors for presenting a child’s emotion. In addition, a smart band for collecting such bio-signals and a mobile application for monitoring child’s stress status are also suggested. Specifically, the proposed method utilizes stress patterns of children that are obtained in advance for the purpose of training stress status identification model. Then, the model is used to predict the current stress status for a child and is designed based on conventional machine learning algorithms. The experiment results conducted by using a real-world dataset showed that the possibility of automated detection of a child’s stress status with a satisfactory level of accuracy. Furthermore, the research results are expected to be used for preventing child’s dangerous situations.

범죄수사상 생체정보 활용과 그에 따른 문제점의 검토

정소영(Jung So young) 충북대학교 법학연구소 2016 과학기술과 법 Vol.7 No.2

A new smartphone with iris scanner made headlines in August 2016. It shows that a new era has come. We live in a world where we prove our identity with our bio information. Bio information is also widely used on the criminal investigation these days. Biosignal is a signal from human can be continually measured and monitored. For example, pulse, breathing, electrocardiogram, heartbeat, blood pressure and so on. By monitoring biosignal, we can find out one’s physical and psychological state. On the criminal investigation, a biosignal is used in polygraph examination, Ankle monitor and crime prediction using brain scans. Biometrics refers to metrics related to human characteristics. It is mainly used as personal identification and authentications, like Iris and face recognition. Biometrics has permanence, uniqueness and universality. So every person use a system should possess the trait, and at the same time the trait should be different for individuals. On the criminal investigation, a biometrics is used in facial recognition CCTV, gait analysis, hand geometry, DNA profiling, voiceprint analysis. Since biometric information can not be changed or discarded and newly created, it is impossible to reverse the situation once it is leaked, so handling biometric information should be more careful than other personal information. The present legal system is insufficient to protect biometric information. It is necessary to revise relevant laws before the age when biometric information is utilized in earnest. And I think that it is the beginning to ensure stronger rights to informational self-determination.

안전벨트에 관성측정장치 장착을 통한 운전자의 호흡 상태 모니터링

심대한(Dae Han Sim),윤한얼(Han Ul Yoon) 한국지능시스템학회 2022 한국지능시스템학회논문지 Vol.32 No.3

사람의 건강 상태를 파악하는 것은 응급상황 예방 및 대처에 있어 매우 중요하다. 호흡 상태와 같은 생활 징후를 파악하는 것은 응급상황 발생 여부를 확인할 수 있는 주요한 요소로 작용한다. 이때, 운전자의 생체신호로부터 운전 중에 발생하는 응급상황을 모니터링할 수 있다면, 운전자의 제어권 상실로 인해 발생하는 교통사고에 대한 대처가 가능하다. 본 논문에서는 운전자의 응급상황을 모니터링하기 위해 운전자의 흉부 움직임을 측정하고, 측정된 데이터를 통해 운전자의 호흡 상태를 분류한다. 운전자의 호흡 상태는 관성측정장치를 사용하여 측정하고, Kalman filter를 통해 가속도와 자이로 센서값에 대한 노이즈를 제거한다. 이후, 운전자의 호흡 상태를 정확히 분류하기 위해 데이터를 이미지로 가시화하며, ResNet을 통한 학습을 진행한다. 각 이미지화된 데이터에 대한 분류 성능을 비교하고, 가장 높은 정확도를 보이는 관성측정장치의 데이터를 확인한다. Monitoring a person"s health status is a crucial factor to prevent and react to emergencies. Especially, identifying vital signs such as respiratory status is directly related to recognizing urgent situations. Therefore, we can initiatively respond to traffic accidents caused by the loss of control/consciousness if the emergencies can be detected based on a person’s vital reaction while driving a car. To solve this issue, this paper proposes a methodology to monitor the emergencies in driver’s health condition by measuring the dynamic movement of a chest and then classifying the respiratory conditions. First, the driver’s respiratory status is measured by a seat belt equipped with an inertial measurement unit (IMU) and the measured data is denoised by applying the Kalman filter. To classify respiratory status, next, each IMU data is visualized as an image, and then the image is used to train the ResNet. Finally, the classification accuracies under various combinations of visualization approaches and IMU data types are compared to scrutinize the combination yielding the best classification accuracy. The result from this study allows us to design a driver respiratory monitoring system with the IMU installed seat belt.

운전자 상태 판단을 위한 영상 및 생체데이터 전처리 알고리즘

김나경(Na Kyong Kim),김병욱(ByeongWook Kim),강현욱(Hyun Wook Kang) 한국자동차공학회 2022 한국자동차공학회 지부 학술대회 논문집 Vol.2022 No.12