스마트 글래스를 활용한 동공 데이터 수집과 사회감성 추정 기술

황민철(Whang, Mincheol),김환진(Kim, Hwan-jin),박상인(Park, Sangin),문성철(Mun, Sungchul),이동원(Lee, Dong Won) 한국방송·미디어공학회 2019 한국방송공학회 학술발표대회 논문집 Vol.2019 No.11

본 연구에서는 적외선 카메라 기반의 비접촉식 측정 방법을 이용하여 동공 반응 데이터를 수집하여 공감의 사회감성을 객관적이고 정량적으로 추정하는데 그 목적이 있다. 실험에는 10명(남 6명, 여 4명, M ± SD = 24.17 ± 2.16세)의 피험자가 참여하였다. 30초의 참조 데이터 측정 후, 공감 유무에 따라 과제는 얼굴 표정 모방 과제와 얼굴 표정 자발적 표현 과제로 구분되어 두 사람은 표정으로 상호작용하였고, 2번씩 반복 진행하며 적외선 카메라를 통해 동공을 촬영하였다. 이진화 및 원형 윤곽선 검출법의 영상처리를 활용하여 동공 데이터를 수집하였고, 이동 평균 기법을 활용해 눈깜빡임 노이즈를 제거하고 동공 크기 개인차로 데이터 표준화를 진행하였다. 공감 유무에 따른 동공 크기 데이터는 정규성 검증 및 독립표본 t검정을 통해 통계적 유의성을 확인하였다. 분석결과, 공감하는 경우(M ± SD = 0.508 ± 1.278)와 공감하지 않은 경우(M ± SD = 1.681 ± 0.968) 동공 크기가 통계적으로 유의미한 차이를 보였다(t(18) = -2.313, p = 0.033). 판별분석을 통해 동공 크기에 따른 공감의 유무를 추정하는 규칙을 정의하였다. 본 연구에서 제안한 동공 크기 데이터를 이용한 공감의 사회감성 추정 기술은 비접촉식 카메라 기반의 기술로 스마트 글래스와 접목되어 다양한 분야에 활용도가 높을 것으로 기대된다.

심장과 호흡의 연결성을 이용한 감성인식 방법

이동원,박상인,황민철,Lee, Dong Won,Park, Sangin,Whang, Mincheol 한국감성과학회 2017 감성과학 Vol.20 No.3

Physiological responses have been measured to recognize emotion. Although physiological responses have been interrelated between organs, their connectivities have been less considered for emotion recognizing. The connectivities have been assumed to enhance emotion recognition. Specially, autonomic nervous system is physiologically modulated by the interrelated functioning. Therefore, this study has been tried to analyze connectivities between heart and respiration and to find the significantly connected variables for emotion recognition. The eighteen subjects(10 male, age $24.72{\pm}2.47$) participated in the experiment. The participants were asked to listen to predetermined sound stimuli (arousal, relaxation, negative, positive) for evoking emotion. The bio-signals of heart and respiration were measured according to sound stimuli. HRV (heart rate variability) and BRV (breathing rate variability) spectrum were obtained from spectrum analysis of ECG (electrocardiogram) and RSP (respiration). The synchronization of HRV and BRV spectrum was analyzed according to each emotion. Statistical significance of relationship between them was tested by one-way ANOVA. There were significant relation of synchronization between HRV and BRV spectrum (synchronization of HF: F(3, 68) = 3.605, p = 0.018, ${\eta}^2_p=0.1372$, synchronization of LF: F(3, 68) = 5.075, p = 0.003, ${\eta}^2_p=0.1823$). HF difference of synchronization between ECG and RSP has been able to classify arousal from relaxation (p = 0.008, d = 1.4274) and LF's has negative from positive (p = 0.002, d = 1.7377). Therefore, it was confirmed that the heart and respiration to recognize the dimensional emotion by connectivity. 감성을 인식하는데 있어 생리적 반응은 중요하다. 생리적 반응은 인체의 주요 기관들과 밀접한 관련이 있지만 감성을 인식하는데 연결성은 고려되지 않고 있다. 자율신경계는 감성과 밀접한 관련이 있는데, 심장과 폐와 같은 인체 내 주요 내장기관에 분포되어 기능적 상보작용을 통해 생리적 반응을 조절하기 때문이다. 따라서 본 연구는 심장과 호흡의 연결성을 분석하고 감성을 인식하는 중요한 연결 변수를 찾고자 하였다. 피험자 18명(남 10명, 평균 나이 $24.72{\pm}2.47$)은 소리 자극을 이용한 감성 유발 실험에 참여하였고 심전도와 호흡 데이터를 측정하였다. 수집된 심장과 호흡 데이터는 스펙트럼 분석을 이용하여 HRV와 BRV spectrum을 구하였고, 감성에 따른 HRV와 BRV spectrum의 동기화 차이를 일원배치분산분석을 통해 통계적 유의성을 확인하였다. Tukey 검증 결과, arousal-relaxation은 HF 대역에서 심전도와 호흡의 동기화 차이로 인식 가능하였고(p = 0.008, d = 1.4274), negative-positive는 LF 대역에서 인식이 가능하였다(p = 0.002, d = 1.7377). 본 연구 결과로 심장과 호흡의 연결성을 통해 차원적 감성을 정량적으로 평가할 수 있음을 확인하였고, 복합적인 원인으로 발현되는 감성을 인식하는데 생리적 반응들의 연결성 변수의 활용도가 높을 것으로 기대된다.

스마트폰 카메라의 영상 속성에 따른 맥파 신호 평가

이해나,김민희,황민철,김동근,Lee, Haena,Kim, Minhee,Whang, MinCheol,Kim, Dong Keun 한국정보통신학회 2015 한국정보통신학회논문지 Vol.19 No.4

본 연구에서는 스마트폰을 이용하여 손가락 끝의 혈류의 흐름을 촬영하여 사용자의 맥파 (PPG : Photoplethysmography) 신호를 측정할 때, 카메라 영상 속성에 따른 신호 품질에 대해 연구하였다. 영상 속성은 비트 레이트(Bitrate), 해상도(Resolution), 플래시(Flash)의 조건을 선정하였다. 각 조건에 따라서 변화하는 영상 이미지의 적색(Red)값의 변화를 측정하고 PPG 신호의 추출을 위해 PPI (Pulse to Pulse Interval)를 계산하였다. 실험은 총 20명의 대학생을 대상으로, 세 가지 영상 속성 조건을 조합하여 18가지 태스크로 분류하여 진행되었다. 오른손의 중지에는 PPG 센서를 착용하고 검지에는 스마트폰을 접촉한 상태로, 동시에 2분간 맥박을 측정하여 두 신호의 상관성 분석을 진행하였다. 실험 결과, 영상의 해상도가 $640{\times}480$, 비트레이트 5000kbps, 플래시가 On일 때 가장 높은 상관성(83%, p=0.01)을 나타내는 것을 확인하였다. 본 연구 결과가 앞으로 스마트폰의 카메라를 이용한 맥파 신호 측정 시스템에서 생체신호 품질을 개선하기 위한 유용한 가이드가 될 것으로 기대된다. In this study, we study that the video attributes captured by built-in camera in smart-phone can effect on the quality of PPG signal. The conditions of video attributes were composed of the bitrate, the resolution, the flash. As each condition, we measured a change in the red value of the video image and calculated a PPI(Pulse to Pulse Interval) for extracting the pulse wave signal. 20 subjects participated in the experiment and this experiment was carried out 18 tasks. The PPG signal was measured simultaneously for two minutes with the PPG sensor in the middle finger and Smart-phone in the forefinger of the right hand. By proceeding the correlation analysis, we obtained the highest correlation condition(83%, p=0.01), which the resolution was $640{\times}480$, bitrate was 5000kbps, flash was on. As a result, this study will be a useful guide for quality of signals in the pulse signal measurement system using built-in camera in smart-phone.

음향효과에 의한 '각성-이완'이 뇌 기능 연결과 자율신경계 변화에 미치는 영향

김종화(Jonghwa Kim),황민철(Mincheol Whang),안상민(Sangmin Ahn),이정년(Jungnyun Lee),박재언(Jaeun Park),박상인(Sangin Park),문성철(Sungchul Mun) 한국HCI학회 2011 한국HCI학회 학술대회 Vol.2011 No.1

본 연구는 '각성-이완'에 따른 뇌 기능 연결성과 자율신경계 변화를 분석하여 감성변화에 따른 생리매커니즘을 확인하였다. 20명의 피실험자를 대상으로 청각자극을 제시한 후, 중추신경계와 자율신경계 반응을 측정하였다. 그리고 자극 노출시간에 따른 뇌기능 연결성과 자율신경계의 변화를 확인하였다. 뇌 기능연결성 변화를 관찰하기 위하여 중추신경계에서 측정영역간 Coherence를 분석하였다. 자율신경계 변화는 심혈관계 반응(PPG frequency, PPG amplitude), 피부전기반응(GSR 평균), 피부온열반응(SKT 평균)을 분석하였다. 시간변화에 따른 분석을 위해서 중추신경계와 자율신경계 데이터는 10초 단위로 나누었다. 나뉘어진 데이터는 각 시간단위별로 t-Test하여 유의성을 검증하였다. 그리고 유의성이 나타난 결과만을 모아서 감성변화에 따른 생리매커니즘 패턴을 관찰하였다. 분석결과 이완시에 우측전두엽과의 뇌 기능연결성이 강해지고 이완시에는 뇌 기능 연결성이 약해지는 것을 알 수 있었다. 또한 이완시 자율신경계에서 PPG frequency가 감소하는 것을 확인하였다.

각성도에 따른 얼굴 움직임 변화에 관한 연구

박재언(Jaeun Park),황민철(Mincheol Whang),김종화(Jonghwa Kim),김지혜(Jihye Kim),안상민(Sangmin Ahn),이정년(Jungnyun Lee),박상인(Sangin Park),문성철(Sungchul Mun),조봉화(Bonghwa Jo) 한국HCI학회 2011 한국HCI학회 학술대회 Vol.2011 No.1

본 논문은 얼굴 표정을 인식하여 각성도를 측정하고 측정된 각성도의 정확성을 뇌파를 통해 검증함으로써 얼굴 인식에 의한 각성도 평가의 가능성을 확인하는 것이 목적이다. Web 카메라를 통해 획득한 얼굴 표정에서 눈, 눈썹, 그리고 입의 특징점 좌표를 추출하였다. 그리고 좌표간의 관계를 분석함으로써 얼굴의 각성도를 평가하였다. 얼굴의 각성도는 Ekman의 FACS(Facial Action Coding System)기법을 사용하여 각성도에 영향을 주는 5가지 AU(Action Unit) Factor를 통해 평가하였다. 동시에 얼굴 표정 인식을 통한 각성도 측정의 가능성을 확인하기 위하여 뇌파의 α파와 β파를 측정하여 객관적인 지표로서 피실험자의 각성도를 측정하였다. 자극은 각성도에 영향을 줄 수 있는 영상 자극을 사전실험을 거쳐 4가지 자극이 선택되었으며 각 자극 제시 후 주관 설문을 실시하였다. Ekman의 6가지 표정에 의한 감성 인식의 경우 모든 감성을 표현할 수 없다는 단점이 있기 때문에 Russell의 감성 2차원 모델을 사용하여 각성도를 표현하였다. 본 연구를 통해 얼굴 표정에 의한 각성도 측정을 통해 감성 모델링이 가능할 것으로 보이며 얼굴 표정에 의한 쾌감도 측정 시스템을 개발하면 완벽한 감성 모델링이 가능할 것으로 사료된다.

터치폰 인터랙션의 플릭(Flick)기능을 위한 터치거리와 시간에 대한 연구

김지혜(JiHye Kim),황민철(Mincheol Whang),김종화(Jonghwa Kim),우진철(Jincheol Woo),김치중(ChiJong Kim),김용우(YoungWoo Kim) 한국HCI학회 2010 한국HCI학회 학술대회 Vol.2010 No.1

본 연구는 모바일 터치 인터랙션 유형 중 사진을 넘기거나 리스트를 올리고 내리는 인터랙션인 플리킹(Flicking)에서 20 대가 선호하는 터치 시작점과 끝점 사이의 거리와 터치 인식 시간을 알아보는 것이 목적이다. 본 연구에서는 디스플레이 사이즈 480cmX800cm Rapid 프로토타입으로 시각 능력에 장애가 없고 터치폰 사용에 불편이 없는 20 대 대학생 남, 여 28 명을 대상으로 실험을 실시하였다. 실험은 가로 방향의 플리킹과 세로 방향의 플리킹으로 총 2 세트로 진행되었으며, 실험 순서는 다음과 같다. 첫 째 터치 시작점과 끝점 사이의 거리를 10 단계로 나누어 화살표로 제시하여 플리킹을 하도록 하였다. 둘 째로 거리 정보를 주지 않고 자유롭게 플리킹을 5 회 실시하도록 하였다. 실험 결과는 20 대 남,여의 플리킹 시 인터랙션하는 거리와, 시간 정보를 각각 평균으로 분석하였다. 또한 가로 플리킹 실험과 세로 플리킹 실험의 두 집단간의 평균 비교를 하기 위해 T-test 를 실시하였다. 본 연구를 통해 20 대 남,여의 평균적인 플리킹 터치 거리와 시간을 알 수 있었으며, 가로 플리킹과 세로 플리킹 모두 남자가 여자보다 터치 시간의 평균이 짧다는 것을 알 수 있었다.

편측적 EEG Coherence 에 의한 손동작 예측에 관한 연구

우진철(Jincheol Woo),황민철(Mincheol Whang),김종화(Jongwha Kim),김치중(Chijung Kim),김지혜(Jihye Kim),김용우(Youngwoo Kim) 한국HCI학회 2009 한국HCI학회 학술대회 Vol.2009 No.2

본 연구는 뇌의 편측 영역 에서의 EEG(Electroencephalography) coherence 로 손동작 의도를 예측하고자 하는 연구이다. 손 동작 예측을 위한 실험에 신체에 이상이 없는 6 명의 피실험자가 참여 하였다. 실험은 데이터 트레이닝 6 분과 동작 의도 판단 6 분으로 진행되었으며 무작위 순서로 손 동작을 지시한 후 편측적 영역 5 개 지점의 EEG 와 동작 시점을 알기 위한 오른손 EMG(Electromyography)를 측정하였다. 측정된 EEG 데이터를 분석하기 위해 주파수 별 Alpha 와 Beta 를 분류하였고 EMG 신호를 기준으로 동작과 휴식으로 분류된 Alpha 와 Beta 데이터를 5 개의 측정 영역별 Coherence 분석을 하였다. 그 결과 동작과 휴식을 구분할 수 있는 통계적으로 유효한 EEG Coherence 영역을 통하여 동작판단을 할 수 있음을 확인하였다.

실시간 Social Distance 추적에 의한 감성 상호작용 인식 기술 개발

이현우,우진철,조아영,조영호,황민철,Lee, Hyunwoo,Woo, Jincheol,Cho, Ayoung,Jo, Youngho,Whang, Mincheol 한국감성과학회 2017 감성과학 Vol.20 No.3

본 연구는 비콘 기반의 웨어러블 디바이스를 통해 Social Distance로부터 감성 상호작용을 인식하기 위한 기술을 개발하였다. 인식된 상호작용은 Photoplethysmogram(PPG)로부터 추정된 심혈관 동시성과 비교하여 평가되었다. 상호작용은 Social Distance가 일정 시간 이상 유지되었을 경우 인식되었으며, 심혈관 동시성은 PPG로부터 계산된 Beats Per Minute(BPM) 간의 상관분석을 통해 추정되었다. Social Distance로부터 유효한 상호작용을 인식하기 위한 유지시간을 결정하기 위해 상호작용 대상일 때와 아닐 때의 심혈관 동시성에 대해 Mann-Whitney U test를 실시하였다. 15개 집단(집단 당 2명)이 실험에 참여하였으며, 이들은 일상생활에서 비콘 및 PPG 웨어러블 디바이스를 착용하도록 요청받았다. 그 결과, 본 연구에서 인식한 상호작용 대상은 더 높은 심혈관 동시성을 보이는 것으로 나타났으며, 유효 상호작용 시간은 통계적 유의차를 보이는 11초로 결정되었다(p=.045). 결과적으로 실 공간에서의 사회관계망에 대한 실시간 측정과 평가를 할 가능성을 높였다. This study developed a method which recognizes emotional interactions from the social distance by a beacon wearable device. The recognized interaction was evaluated by comparing with the cardiovascular synchrony from photoplethysmogram (PPG). The interaction was recognized when social distance was maintained for a certain period of time. The cardiovascular synchrony was estimated by correlation anaysis between beat per minute (BPM) from PPG. The maintenance time was determined by Mann-Whitney U test between the cardiovascular synchrony of interaction and non-interaction groups. Fifteen groups (2 persons per a group) participated in the experiment and they were asked to wear the beacon and PPG wearable devices in daily life. Experimental results showed that the interaction groups had more higher cardiovascular synchrony than non-interaction groups and the significant interaction time was determined to be 11 seconds (p=.045). Consequently, the real-time measurement and evaluation of the social network in real space was expected to be improved.

시각적 변형에 대한 주관적 인지 해상도에 관한 연구

이윤정(Yoonjoung Lee),황민철(Mincheol Whang),김영주(Youngjoo Kim),김종화(Jonghwa Kim),현혜정(Hyejung Hyun) 대한인간공학회 2007 대한인간공학회 학술대회논문집 Vol.- No.-

The interaction between digital object in virtual reality and behavior of user has been demanded to enhance the sense of reality. In the virtual reality, the quality of visual image is dependent on the capacity of object. So it is necessary to use cognitive resolution of visual deformation to express effectively. In this study, we measured the resolution of visual deformation with phasing up 240 steps of sphere object. This study has been tried to find the subjective resolution of visual deformation according to the surface texture. Gender difference of its resolution is also addressed.

커뮤니티를 중심으로 소셜네트워크게임(Social Network Game) 사용자의 행동 패턴에 따른 SNG 기능 요소에 관한 연구

원명주(Myeoungju Won),황민철(Mincheol Whang),이동엽(Dongyeop Lee) 한국HCI학회 2012 한국HCI학회 학술대회 Vol.2012 No.1

최근 소셜 네트워크 서비스(Social Network Service)를 토대로 활용되고 있는 서비스 중에서 가장 각광 받는 요소는 '소셜 네트워크 게임(Social Network Game)이다. 본 연구는 SNG의 주된 목적인 '커뮤니티'에 중점을 두고SNG 사용자의 행동패턴에 따른 기능과 감성적 요소와의 관계를 알아보고자 한다. SNG의 행동 패턴에 따른 기능과 감성적 요소의 상관관계를 검증하기 위해 likert척도를 사용하여 두 변수간 상관성를 알아보고, 이를 시각화하기 위해 다차원 척도법(MDS : Multi Dimensional Scaling)을 실시하였다. SNG의 기능요소와 감성적 요소와의 관계성을 토대로 커뮤니티 관점에서 SNG 사용자의 행동패턴에 따른 기능과, 도출된 감성적 요소의 매핑을 통해 게임 사용자의 커뮤니티에 따른 재미 요소와 게임 설계의 만족도를 높이기 위한 가이드 라인으로 활용될 것으로 기대 된다. Social network game(SNG)s are inextricably tied with social network services that recently become vigorous. The current study aims to determine the relationship between affective factors and functions related to user experiences. Quantative and qualitative questionnaires were distributed online to figure out behavioral patterns while they use the social network games. Subjects were asked to evaluate what they both negatively and positively feel about the game on a 1 to 5 likert scale. The obtained data was multidimensional-scaled to define domains of social network games representing the actual association between emotion factors and function lists. We found that users played the games with a fun element having high weight factors to enhance their satisfaction. The results obtained in this study are expected to serve as a guideline for establishing affective SNGs.