인간의 비언어적 행동 특징을 이용한 다중 사용자의 상호작용 의도 분석

윤상석(Sang-Seok Yun),김문상(Munsang Kim),최문택(Mun-Taek Choi),송재복(Jae-Bok Song) 제어로봇시스템학회 2013 제어·로봇·시스템학회 논문지 Vol.19 No.8

According to the cognitive science research, the interaction intent of humans can be estimated through an analysis of the representing behaviors. This paper proposes a novel methodology for reliable intention analysis of humans by applying this approach. To identify the intention, 8 behavioral features are extracted from the 4 characteristics in human-human interaction and we outline a set of core components for nonverbal behavior of humans. These nonverbal behaviors are associated with various recognition modules including multimodal sensors which have each modality with localizing sound source of the speaker in the audition part, recognizing frontal face and facial expression in the vision part, and estimating human trajectories, body pose and leaning, and hand gesture in the spatial part. As a post-processing step, temporal confidential reasoning is utilized to improve the recognition performance and integrated human model is utilized to quantitatively classify the intention from multi-dimensional cues by applying the weight factor. Thus, interactive robots can make informed engagement decision to effectively interact with multiple persons. Experimental results show that the proposed scheme works successfully between human users and a robot in human-robot interaction.

자폐 범주성 장애 아동의 사회적 기능향상을 용이하게 하는 상호작용로봇

윤상석(Sang-Seok Yun),박성기(Sung-Kee Park),최종석(JongSuk Choi) 한국HCI학회 2014 한국HCI학회 학술대회 Vol.2014 No.2

본 연구에서는 자폐 범주성 장애 아동의 사회적 기능 향상을 용이하게 하기 위한 행동적 중재 시스템을 가지는 상호작용 로봇을 제안한다. 행동적 중재 시스템은 로봇이 사회성 훈련 요소를 가지는 전제 자극을 제공하고 아이의 행동반응에 따라 로봇의 대응 방향을 결정하는 치료 프로토콜로써 보상, 독려, 그리고 중지모드를 통하여 자폐 아동에 대한 사회적 기능훈련을 강화하도록 구성되었다. 또한, 로봇은 동작학적 행동과 표시 가능한 훈련 컨텐츠 조합을 통하여 적절할 로봇 자극 원을 구성하며, 정면 얼굴 및 터치 인식 모듈을 통해 아동의 행동반응성의 정도를 평가하게 된다. 구성된 로봇 시스템의 검증 방법으로, 본 연구에서는 훈련 시나리오에서의 인식 데이터 분석 및 분류 별 비교 평가, 그리고 설문조사 결과로부터 상호작용 로봇이 자폐아동의 사회적 기능 발달에 상당량의 긍정적인 영향을 주는 것을 확인하였다. In this paper, we propose a robot-assisted behavioral intervention system to easily improve social skills of children with autism spectrum disorders. Interactive robots effectively offer social skills training for children with autism through the therapeutic protocol with encouragement, reward, and pause mode, which is determined by behavioral responses of children. In addition, the presented robot generates appropriate training tasks through the combination of kinesic act and displayable content, and it evaluates the level of children’s reactivity by the recognition module of frontal face and touch. From the data analysis of experiments and the survey evaluation, we verified that the system has some positive effect on social development of children with autism.

로봇활용 공동 주의 훈련자극에 대한 사용자 반응상태를 추정하는 프로세스

김다영,윤상석,Kim, Da-Young,Yun, Sang-Seok 한국정보통신학회 2021 한국정보통신학회논문지 Vol.25 No.10

본 연구는 사회성 상호작용 훈련자극에 반응하는 아동의 행동 및 정서적 긴장상태를 연산하는 심리반응 상태 추정 프로세스를 제안한다. 행동 중재에 필요한 훈련자극으로는 공동 주의(Joint attention) 사회성 훈련을 채택하고, 훈련프로토콜은 불연속 개별시도 훈련(DTT: Discrete trial training)기법이 적용된다. 공동 주의 훈련에서 사용자의 집중과 긴장 정도를 확인하기 위해 3가지 훈련자극용 콘텐츠를 구성한 후, 캐릭터 형태의 탁상 로봇을 이용하여 사용자에게 훈련자극을 수행하게 된다. 그런 다음, 비전 기반 헤드 포즈 인식기와 기하학 연산모델로 사용자 응시반응을 추정하고, PPG와 GSR의 생체신호를 심박변이도와 히스토그램 기법으로 신경계 반응을 분석한다. 로봇을 활용한 실험에서 공동 주의에 대한 각 콘텐츠 별 훈련에 사용자의 심리반응을 정량화 할 수 있음을 확인하였다. In this paper, we propose a psychological state estimation process that computes children's attention and tension in response to training stimuli. Joint attention was adopted as the training stimulus required for behavioral intervention, and the Discrete trial training (DTT) technique was applied as the training protocol. Three types of training stimulation contents are composed to check the user's attention and tension level and provided mounted on a character-shaped tabletop robot. Then, the gaze response to the user's training stimulus is estimated with the vision-based head pose recognition and geometrical calculation model, and the nervous system response is analyzed using the PPG and GSR bio-signals using heart rate variability(HRV) and histogram techniques. Through experiments using robots, it was confirmed that the psychological response of users to training contents on joint attention could be quantified.

전공에 따른 케어 로봇에 대한 인식, 디지털 리터러시 및 공감능력에 대한 비교 연구 -보건계열 및 공학계열 대학생을 대상으로-

이도영,윤상석,Lee, Do-Young,Yun, Sang-Seok The Korea Internet of Things Society 2021 한국사물인터넷학회 논문지 Vol.7 No.3

This study was aimed to understand the recognition of care robots which would enhance the medical quality of life under the 4^th industrial revolution in the university students majoring in health and engineering who would lead the development of the future medical industry and to find out the differences of their digital literacy and empathic ability. This was a descriptive correlation study to analyze the recognition of university students on care robots, their digital literacy and empathic ability. Both students majoring in health and engineering recognized the needs of care robots, while their education experiences were not sufficient. Moreover, statistically fewer university students majoring in health heard about care robots than those in engineering, and their need of taking classes was lower, too. No statistically significant differences were found in digital literacy and empathic ability between the two majors, while significant difference was found in the relationship bundling capability out of behavioral empathy, a sub-domain of empathic ability. The study results are anticipated to suggest the future educational direction in the medical field according to the 4^th industrial revolution and to be the fundamental data for understanding and preparation of the students depending on the majors. 본 연구에서는 4차 산업형명의 의료 삶의 질을 향상시켜줄 케어로봇에 대하여 미래 의료 산업 발전을 주도할 보건전공 대학생과 공학전공 대학생의 케어로봇에 대한 인식을 확인하고, 이들의 디지털 리터러시 및 공감능력의 차이를 확인하고자 하였다. 본 연구는 대학생의 케어로봇에 대한 인식과 디지털 리터러시 및 공감능력에 대해 분석하기 위한 서술적 상관관계 연구이다. 보건계열 대학생과 공학계열 대학생은 케어로봇에 대한 필요성을 인식하고 있었으나, 교육 경험이 두 군 모두 미흡하였다. 더욱이 보건계열 대학생의 경우 케어로봇에 대해 들어본 경험이 공학계열 학생보다 통계적으로 낮았으며, 수강 요구도 또한 낮았다. 보건계열 대학생과 공학계열 대학생의 디지털 리터러시는 통계적으로 유의한 차이가 없었고, 공감능력 통계적으로 유의한 차이가 없었지만 하위영역인 행동적 공감에서 관계형성능력은 통계적으로 유의한 차이가 있었다. 본 연구를 통하여 추후 4차 산업에 따른 의료 분야의 교육의 다학제간의 방향성을 제시하고 전공에 따른 학습자들을 위한 이해와 준비의 기초자료가 될 수 있기를 기대한다.

3차원 물체인식과 하이브리드 세선화 기법을 이용한 이동로봇의 최적위치 추정

이우진,윤상석,Lee, Woo-Jin,Yun, Sang-Seok 한국정보통신학회 2021 한국정보통신학회논문지 Vol.25 No.6

본 연구는 서비스 로봇이 물건배달 서비스를 수행하기 위해 인식된 물체의 위치기반 정보로부터 최적의 작업 목적지를 추정하기 위한 방법론을 제안한다. 위치 추정 프로세스는 격자지도에 일반화된 보로노이 그래프를 적용하여 노드와 링크로 구성되는 초기 위상학 지도 작성, RGB-D센서를 이용하여 물체의 인식과 위치정보 추출, 장애물의 형상 및 거리정보를 수집한 후 ,무게중심법과 세선화를 병행하는 하이브리드 기법을 적용하여 서비스 로봇이 물건잡기 작업을 수행할 수 있는 최적의 이동위치를 추정하게 된다. 그런 다음, 노드 위치선정 규칙에 따라 추정된 위치와 기존 노드의 기하학적 거리비교를 통해 로봇의 작업 목적지에 대한 최적의 노드정보를 갱신하게 된다. In this paper, we propose a methodology for estimating the optimal traversable destination from the location-based information of the object recognized by the mobile robot to perform the object delivery service. The location estimation process is to apply the generalized Voronoi graph to the grid map to create an initial topology map composed of nodes and links, recognize objects and extract location data using RGB-D sensors, and collect the shape and distance information of obstacles. Then, by applying the hybrid approach that combines the center of gravity and thinning method, the optimal moving position for the service robot to perform the task of grabbing is estimated. And then, the optimal node information for the robot's work destination is updated by comparing the geometric distance between the estimated position and the existing node according to the node update rule.

BLE기반 비콘을 이용한 실내 환경에서의 사용자 위치추정

임수종,성민관,윤상석,Lim, Su-Jong,Sung, Min-Gwan,Yun, Sang-Seok 대한임베디드공학회 2021 대한임베디드공학회논문지 Vol.16 No.5

In this paper, we propose a method for a mobile robot to estimate a specific location of a service provision target using a beacon-tag for the purpose of providing location-based services (LBS) to users in an indoor environment. To estimate the location, the irregular characteristics and error factors of the received signal strength indicator (RSSI) generated from the beacon are analyzed, and the distance conversion function is derived from the RSSI data extracted by applying a Gaussian filter. Then, the distance data converted from the plurality of beacons estimates an indoor location through a triangulation technique. After that, the improvement in the location estimation is analyzed by applying the temporal confidence reasoning technique. The possibility of providing a LBS of a mobile robot was confirmed through a location estimation experiment for a plurality of designated locations in an indoor environment.

불연속 개별시도 훈련에서 행동 반응을 지원하는 상태머신 설계

윤혁(Hyuk Yun),윤상석(Sang-Seok Yun) 한국정보통신학회 2022 한국정보통신학회 종합학술대회 논문집 Vol.26 No.1

탁상용 로봇을 이용한 사용자의 헤드포즈 목표점 추정

윤혁(Hyuk Yun),윤상석(Sang-Seok Yun) 한국정보통신학회 2023 한국정보통신학회 종합학술대회 논문집 Vol.27 No.1

TRT Pose를 이용한 모바일 로봇의 사람 추종 기법

최준현,주경진,윤상석,김종욱,Choi, Jun-Hyeon,Joo, Kyeong-Jin,Yun, Sang-Seok,Kim, Jong-Wook 대한임베디드공학회 2020 대한임베디드공학회논문지 Vol.15 No.6

In this paper, we propose a method for estimating a walking direction by which a mobile robots follows a person using TRT (Tensor RT) pose, which is motion recognition based on deep learning. Mobile robots can measure individual movements by recognizing key points on the person's pelvis and determine the direction in which the person tries to move. Using these information and the distance between robot and human, the mobile robot can follow the person stably keeping a safe distance from people. The TRT Pose only extracts key point information to prevent privacy issues while a camera in the mobile robot records video. To validate the proposed technology, experiment is carried out successfully where human walks away or toward the mobile robot in zigzag form and the robot continuously follows human with prescribed distance.

mmWave 레이더 센서를 이용한 가려진 사용자의 위치 추정

이병주(Byeong-Joo Lee),윤상석(Sang-Seok Yun) 한국정보통신학회 2023 한국정보통신학회 종합학술대회 논문집 Vol.27 No.1