HaptiBody Navigator-XML 기반의 인체 학습용 멀티모달 컨텐츠 재생 시스템

김석열(Seokyeol Kim),박진아(Jinah Park) 한국HCI학회 2010 한국HCI학회 학술대회 Vol.2010 No.1

OD 데이터 시각화를 위한 다중 계층 래디얼 테이블

김석열(Seokyeol Kim),오영주(Youngju Oh),박진아(Jinah Park) 한국HCI학회 2016 한국HCI학회 학술대회 Vol.2016 No.1

OD(origin-destination) 데이터는 특정 지점 간의 인적, 물적 흐름을 파악하고 관련 정책을 수립하기 위해 필수적인 자료 중 하나이다. 그러나 OD 데이터는 대부분 그 분량이 방대하고 수치적 표현에 의존하기 때문에 분석자가 이로부터 유의미한 정보를 도출하기 위해서는 데이터에 대한 시각적 분석 기법의 지원이 필요하다. 이러한 점에 착안하여 본 연구에서는 래디얼 테이블(Radial Table)과 페러렐 셋(Parallel Sets)의 표현 양식을 결합한 OD 데이터 시각화 기법을 제안한다. 래디얼 테이블은 원형 레이아웃 기반의 데이터 시각화 기법으로써 특유의 심미성과 직관성을 가지나, 본래 단일 계층으로 구성되어 있기 때문에 기점과 종점의 구분 및 비교가 어렵다는 단점이 존재한다. 우리는 여기에 패러렐셋의 시각적 구조를 도입하여 기점과 종점을 동심원 형태의 다중 계층으로 분리하고 이들 계층 간의 이동량을 곡선형의 연결선으로 표현하였다. 그리고 공공데이터 공유 서비스로부터 수집된 실제 데이터셋을 적용하여 제안한 기법의 타당성을 확인하였다. 이를 통해 분석자는 원형 레이아웃 상에서 기종점 항목 간의 이동 패턴과 규모를 직관적으로 파악할 수 있으며, 나아가 관련된 의사결정을 지원할 수 있을 것으로 기대한다. OD (origin-destination) data represent the movement of people or goods between geographical points, and play important roles in establishing policies for migration and transportation. However, since most of raw OD data are very massive and written in unintuitive form, it is difficult to grasp meaningful information from the data themselves especially without visual aids. We propose an effective visualization method for the OD data by combining the key features of Radial Table and Parallel Sets. Radial Table is an intuitive and aesthetically attractive data visualization technique based on a circular layout, but it is unfit to visualize the OD data due to its single-layered structure. To overcome its limitation, we refer to the visual structure of Parallel Sets and divide the original Radial Table into multiple concentric layers which contain origins and destinations separately. Each pair of the origin and destination is connected by a B-spline curve, and it indicates a direction and a scale of the flow. Also we validate the proposed method by implementing and applying to real-world datasets. In this way, our method will help an analyst understand the pattern and volume of traffic at a glance, and support a decision making process.

원격 로봇 제어 가이드를 위한 햅틱 시뮬레이션 환경 구축

김석열(Seokyeol Kim),박진아(Jinah Park) 한국컴퓨터그래픽스학회 2013 한국컴퓨터그래픽스학회 학술대회 Vol.2013 No.6

다차원 데이터 탐색 및 선택을 위한 큐브 회전형 사용자 인터페이스

김석열(Seokyeol Kim),박진아(Jinah Park) 한국HCI학회 2013 한국HCI학회 학술대회 Vol.2013 No.1

SPH 기반의 유체 및 용해성 강체에 대한 시각-촉각 융합 상호작용 시뮬레이션

김석열(Seokyeol Kim),박진아(Jinah Park) 한국가시화정보학회 2017 한국가시화정보학회지 Vol.15 No.1

Interaction between fluid and a rigid object is frequently observed in everyday life. However, it is difficult to simulate their interaction as the medium and the object have different representations. One of the challenging issues arises especially in handling deformation of the object visually as well as rendering haptic feedback. In this paper, we propose a real-time simulation technique for multimodal interaction between particle-based fluids and soluble solids. We have developed the dissolution behavior model of solids, which is discretized based on the idea of smoothed particle hydrodynamics, and the changes in physical properties accompanying dissolution is immediately reflected to the object. The user is allowed to intervene in the simulation environment anytime by manipulating the solid object, where both visual and haptic feedback are delivered to the user on the fly. For immersive visualization, we also adopt the screen space fluid rendering technique which can balance realism and performance.

실시간 햅틱 상호작용을 위한 통합 입자 모델 기반의 유체 및 용해성 강체 시뮬레이션

김석열(Seokyeol Kim),박진아(Jinah Park) 한국HCI학회 2014 한국HCI학회 학술대회 Vol.2014 No.2

RGB-D 영상 데이터의 네트워크 스트리밍을 통한 원격 환경과의 실시간 햅틱 상호작용

김석열(Seokyeol Kim),박진아(Jinah Park) 한국HCI학회 2017 한국HCI학회 학술대회 Vol.2017 No.2

시청각적 정보에 의존하던 종래의 커뮤니케이션 서비스는 저비용 공간 정보 획득 기술과 햅틱 렌더링 기술의 발전에 힘입어 멀티모달 상호작용 환경으로의 전환을 준비하고 있다. 하지만 변화를 예측하기 어려운 동적 환경에 대한 실시간 추적 및 모델링은 아직 해결해야 할 과제로 남아있으며, 한정된 네트워크 자원을 통해 방대한 정보를 전송할 때 발생하는 통신 문제 역시 체감형 커뮤니케이션 서비스의 보급을 가로막는 요인 중 하나로 지적되고 있다. 본 논문에서는 이러한 원격 상호작용의 약점을 보완하고자 RGB-D 영상 데이터 스트리밍에 기반한 햅틱 상호작용 시스템을 제안한다. 서버 측에서는 RGB-D 카메라를 통해 원격환경의 공간적 정보를 촬영하고 이를 클라이언트 측으로 전달한다. 이때 대역폭 비용을 절감하고 지연을 최소화하기 위하여 색상과 깊이 정보를 각각의 특성에 맞게 압축 전송한다. 그리고 클라이언트 측에서는 수신된 정보를 포인트 클라우드의 형태로 디코딩하고, 표면 재구성 과정 없이 접촉면에 대한 국소 정보만을 추정하여 사용함으로써 햅틱 렌더링의 고속화를 실현한다. 이러한 일련의 과정을 통해 동적 원격 환경과의 멀티모달 상호작용에서 실시간성을 제고할 수 있다.

Joint Bilateral Filter 기반의 직관적 피사계 심도 후처리 기법

김석열(Seokyeol Kim),박진아(Jinah Park) 한국HCI학회 2012 한국HCI학회 학술대회 Vol.2012 No.1

For the photography and the cinematography, depth of field (DoF) is an essential element to provide a spatial perception and to emphasize the subject. But costly equipments are needed to express the DoF effects such as a shallow focus. For that reason, various postprocessing techniques have been proposed for already taken or rendered 2D images to enhance the DoF effects. Since most of previous methods only accept the numerical parameters as input, however, it is difficult to adjust the DoF just as a user has intended. To address this issue, we propose an intuitive image postprocessing methodology for simulating the DoF effects. When the user picks a point from the image to focus on, distance from the in-focus area is calculated for each pixel based on depth map, and the out-of-focus area is blurred according to the distance. Furthermore, we devise joint bilateral filter to generate more realistic spreadings on the boundaries between the in-focus and the out-of-focus area. 피사계 심도는 사진이나 영상의 주제를 부각시키고 공간감을 강조하는 데에 있어서 필수적인 요소이다. 하지만 쉘로우 포커스(shallow focus)와 같이 피사계 심도를 이용한 표현 기법을 구사하기 위해서는 일반적으로 고가의 촬영 장비가 필요하다. 이에 이미 촬영되거나 렌더링된 2차원 이미지에 심도 효과를 적용하기 위한 후처리 기법이 다수 제안되었지만 비직관적인 파라미터와 부자연스러운 초점영역 경계면 처리로 인해 사용자가 의도한 결과물을 획득하는 데에 어려움이 존재한다. 본 연구에서는 이러한 문제점을 보완하기 위해 2차원 이미지를 대상으로 한 직관적인 피사계 심도 후처리 기법을 제안한다. 사용자가 대상 이미지 상에서 초점영역을 직접 선택하면 깊이 맵으로부터 선택된 영역을 중심으로 한 상대적 깊이를 산출하고 이를 바탕으로 각 픽셀의 흐림 정도를 결정한다. 이때 joint bilateral filter를 기반으로 한 조건부 필터링을 통해 이미지에 흐림 효과를 적용함으로써 초점영역의 깊이에 따른 전경과 배경 간의 경계면을 보다 사실적으로 처리한다.

컴퓨터 기반 수술 훈련 시뮬레이터를 위한 정량적 절개 숙련도 평가 기법

김석열(Seokyeol Kim),박진아(Jinah Park) 한국정보과학회 2011 한국정보과학회 학술발표논문집 Vol.38 No.1B

효과적인 수술 훈련 시뮬레이터를 구축하기 위해서는 사실적인 훈련 환경을 제공하는 것뿐만 아니라 훈련 결과를 바탕으로 사용자의 숙련도를 객관적으로 측정하고 평가하는 과정 또한 중요하다. 이를 위해 본 연구는 수술 훈련 중 큰 비중을 차지하는 절개 동작에 대한 정량적 평가 척도를 제공하는 것을 목표로 한다. 사용자가 가상 장기 모델에 대해 절개를 수행하는 동안 평가 시스템은 절개 경로와 깊이를 일정 간격으로 샘플링하여 저장하고, 이를 두 곡선 간의 유사성 측정 알고리즘을 통해 훈련 시나리오 상에 정의된 표준 절개 경로와 깊이, 속도를 각각 비교한다. 이렇게 계산된 두 경로 사이의 거리가 가까울수록 유사성이 높은 것으로 간주하며, 사전에 설정된 기준치 이상의 유사성을 기록할 경우 훈련 목표를 충족한 것으로 판단할 수 있다. 본 연구에서는 단순 거리 측정에 의존한 일반적인 경로의 유사성 판단 알고리즘의 문제점을 제시하고, 전체 절개 경로의 길이 대비 현재까지 진행된 정도를 매개변수로 하는 방법을 이용하여 절개 경로의 방향을 고려한 유사성 측정 알고리즘을 제안하였다. 이와 같이 정량적이며 자동화된 절개 숙련도 평가 기법을 제안함으로써 사용자의 훈련 결과에 대해 보다 객관적인 피드백을 제공할 수 있다.

실감형 교과서를 위한 멀티모달 콘텐츠 저작 및 재생 프레임워크 설계

김석열(Seokyeol Kim),박진아(Jinah Park) 한국콘텐츠학회 2010 한국콘텐츠학회논문지 Vol.10 No.8

가상교육 환경에 있어서 보다 효과적인 지식 전달을 위해서는 시청각적 정보에만 의존하는 기존의 학습매체에서 탈피하여 상황에 맞는 촉각 피드백이 포함된 ‘실감형 교과서’의 도입이 필요하다. 그러나 저작 및 재생 환경상의 제약으로 인해 실감형 교과서를 위한 학습 콘텐츠의 확보와 활용은 아직 요원한 실정이다. 우리는 이러한 문제점에 착안하여 실감형 교과서를 위한 접근성 높은 멀티모달 학습 콘텐츠 저작 및 재생 프레임워크를 제안하였다. 본 프레임워크는 직관적인 콘텐츠 저작을 위한 스크립트 포맷과 이를 재생하기 위한 콘텐츠 재생부로 구성되어 있다. 스크립트 규격 정의 단계에서는 학습 콘텐츠에 요구되는 요소들을 규명하고 이를 반영한 XML 기반의 메타언어를 정의하였다. 그리고 콘텐츠 재생부는 작성된 콘텐츠를 해석하고 사용자로부터의 입력에 대응하여 시각 및 촉각 렌더링 루프를 통해 사용자에게 멀티모달 피드백을 제공하도록 설계되었다. 이렇게 제안된 내용을 바탕으로 프로토타입을 구현하고 사용자 평가를 수행하여 본 프레임워크의 효용성을 검증하는 한편 앞으로의 개선 방향에 대해 논의하였다. For virtual education, the multimodal learning environment with haptic feedback, termed ‘immersive textbook', is necessary to enhance the learning effectiveness. However, the learning contents for immersive textbook are not widely available due to the constraints in creation and playback environments. To address this problem, we propose a framework for producing and displaying the multimodal contents for immersive textbook. Our framework provides an XML-based meta-language to produce the multimodal learning contents in the form of intuitive script. Thus it can help the user, without any prior knowledge of multimodal interactions, produce his or her own learning contents. The contents are then interpreted by script engine and delivered to the user by visual and haptic rendering loops. Also we implemented a prototype based on the aforementioned proposals and performed user evaluation to verify the validity of our framework.