소형 마커를 이용한 손가락 터치 기반 감각형 증강현실 상호작용 방안

정호균(Ho-Kyun Jung),박형준(Hyungjun Park) (사)한국CDE학회 2013 한국CDE학회 논문집 Vol.18 No.5

Various interaction techniques have been studied for providing the feeling of touch and improve immersion in augmented reality (AR) environments. Tangible AR interaction exploiting two types (product-type and pointer-type) of simple objects has earned great interest for cost-effective design evaluation of digital handheld products. When the sizes of markers attached to the objects are kept big to obtain better marker recognition, the pointer-type object frequently and significantly occludes the product-type object, which deteriorates natural visualization and level of immersion in an AR environment. In this paper, in order to overcome such problems, we propose tangible AR interaction using fingertip touch combined with small-sized markers. The proposed approach facilitates the use of convex polygons to recover the boundaries of AR markers which are partially occluded. It also properly enlarges the pattern area of each AR marker to reduce the sizes of AR markers without sacrificing the quality of marker detection. We empirically verified the quality of the proposed approach, and applied it in the process of design evaluation of digital products. From experimental results, we found that the approach is comparably accurate enough to be applied to the design evaluation process and tangible enough to provide a pseudo feeling of manipulating virtual products with human hands.

Unity와 Leap Motion을 이용한 웹 기반 3D 가상품평

정호균(Ho-Kyun Jung),박형준(Hyungjun Park) (사)한국CDE학회 2016 한국CDE학회 논문집 Vol.21 No.2

In order to realize the virtual prototyping (VP) of digital products, it is important to provide the people involved in product development with the appropriate visualization and interaction of the products, and the vivid simulation of user interface (UI) behaviors in an interactive 3D virtual environment. In this paper, we propose an approach to web-based 3D virtual experience using Unity and Leap Motion. We adopt Unity as an implementation platform which easily and rapidly implements the visualization of the products and the design and simulation of their UI behaviors, and allows remote users to get an easy access to the virtual environment. Additionally, we combine Leap Motion with Unity to embody natural and immersive interaction using the user’s hand gesture. Based on the proposed approach, we have developed a testbed system for web-based 3D virtual experience and applied it for the design evaluation of various digital products. Button selection test was done to investigate the quality of the interaction using Leap Motion, and a preliminary user study was also performed to show the usefulness of the proposed approach.

마커 추적 개선 및 소형화를 이용한 증강현실 상호작용 방안

정호균(Ho-Kyun Jung),박형준(Hyungjun Park) (사)한국CDE학회 2013 한국 CAD/CAM 학회 학술발표회 논문집 Vol.2013 No.1

XML을 이용한 3D 가상 제품의 HMI 행동양태 모델링과 시뮬레이션 방안

정호균(Ho-Kyun Jung),박형준(Hyungjun Park) (사)한국CDE학회 2015 한국CDE학회 논문집 Vol.20 No.1

In the virtual prototyping (VP) of digital products, it is important to provide the people involved in product development with the visualization and interaction of the products, and the simulation of their human machine interaction (HMI) behaviors in interactive 3D virtual environments. Especially, for the HMI behavior simulation, it is necessary to represent them properly and to play them back effectively according to user interaction in the virtual environments. In a conventional approach to HMI behavior simulation, user interface (UI) designers use UI design software tools to generate the HMI behavior of a digital product of interest. Due to lack of reusability of the HMI behavior, VP developers need to analyze and integrate it into a VP system for its simulation in a 3D virtual environment. As this approach hinders the effective communication between the UI designers and the VP developers, it is easy to create errors and thereby it takes significant time and effort especially when it is required to represent the HMI behavior to the finest level of detail. In order to overcome the shortcomings of the conventional approach, we propose an approach for representing the HMI behavior of a digital product using XML (eXtensible Markup Language) and for reusing it to perform the HMI behavior simulation in 3D virtual environments. Based on the approach, a VP system has been developed and applied for the design evaluation of various products. A case study about the design evaluation is given to show the usefulness of the proposed approach.

증강현실 환경에서 Leap Motion 을 이용한 손 영상의 3D/2D 정합 방안

정호균(Ho-Kyun Jung),박형준(Hyungjun Park) (사)한국CDE학회 2016 한국 CAD/CAM 학회 학술발표회 논문집 Vol.2016 No.동계

Natural User Interface(NUI)가 대두되면서 사용자의 자연스러운 동작을 측정/인식하고, 이를 활용하여 가상의 객체와 상호작용하는 방안에 대한 연구가 활발히 이루어지고 있다. 본 논문에서는 증강현실 환경에서 손 동작 감지 센서 Leap Motion 을 이용하여 사용자 손 영상 위에 3D 손 모델을 실시간 정합시키는 방안을 제안하고, 이를 바탕으로 증강현실 환경에서 손 동작을 이용하여 가상 객체와 자연스럽게 상호작용하는 방안을 제시한다. 제시된 방안에서는 카메라 근처에 부착된 Leap Motion 으로부터 카메라 좌표계와 Leap Motion 좌표계 간의 변환 관계를 규명하고, 이를 이용하여 Leap Motion 에서 얻어진 손 골격 정보를 토대로 생성된 3D 손 모델을 카메라로부터 얻어진 손 영상 위로 실시간 정합시킨다. 또한, 3D 손 모델을 적절히 활용하여 가상 객체가 손 영역 일부를 가리는 문제를 해결하고, 손 동작 기반 자연스러운 상호작용을 위해 이를 이용한다. 이를 통해 증강현실 공간에서 사용자 손과 가상 객체 간의 자연스러운 물리적 상호작용을 실현할 수 있다. 가상 객체의 접촉 및 선택 작업이 포함된 간단한 사례를 통해 제안된 방안의 유용성을 보인다.

Unity 와 Leap Motion 을 이용한 디지털 제품의 웹 기반 3D 가상시작 방안

정호균(Ho-Kyun Jung),박형준(Hyungjun Park) (사)한국CDE학회 2015 한국 CAD/CAM 학회 학술발표회 논문집 Vol.2015 No.동계

디지털 제품의 3D 가상시작(Virtual Prototyping)을 위해서는 제품 형상의 사실적 시각화, 제품-사용자간의 원활한 상호작용, 제품 UI 행동양태의 생생한 시뮬레이션이 요구된다. 본 논문에서는 Unity 와 Leap Motion 을 이용한 디지털 제품의 웹 기반 3D 가상시작(Virtual Prototyping) 방안을 제시한다. Unity 를 시작품 개발환경으로 이용함으로써 제품 형상의 시각화와 제품 UI 행동양태의 설계 및 시뮬레이션 기능을 쉽고 효과적으로 구현할 수 있다. 아울러, Leap Motion 을 Unity 와 연동시킴으로써 마우스와 함께 손의 자세와 손끝 위치를 이용한 편리하고 몰입감(immersion)이 향상된 상호작용을 구현하였고, 개발된 가상시작품을 사용자의 접근이 용이한 웹(Web)을 통해 접근하게 하여 디지털 제품의 3D 가상시작을 수행하게 하였다. 제안된 방안을 토대로 디지털 제품에 대한 웹 기반 3D 가상설계 품평 시스템을 개발하였으며, 제시된 방안의 유용성을 확인하였다.

적응적 이진화와 아핀 불변 특징 검출을 이용한 적외선 영상 객체 추적

정호균(Ho-Kyun Jung),박형준(Hyungjun Park) (사)한국CDE학회 2017 한국CDE학회 논문집 Vol.22 No.4

Infrared (IR) images are usually less noisy and more robust to environment illumination changes than RGB images. In this paper, we propose an accurate and robust method for object tracking in such IR images using adaptive thresholding and affine invariant feature detection. As a simple physical prop for object tracking, the method makes good use of an IR marker, which consists of seven IR LED dots corresponding to the points of a specific planar shape, in order to compute transformation between two coordinate frames defined by an IR camera and the IR marker, respectively, by detecting the IR LED dots and recognizing the planar shape in each image captured by the IR camera. We also propose an adaptive thresholding algorithm devised for robustly and accurately detecting IR LED dots and computing their centers in a captured IR image. In addition, we propose an algorithm for accurately determining correspondence between the detected IR LED dots and the points of the given shape by using the property that the area ratio of two triangles in a quadrilateral is preserved by affine transformation. Compared with the traditional method based on marker tracking in RGB images, the proposed method based on IR marker tracking using adaptive thresholding and affine invariance property is more robust and accurate. We have implemented the method and conducted some experiments to show its quality and advantages over the traditional one.

증강현실 환경에서 적외선 센서를 이용한 하이브리드 추적 방안

정호균(Ho-Kyun Jung),박형준(Hyungjun Park) 한국경영과학회 2019 한국경영과학회 학술대회논문집 Vol.2019 No.4

증강현실(augmented reality, AR) 시스템에서 사용자의 몰입감(immersion) 향상을 위해 가상(virtual) 객체와 연계된 물리적(physical) 객체의 정확한 추적 및 정합 기술이 요구된다. 기존의 많은 연구에서는 물리적 객체의 위치/자세를 추적하기 위해 RGB 영상 정보를 활용한 방안들이 제시되었지만, 조명 환경 변화에 민감하여 제한적인 환경에서 적용되고 있는 실정이다. 이를 해결하기 위해 센서(sensors) 정보를 활용하여 물리적 객체의 위치/자세를 추적하는 방안들에 대한 연구가 활발히 이루어지고 있다. 본 연구는 이러한 흐름에 입각하여 외부 조명환경 변화에 둔감한 적외선(infrared; IR) 센서를 활용하는 객체 추적 방안을 제시한다. 적외선 LED 점들로 구성된 IR 마커를 IR 카메라로 촬영하여 적외선 영상의 마커 특징점들을 검출하고, 특징점들 간의 지역적 인접관계를 활용하여 마커를 인식 및 추적하는 방안을 제안한다.

증강현실 환경에서 적외선 센서를 이용한 하이브리드 추적 방안

정호균(Ho-Kyun Jung),박형준(Hyungjun Park) 대한산업공학회 2019 대한산업공학회 춘계학술대회논문집 Vol.2019 No.4

증강현실(augmented reality, AR) 시스템에서 사용자의 몰입감(immersion) 향상을 위해 가상(virtual) 객체와 연계된 물리적(physical) 객체의 정확한 추적 및 정합 기술이 요구된다. 기존의 많은 연구에서는 물리적 객체의 위치/자세를 추적하기 위해 RGB 영상 정보를 활용한 방안들이 제시되었지만, 조명 환경 변화에 민감하여 제한적인 환경에서 적용되고 있는 실정이다. 이를 해결하기 위해 센서(sensors) 정보를 활용하여 물리적 객체의 위치/자세를 추적하는 방안들에 대한 연구가 활발히 이루어지고 있다. 본 연구는 이러한 흐름에 입각하여 외부 조명환경 변화에 둔감한 적외선(infrared; IR) 센서를 활용하는 객체 추적 방안을 제시한다. 적외선 LED 점들로 구성된 IR 마커를 IR 카메라로 촬영하여 적외선 영상의 마커 특징점들을 검출하고, 특징점들 간의 지역적 인접관계를 활용하여 마커를 인식 및 추적하는 방안을 제안한다.

XML 을 이용한 3D 가상 제품의 HMI 행동양태 모델링 및 시뮬레이션 방안

정호균(Ho-Kyun Jung),박형준(Hyungjun Park) (사)한국CDE학회 2014 한국 CAD/CAM 학회 학술발표회 논문집 Vol.2014 No.8

다양한 기능이 포함된 전자 제품의 가상시작(Virtual Prototyping, VP)을 구현하기 위해서는 제품에 대한 시각화 및 제품-사용자 간의 상호작용, 그리고 제품의 HMI (Human Machine Interaction) 기능 시뮬레이션이 함께 제공되어야 한다. HMI 기능 시뮬레이션을 위해서는 제품의 HMI 행동양태(behavior) 정보를 표현/생성하고, 상황에 맞는 상호작용과의 연동을 통해 가상시작 환경에서 효과적으로 재현하는 것이 요구된다. 기존 방식에서는 UI 설계자가 2D 기반의 설계도구를 통해 HMI 행동양태를 설계/구축한 다음, 3D 가상 시작 개발자는 이것을 분석/정리 및 코드화하여 3D 가상시작용 HMI 기능 시뮬레이션에 활용했다. 이러한 방식은 설계자와 개발자 간의 의사소통 과정에서의 빈번한 오류를 발생시키며, 이로 인해 3D 가상 시작 개발을 위한 많은 시간과 노력이 소요된다. 이를 해결하기 위해서 본 논문에서는 XML(eXtensible Markup Language)를 이용하여 제품의 HMI 기능 정보 모델을 표현/생성하는 방안을 제안하고, 생성된 정보 모델을 3D 가상시작 시스템에 쉽게 재사용하여 HMI 기능 시뮬레이션을 수행하는 방안을 제안한다. 사례연구를 통해 제안된 방식이 별도의 코딩 작업 없이 HMI 기능 정보를 손쉽게 재사용할 수 있으며, 다양한 플랫폼에 적용될 수 있음을 보인다.