DID 복합 콘텐츠 제어를 위한 키넥트 기반 인터페이스 = Kinect-based Interface for Controlling DID Compound Content

국문 초록 (Abstract)

차세대 ICT를 이끌어 나갈 IT 기술들 중에서 최근 주목받고 있는 기술로 지능형사물이 있다. 지능형사물인터넷은 다양한 스마트 기술과 인공지능이 사물인터넷과 결합되어 만들어진다. 디지털 정보를 출력해 주는 DID(Digital Information Display)는 단순히 정보를 출력하는 장치에 그치지 않고 사용자와 상호작용할 수 있는 장치로 발달되고 있다. 지능형사물과 DID가 결합되면서 좀 더 자연스러운 사용자 인터페이스가 요구되고 있다. 본 연구에서는 DID를 통해 출력되는 콘텐츠를 제어하기 위한 사용자 인터페이스로 3차원 동작 센서인 키넥트를 이용한 사용자 인터페이스를 제안한다. 그러나 사용자의 동작으로 인해 출력되는 키넥트의 데이터들에는 노이즈가 많으며, 사용자의 신체 중 일부분이 가려지면 추적이 어렵다는 문제점을 가지고 있다. 이러한 문제점 때문에 키넥트를 이용하는 게임에서는 사용자와 키넥트의 환경설정을 위해 사용자에게 자세교정과 같은 불편한 요구를 한다. 본 연구에서는 DID 콘텐츠를 이용하는 사용자에 대한 요구를 최소화하였고, 키넥트를 이용할 때 발생할 수 있는 예외상황과 돌발상황에 대처하면서 사용자에게 친숙하고 일관된 동작처리가 가능한 사용자 인터페이스인 키넥트 기반 인터페이스를 제안한다.
본 연구에서는 첫째, DID 복합 콘텐츠를 앞에 등장하는 사람들 중에서 콘텐츠를 사용하고자 하는 의도를 가진 사용자들 중에서 단 한 사람의 대표 사용자를 선택하는 방법을 제안한다. 둘째, 사람의 동작 개념 모델를 구축하고 이 모델에 의한 규칙기반 제스처 인식 방법을 제안한다. 셋째, 키넥트 기반 인터페이스를 VR 파노라마에 기반한 DID 복합 콘텐츠를 제어하도록 구현하였으며, VR 파노라마, VR 오브젝트, 그리고 드론에 의해 상공에서 촬영한 동영상을 접목하여 사용자의 몰입감을 극대화하도록 설계하였다.

다국어 초록 (Multilingual Abstract)

Among the IT technologies that will lead the next generation of ICT, intelligent things are the technology that is getting attention. Intelligent Internet of Things The Internet is created by combining a variety of smart technologies and artificial intelligence with the Internet of things. DID (Digital Information Display) for outputting digital information is being developed not only as a device for outputting information but also as a device capable of interacting with a user. The combination of intelligent objects and DIDs requires a more natural user interface. In this study, we propose a user interface using Kinect, a 3D motion sensor, as a user interface for controlling contents output through DID. However, the data of the Kinect output due to the user's operation has a lot of noise, and there is a problem that it is difficult to track if a part of the user's body is obscured. Because of this problem, games that use Kinect make uncomfortable requests such as posture correction to users in order to set the user and Kinect environment. In this paper, we propose a Kinect-based interface that minimizes the need for users who use DID contents, and is a user interface that can handle user-friendly and consistent operation while coping with exceptional situations and unexpected situations that may occur when using Kinect.
In this study, we propose a method to select only one representative user among users who intend to use contents among the people appearing in front of DID compound contents. Second, we construct a human action concept model and propose a rule - based gesture recognition method based on this model. Third, we implemented a Kinect-based interface to control DID compound contents based on VR panoramas, and designed to maximize user 's immersion feeling by combining VR panorama, VR object, and video taken from the sky by the drones.

목차 (Table of Contents)

• 국문초록 ⅷ
• 영문초록 ⅹ
• 제 1 장 서론 1
• 1.1 연구 배경 및 연구 동기 1
• 1.2 연구 범위 및 구성 4
• 제 2 장 키넥트 센서와 관련 연구 동향 7
• 2.1 3차원 동작인식 센서 키넥트 7
• 2.2 오디오 스트림의 활용 12
• 2.3 깊이 정보의 활용과 관련 연구 13
• 2.4 3D 얼굴 정보 활용과 관련 연구 15
• 2.5 골격 정보의 활용과 관련 연구 18
• 2.6 키넥트를 이용한 제스처 인식 관련 연구 21
• 2.7 키넥트 기반 인터페이스 관련 연구 24
• 제 3 장 제안하는 키넥트 기반 인터페이스 27
• 3.1 키넥트 기반 인터페이스 실행 환경 27
• 3.2 키넥트 기반 인터페이스의 소프트웨어적 구성 29
• 3.3 키넥트 기반 인터페이스의 교정 32
• 3.3.1 기본 교정 방식의 문제점 32
• 3.3.2 피타고라스 정리에 의한 카메라 높이의 결정 33
• 3.4 대표 사용자 선택 36
• 3.4.1 사용자 등장 시나리오와 대표 사용자 선택 알고리즘 36
• 3.4.2 사용자의 얼굴 방향 정보 활용 39
• 3.4.3 대표 사용자 선택에 대한 기존 방법과의 비교 41
• 3.5 동작 개념 모델에 의한 규칙기반 제스처 인식 43
• 3.5.1 사람의 동작 인식을 위한 동작 인식 모델 구축 43
• 3.5.2 규칙기반 제스처 인식 알고리즘 50
• 3.5.3 동작 인식 모델의 개선 50
• 3.5.4 핸드마우스의 구현 51
• 제 4 장 복합 VR 파노라마를 이용한 DID 콘텐츠 구축 53
• 4.1 Sky View 53
• 4.2 VR 파노라마 54
• 4.3 VR 오브젝트 59
• 4.4 서로 다른 차원의 VR 간의 연결 61
• 제 5 장 구현 및 실험 63
• 5.1 키넥트 모션 센서를 이용한 인터페이스 구현 63
• 5.1.1 대표 사용자 선택 시나리오 수행 결과 64
• 5.1.2 규칙베이스 기반 제스처 인식 결과 66
• 5.1.3 핸드마우스 구현 결과 71
• 5.1.4 제스처를 이용한 DID 복합 콘텐츠 제어 결과 73
• 5.2 DID 콘텐츠 제작 74
• 5.2.1 Sky View 제작 75
• 5.2.2 VR 파노라마 제작 77
• 5.2.3 VR 오브젝트 제작 79
• 제 6 장 결론 81
• 참고문헌 83

참고문헌 (Reference)

1. “키넥트를 이용한 수화 인식”, 양희덕, 조선대학교 공학기술연구원, Journal of Advanced Engineering and Technology, Vol. 8, No. 4, pp.299-303, , 2015

2. 키넥트를 사용한 NUI 설계 및 구현, 정일홍(Il-Hong Jung), 이새봄(Sae-Bom Lee), 한국디지털콘텐츠학회, 한국디지털 콘텐츠학회 논문지, Vol. 15, No. 4, pp.473-480, , 2014

3. 키넥트 기반 STEAM 콘텐츠 제작 및 활용, 김형숙 ( Hung Sook Kim ), 황정환 ( Jung Hwan Hwang ), 한국예술교육학회, 예술 교육연구, 제14권 제1호, pp.119-129, , 2016

4. “깊이 정보를 이용한 영상 합성 기 법”, 박성환, 권순철, 전형준, 이승현, 한국방송∙미디어공학회, 방송공학회지, 제18권 제3호, pp.22-33, , 2013

5. “KINECT 기반 3D 인체 제스처마우스 개발”, 주강, 서래원, The Int. J ournal of Engineering, Vol. 13, No. 1, pp.54-66, , 2011

6. “키넥트를 활용한 증강현실 시스템 구현”, 염효섭, 순천향대학교 대학원, 순천향대학교 대 INSIDabcdef_:MS_0001MS_0001 학원 컴퓨터학과 석사학위논문, , 2016

7. Kinect 를 이용한 사용자 얼굴 모델의 눈썹 변형, 박혜진, 김명희, 홍주연, 한국HCI학회, 한국HCI학회 학술대회, pp.847-849, , 2013

8. “제스처 인식을 이용한 DID 인터페이스 구 현”, 이상헌, 김대진, 최홍섭, 한국디지털콘텐츠학회 논문지, Vol. 13, No. 3, pp.343-352, , 2012

9. “키넥트를 이용한 VOD 사용자 인터페이스 설계”, 임재걸, 이강재, 김행선, 한국컴퓨터정보학회, 한국컴퓨터정보학회 학술발표논문집, Vol. 21, No. 2, pp.375-378, INSIDabcdef_:MS_0001MS_0001, , 2013

10. “KINECT 기반 3D 홀로그래픽과 제스처에 대한 연구”, 서래원, 주강, 노창배, 한국디지털콘텐츠학회, J ournal of Digital Contents Society, Vol. 14, No. 4, pp.411-417, , 2013

11. 3D 콘텐츠 제어를 위한 키넥트 기반의 동작 인식 모델, 최한석(Han Suk Choi), 한국콘텐츠학회, 한국콘텐츠학회 논문지, Vol. 14, No. 1, pp.24-29, , 2014

12. “AirTouch 기술을 활용한 스마트융합 DID 시스템 설계”, 황부현, 이광용, 한국항행학회, 한국항행학회 논문지, 제17권 제2호, pp.240-246, , 2013

13. “깊이 정보를 이용한 실시간 손 영역 검출 및 추적”, 원선희, 주성일, 최형일, 한국정보처리학회, 정보처리학회 논문지/소프트웨어 및 데이터 공학, 제1권 제3호, pp.177-186, , 2012

14. “키넥트 센서를 이용한 모션 기반 인터페이스 구 현”, 윤신요, 곽근창, 한국정보기술학회, Proceedings of KIIT Summer Conference, pp.393-395, , 2012

15. 실사 영상기반 3 차원 대화형 가상현실 콘텐츠 제작 공정, 김민규(Mingyu Kim), 이지원(Ji Won Lee), 정서원(Seo Won Jung), 이근형(Keun Hyoung Lee), 김진모(Jin Mo Kim), 정기성(Ki Sung Jeong), 한승훈(Soung Hun Han), 한국HCI학회, 한국 HCI학회 학 술대회, Vol. No. 1, pp.357-363, 2016, , 2016

16. 키넥트를 이용한 동작인식 게임의 인터페이스 보정 방법, 강경헌,김은석, 한국게임학회, J ournal of Korea Game Society, Vol. 15, No. 3, pp.135-150, , 2015

17. “키넥트를 이용한 중첩이 있는 제스처의 효 율적 인식”, 장병탁, 장하영, 조성원, 한국정보과학회, 한국정보과학회 학술발표논문집, 제39권 2B편, pp.310-312, , 2012

18. “하드웨어 구현을 위한 이미지 스티칭 알고리즘 연 구”, 이용환, 변상봉, 한국정보기술학회, Proceedings of KIIT Summer Conference, pp.217-219, , 2013

19. “3D 전자 교과서를 제어하기 위한 손 제스처 인터페이스”, 류관희, 정지성, 오원근, 권순옥, 김종오, 김도형, 주성연, (사)한국컴퓨터게임학회, 한국컴퓨터게임학 회논문지, Vol. 25, No. 4, pp.119-127, , 2012

20. “Kinect Sensor를 이용한 실시간 3D 인체 전신 융합 모션 캡처”, 김성호, 한국디지털정책학회, J ournal of digital convergence, 제14권 제1호, pp.189-194, , 2016

21. “키넥트 센서를 이용한 실욕적인 3 차원 안면 진단기 연구”, 김장웅, 장준수, 남지호, 도준형, Journal of Physiol & Pathol Korean Med, Vol. 29, No. 3, pp.218-222, , 2015

22. “깊이 정보를 이용한 케스케이드 방식의 실 시간 손 영역 검출”, 최형일, 주성일, 원선희, 한국정보처리학회, 정보처리학회논문지, 제2권 제10호, pp.713-722, , 2013

23. “깊이 맵 기반의 실시간 가상 영상 합성 시스템의 설계 및 구현”, 노관승, 김은곤, 이혜미, 류남훈, 한국전자통신학회, JKIECS, Vol. 9, No. 11, pp.1317-1322, , 2014

24. “Hand Gesture User Interface for Controlling 3D object in 3D virtual space using Kinect,”, M.S. Im, K.H. Yoo, J.J. Han, J.A. Park, C. Park, S.A. Kwon, J.S. Jeong, S.O. Kwon, J.H. Choi, 한국콘텐츠학회, 한국콘텐 츠학회 ICCC 논문집, pp.105-106, , 2011

25. “몰입형 손 인터페이스 구현을 위한 MI-HNMA 제스처 학 습 알고리즘 개발”, 김기우, 동아대학교 대학원 전자공학과 석사학위논문, , 2016

26. “손가락 마디 추정을 이용한 비전 및 깊이 정보 기반 손 인터페이스 방법”, 박기서, 이대호, 박영태, 한국디지털정책학회, The Journal of Digital Policy & Management, Vol. 11, No. 7, pp.157-163, , 2013

27. “키넥트를 이용한 손 인식 인터페이스 기반의 대화 식 영상 클리핑 시스템”, 민경하, 이고운, 한국컴퓨터게임학회, 한국컴퓨터게임학회 논문지, Vol. 26, No. 4, pp.211-218, , 2013

28. “깊이 카메라를 사용한 3D 콘텐츠 한국전래동화 구 현 : 별주부전을 중심으로”, 이창조, 최태준, 한국엔터테인먼트산업학회, 한국엔터테인먼트산업학회논문지, 제10 권 제3호, pp.329-336, , 2016

29. “키넥트 모션인식과 ECG센서의 심 박수 측정을 기반한 스마트 원격 재활운동 시스템”, 권성주, 이영숙, 정완영, 김종진, 센서학회지, 제 24권 제1호, pp.69-77, , 2016

30. “가상현실기반 HMD 체험형 콘텐츠 개발 연구 -남서울대학 INSIDabcdef_:MS_0001MS_0001 교 캠퍼스 투어를 중심으로-”, 한정엽, Journal of the Korea Institute of Spatial Design, Vol. 11, No. 2, pp.65-76, , 2016