터치스크린을 적용한 모바일 기기의 멀티모달 피드백 사용성 분석 = Multimodal Feedback Usability Analysis on Touchscreen-Applied Mobile Device

국문 초록 (Abstract)

인간이 기계를 다루기 위한 인터페이스의 입력수단에는 다양한 방법이 적용된다. 마우스나 키보드, 버튼과 같은 입력장치는 인간-기계의 상호작용에 있어 지금까지 가장 효율적인 입력장치로 활용되어 왔다. 책상 위의 데스크 탑은 기술의 발전으로 주머니 속 모바일 기기로 대신하여 모든 정보처리가 손 안에서 이뤄지기에 이르렀고, 보다 다양한 정보를 쉽고 편리하게 사용할 수 있는 멀티미디어 기기로서의 역할을 요구하게 되었다. 이러한 변화에 부응하기 위한 터치스크린의 등장은 한정된 인터페이스의 한계를 극복하고 다양한 입력환경을 사용자에게 제공하기 때문에 모바일 기기의 입력장치로서 최적의 대안으로 급부상하고 있다. 그러나 터치스크린 환경은 사용자가 조작하는 행위에 대한 청각, 촉각 등에 대한 피드백이 없기 때문에 인지과정에 대한 인위적인 환경이 필요하다. 멀티모달(multimodal) 피드백은 이러한 물리적 특성이 적은 터치스크린 환경에 시지각(visual), 청지각(sound), 촉지각(haptic)의 인위적인 환경을 제공함으로써 사용성을 높이는 수단으로 활용되고 있다. 궁극적으로는 가상의 인터페이스 환경에 소리(sound)와 촉감(tactile)과 같은 현실감을 부여함으로써 사용자의 몰입감을 상승시키고 에러율을 감소시켜 사용성이 높은 입출력 환경을 만드는데 있다. 그러나 멀티모달 피드백은 사용환경과 작업특성, 사용계층에 따라 항상 안정된 사용성을 보이는 것은 아니다. 멀티모달 인터페이스환경은 사용자의 더 나은 경험을 위해 존재하는 인위적인 매개체일 뿐이므로 사용자가 시스템을 이용하여 얻고자 하는 가치는 항상 절대적일 수 없기 때문이다. 따라서 인터페이스 환경마다 달라질 수 있는 사용자 가치는 멀티모달 피드백을 적용하기 위한 중요한 척도가 아닐 수 없다. 이에 따라 본 연구에서는 터치스크린을 적용한 모바일 기기의 주요 입력유형을 분석하고 입력유형에 따라 나타나는 피드백 사용성 지수를 측정하여 최적의 멀티모달 피드백 유형을 제시하고자 한다.

본 연구의 실험을 위해 터치 입력유형에 따른 피드백 사용성 측정을 위해 대표적인 입력유형 6가지를 추출하였고, 시지각, 청지각, 촉지각 피드백을 독립적, 복합적으로 구현할 수 있는 프로토타입을 제작하여 각 피드백이 주는 만족도 지수 7가지 항목을 측정하였다. 멀티모달 피드백 사용성 실험분석을 통한 결론은 다음과 같다.

첫째, 시지각 반응은 입력유형에서 반드시 존재해야만 하는 필수적인 피드백 요소로 확인되었다.

둘째, 인터페이스의 높은 난이도와 과업의 빠른 속도, 터치의 면적의 축소에 따라 청지각, 촉지각 피드백 요소는 사용성 저해 요인으로 작용하였다.

셋째, 재미적인 요소와 단순한 과업의 인터페이스에서는 촉지각 피드백이 사용자의 만족도를 상승시키는 주요 요소로 작용하였으며, 시지각, 청지각, 촉지각의 멀티모달 3요소가 모두 결합하였을 때 가장 좋은 사용성을 보여주었다.

위 결과에 따라 터치스크린 환경에서의 멀티모달 피드백 3요소는 사용성을 높여주는 절대적인 만능조건이 될 수 없는 것으로 확인하였으며, 입력유형 및 사용자 환경에 따른 최적의 피드백 요소를 밝혀내었다. 하지만 이러한 환경과 조건은 기술의 발전과 다양한 사용자환경의 변화에 따라 상대적으로 바뀔 것이다. 따라서 단순한 논리의 멀티모달 시스템을 벗어나고, 인간과 기계의 보다 자연스러운 커뮤니케이션이 될 수 있도록 지속적이고 종합적인 평가가 이뤄져야 할 것이다.

다국어 초록 (Multilingual Abstract)

Many ways are applied to the input methods for interfaces in order for people to operate machines. The input devices such as mouses, keyboards and buttons have been used as the most effective input devices in terms of human-machine interactions so far. Development of technology has replaced desktops with mobile devices in your pockets. All information processes are done within your hand. This came to require that mobile devices work as multimedia devices that provide more various information in easier and more convenient ways. The appearance of touch-screen to meet these changes surpasses the limit of limited interfaces. Touch-screen provides many kinds of input environment to users. Touch-screen has suddenly risen to be an optimal alternative as an input device of mobile devices. However, touch-screen environment does not have any audible or haptic feedback on users' operating activities. Instead, artificial environment is needed for the recognition process. Multimodal feedback provides artificial visual, sound and haptic environment to touch-screen environment that has very little physical characteristics. Multimodal feedback is used for improving touch-screen's usability. The eventual goal is to create input-and-output environment with high usability by giving the sense of the real such as sound and tactile senses to virtual interface environment, multimodal increase the users' involvement and decrease the error rate. However, multimodal feedback does not always show stable usability according to the used environment, the operating characteristics and the user class. Multimodal interface environment is just artificial media for users' better experience. The value users want to get by using the system cannot always be absolute. Therefore, the users' value that can be changed according to each interface environment is an important measure to apply multimodal feedback to touch-screen. This study, in turn, is designed to suggest the optimal multimodal feedback type by analyzing main input types of mobile devices to which touch-screen is applied and measuring the feedback usability quotient.

For the experiments of this study, we extracted representative 6 input types in order to measure the feedback usability according to touch-input types. We manufactured prototypes that can implement visual, sound and haptic feedback in independent and combined ways. We measured the satisfaction quotient for 7 items that each feedback gave. The conclusion through the experiment and analysis of multimodal feedback usability is as follows;

First of all, visual reaction is identified as an essential feedback factor that must exist among input types.

Second of all, the sound and haptic feedback factors acted as an anti-usability factor according to the highly difficult interface, fast operating speed and reduced touch-area.

Third of all, haptic feedback acted as a main factor to increase users' satisfaction for fun factors and simple operation interface. It showed the best usability when all three multimodal factors of visual, sound and haptic feedback are combined.

According to the above result, we made sure that 3 multimodal feedback factors in touch-screen environment cannot be absolute condition. We found out the optimal feedback factors according to input types and user environment. These environment and conditions, however, will be changed relatively according to the development of technology and changes of various user environment. Therefore, it is necessary to do the constant and comprehensive evaluation for more natural human-machine communication.

목차 (Table of Contents)

• 1. 서론 = 1
• 1.1. 연구배경 = 2
• 1.2. 연구목적 = 4
• 1.3. 연구방법 = 5
• 2. 터치스크린의 이해 = 6
• 2.1. 터치인터페이스의 이해 = 7
• 2.1.1. 터치인터페이스의 개념 = 7
• 2.1.2. 터치입력기술의 이해 = 9
• 2.2. 터치스크린 기기의 이해 = 15
• 2.2.1. 터치스크린 기기의 유형 = 15
• 2.2.2. 터치입력에 따른 인터랙션의 유형 = 27
• 3. 멀티모달 피드백의 이해 = 32
• 3.1. 멀티모달 피드백의 개념 및 정의 = 33
• 3.2. 멀티모달 피드백 특성요소 = 34
• 3.2.1. 시지각 인터페이스 = 35
• 3.2.2. 청지각 인터페이스 = 36
• 3.2.3. 촉지각 인터페이스 = 39
• 4. 멀티모달 피드백 사용성 분석 = 43
• 4.1. 실험 개요 = 44
• 4.1.1. 실험 목적 및 방법 = 44
• 4.1.2. 실험 프로세스 = 46
• 4.1.3. 실험 설정 = 47
• 4.2. 프로토타입 제작 = 48
• 4.2.1. 평가용 디바이스 제작 = 48
• 4.2.2. 평가용 UI 제작 = 50
• 4.3. 멀티모달 피드백 사용성 평가 = 56
• 4.3.1. 사전 조사 = 56
• 4.3.2. 실험 결과 분석 = 62
• 4.3.3. 실험 결과 종합 = 74
• 5. 결론 = 79
• 5.1. 결론 = 80
• 5.2. 향후 연구과제 = 83
• 참고문헌 = 84
• Abstract = 87