웹 환경에서 장애인의 디지털 기기 접근성 향상을 위한 멀티모달 인터페이스 연구 = Multimodal interface to improve digital device accessibility for the people with disabilities in web environment

다국어 초록 (Multilingual Abstract)

In order to improve the quality of life for people with disabilities, economic self-sufficiency is the most important issue. Participation Rate in Economic Activities of Persons with Disabilities with a university degree of higher is the highest, and the employment rate shows the same phenomenon, so the education and employment rate of the disabled are closely related. This means that going to university with a disability is an important process that increases the possibility of participation in future economic activities. Therefore, there is a need for an environment where people with disabilities can learn for themselves at school and at home.
Although learning methods using various assistive devices and smart devices exist for the independent learning of the disabled, there are still inconveniences in using the devices on their own because current technology is very limited and does not embrace different types of disabilities people have. In the existing smart device and web environment, general users use Graphic User Interface (GUI) environment to record, retrieve, and reuse information. In order to control the device and the contents in the existing GUI environment, it is most important for the disabled to control the pointer using the mouse. However, it is difficult to use it, especially depending on the type of disability.
Therefore, there is a need to solve a problem that occurs when various types of persons with disabilities control web interaction using a GUI in a web and in a smart device environment. The purpose of this study is to confirm the accessibility of digital devices and web contents by providing differentiated multi-modal interface according to the characteristics of each type of disabilities so that people with different disabilities can access digital devices and First, this study classifies new types of disabilities based on device accessibility features, and presents a specific technique to solve specific problems that occur when performing web interactions. Second, a multi-modal interface for each type of disabilities was developed. This enables users to control contents and menus based on the characteristics of their different disabilities and the types of interaction required.
To begin with, the derivation of specific technology for each type of disabilities was fulfilled by analyzing the essential interaction types in the web environment and by newly classifying the disability types in terms of device accessibility. The classified types of disabilities specify the technology users need so that device and content control can be realized according to their disability characteristics. Then, the technology of the accessibility analysis was combined with the derived technology to finally derive the specific technology for each type of disabilities, and the validity was verified through interviews with expert and user groups. As a result, pointer movement and execution interactions were derived as essential interaction types in the web environment. Disability types were newly classified according to hand accessibility and visual perception, and specific technology for each type of disability were presented by applying voice and touch techniques which were derived from the accessibility analysis: ① Blind person, but hand available or partly available: Simple operation, assistive devices, voice input and output ② Low vision, but hand available or partly available: Content expansion and voice output ③ Normal vision , but upper limb impaired: eye tracking and voice command.
To continue, problems when controlling content and menu using essential web interaction in digital device environment were discovered through our multimodal interface research. Thus, multimodal interfaces applying specific technology according to the types of disabilities is developed, and its usability and effects have been verified through our research.
One of the multimodal interfaces developed in our research is Android-based mobile memo application which enables free voice memo and control for blind people. The application instantly recognizes menus with voice input and applies Bluetooth remote control and voice functions to freely navigate through multi-level menus or folders.
Another multimodal interface for persons with low vision is a voice browser in a mobile environment based on Android. The selective focusing technique that selects only the desired area within the web content and expands it in the selected order or outputs it by voice is applied.
Likewise, an eye tracking and voice command interface is developed, and usability verification was performed for GUI operation of the persons with upper limb impairment. Eye tracking technology is used to move the pointer, and voice commands technology is used to perform pointer clicks instantly. Furthermore, object enlargement function that automatically expands only the objects that can be clicked on the path of the user's eyes is implemented as well.
This study presents a multi-modal interface applying specific technology for each type of disabilities to improve accessibility to digital devices and contents for users in the web environment. This study confirmed that the usability and accessibility were improved to make it easier for persons with different types of disabilities to control digital devices. This study enables independent learning through digital devices and the web for the disabled, and ultimately expects economic stability for the disabled through their economic self-sufficiency.

국문 초록 (Abstract)

장애인의 삶의 질 향상을 위해서는 자립을 통한 경제적 보장이 가장 중요한 문제이다. 대졸 이상의 학력에서 경제 활동 참가율이 가장 높으며, 고율율도 같은 현상을 보이고 있어 장애인들의 학력과 고용률은 매우 밀접한 관계를 형성한다. 이는 장애인의 대학 진학이 미래 경제 활동 참가의 가능성을 높이는 중요한 과정이라 할 수 있다. 따라서 장애인이 학교와 가정에서 모두 스스로 학습이 가능한 환경이 필요하다.
장애인의 독립적인 학습을 위해 다양한 보조기기 및 스마트 기기를 사용한 학습 방법이 지원 되고 있지만, 다른 사람의 도움 없이 스스로 기기를 사용하기에는 여전히 불편함이 존재한다. 기존의 스마트 웹 환경에서 일반 사용자들은 정보의 기록, 검색 및 재사용하기 위해 WIMP (Window, Icon, Menu, Pointer)가 적용된 Graphic User Interface(GUI) 환경을 사용한다. GUI 환경에서 장애인이 기기 및 콘텐츠를 제어하기 위해서는 마우스를 이용한 포인터 제어가 가장 중요하지만, 장애 유형에 따라 사용의 어려움이 발생한다. 이를 위해 장애인이 GUI를 사용할 수 있도록 기술 개발되고 있지만, 장애 유형 별 일관된 기술 제공은 다양한 유형의 장애인이 사용하기에는 한계가 존재한다.
따라서 다양한 유형의 장애인이 웹 및 스마트 기기 환경에서 웹 인터랙션을 제어할 때 발생되는 문제점 해결이 필요하다. 본 연구는 다양한 유형의 장애인이 더 쉽게 디지털 기기와 콘텐츠에 접근할 수 있도록 장애 유형 별 특성에 따른 차별화 된 멀티모달 인터페이스를 제공하여 디지털 기기 및 웹 콘텐츠의 접근성 향상을 확인하고자 한다.
첫 번째로, 기기 접근성 기능을 기준으로 새롭게 장애 유형을 분류하고, 장애 유형 별 웹 인터랙션을 수행할 때 발생되는 문제점을 해결할 수 있도록 특성 기술을 제시 한다. 두 번째, 도출된 장애 유형 별 특성 기술과 필수 인터랙션 유형을 기반으로 콘텐츠 및 메뉴를 제어할 수 있는 장애 유형 별 멀티모달 인터페이스를 개발한다.
먼저 장애 유형 별 특성 기술 도출 연구는 웹 환경에서의 필수 인터랙션 유형을 분석하고 기기 접근성 관점에서 장애 유형을 새롭게 분류하였다. 분류 된 장애 유형은 각각의 특징에 따라 기기 및 콘텐츠 제어가 실현될 수 있도록 기술을 도출하였다. 이후 접근성 기술 분석에서 도출된 기술을 적용하여 최종적으로 장애 유형 별 특성 기술을 도출하였으며, 전문가와 사용자 집단의 인터뷰를 통해 타당성을 확인하였다.
웹 환경에서의 필수 인터랙션 유형으로 포인터의 이동과 실행 인터랙션을 도출하고, 장애 유형은 손 접근성 및 시각적 인식에 따라 새롭게 분류되었으며, 필수 인터랙션을 수행 할 수 있도록 접근성 분석에서 파생된 음성 및 터치 기술을 적용하여 각 장애 유형에 대한 특정 기술을 제시하였다: ① 전맹인, 손 사용 가능 및 일부 가능: 간단 조작 가능한 보조기기 및 음성 입출력 ② 저시력인, 손 사용 가능 및 일부 가능 : 콘텐츠 확대 및 음성 출력 ③정상 시력, 상지장애인 : 시선 추적 및 음성 명령.
다음으로 장애 유형 별 멀티모달 인터페이스 연구는 디지털 기기 환경에서 필수 웹 인터랙션을 이용하여 콘텐츠 및 메뉴를 제어할 때의 문제점을 찾고, 도출된 장애 유형 별 특성 기술을 적용한 멀티모달 인터페이스를 개발하고 사용성 및 효과성을 검증하였다.
전맹인을 위해 메뉴를 즉각적으로 인지하고, 다중 단계로 구성된 메뉴 또는 폴더를 자유롭게 탐색 할 수 있도록 블루투스 리모컨과 음성 기능을 적용하여 음성 메모 및 제어가 가능한 모바일 음성 메모 어플리케이션 개발하였다. 스마트폰 환경에서 메뉴 조작에 관한 효율성 및 정확성 비교 실험을 진행하여 정상인이 화면을 보면서 사용한 결과에 비해 전맹인이 리모컨을 사용하면서 음성 메모 것이 시간은 약간 더 소요되지만 정확도는 차이가 없음을 검증하였다.
저시력인을 위해 웹 콘텐츠 내에서 원하는 영역만을 골라 선택한 순서대로 확대 및 음성 출력해주는 선택적 포커싱 인터페이스를 적용한 모바일 보이스 웹 브라우저를 구현하였다. 톡백 서비스와 비교하여 선택적 포커싱 기능의 효과 검증 실험을 진행하여, 보이스브라우저가 원하는 영역만을 빠르고 정확하게 선택하여 읽을 수 있음을 확인하였다. 또한 만족도 평가를 통해 선택적 포커싱 기능이 저시력인의 사용에 효과적이고 사용자의 피로도가 감소함을 확인하였다.
상지장애인의 GUI 조작을 위한 시선 추적 및 음성 명령 인터페이스를 개발하고 사용성 검증을 진행하였다. 시선 추적 기술로 포인터의 움직임을 실행하고, 음성 명령으로 포인터 실행을 즉각적으로 수행 하도록 하였으며, 사용자의 시선이 이동하는 경로에 클릭이 가능한 객체만을 추출하여 자동 확대 시켜주는 웹 확장프로그램(Eye-Voice)을 개발하였다. 포인터 실행의 오작동 감소 실험과 적정 확대 비율 확인 실험을 통해, Eye-Voice가 포인터 실행의 오작동률 감소에 효과가 있었으며, 확대 기능의 효과와 140% 확대 비율이 사용자가 가장 편하고 정확하게 웹 브라우저를 사용할 수 있는 적정 비율임을 확인하였다.
본 논문은 웹 환경에서의 디지털 기기 및 콘텐츠 접근성을 향상시키기 위해 장애 유형 별 특성 기술을 적용한 멀티모달 인터페이스를 제시하였다. 이를 통해 장애 유형 별 더 쉽게 디지털 기기를 제어 할 수 있도록 사용성 및 접근성의 향상되었음을 확인하였으며, 장애인의 디지털 기기와 웹을 통한 독립적인 학습이 가능하여 궁극적으로 장애인의 자립을 통한 경제적 보장을 기대한다.

목차 (Table of Contents)

• 제 1 장 서론 = 1
• 1.1 연구배경 및 목적 = 1
• 1.2 연구의 방법 및 구성 = 4
• 제 2 장 관련 연구 = 7
• 2.1 기기 운영체제 별 장애인 접근성 기능 현황 = 7
• 2.2 장애 유형 별 스마트 기기 제어 인터페이스에 대한 연구 = 11
• 2.2.1 시각장애인의 기기 제어 인터페이스 연구 = 11
• 2.2.2 상지장애인의 기기 제어 인터페이스 연구 = 16
• 제 3 장 장애 유형 별 인터랙션 기능 분석 및 유형 분류 = 20
• 3.1 웹 환경의 인터랙션 분석 = 20
• 3.1.1 기기 접근성을 위한 요구사항 = 21
• 3.1.2 GUI 인터랙션의 유형 분석 = 22
• 3.2 기기 접근성에 따른 장애 유형 분류 = 26
• 3.2.1 장애 유형 분류 기준 및 대상 도출 = 27
• 3.2.2 장애 유형 별 인터랙션 기능 분석 결과 = 28
• 제 4 장 전맹인을 위한 리모컨 조작 음성 인터페이스 개발 = 31
• 4.1. 연구의 목표 = 31
• 4.2 리모컨 조작 음성 메모 인터페이스 설계 = 34
• 4.2.1 메뉴 제어 인터페이스 설계 = 35
• 4.2.2 파일 관리 인터페이스 설계 = 36
• 4.2.3 음성 기록 및 저장 인터페이스 설계 = 37
• 4.3 리모컨 조작 음성 메모 시스템 구현 및 결과 = 38
• 4.3.1 시스템 구성 및 실행 환경 = 38
• 4.3.2 메뉴 인터페이스 = 39
• 4.3.3 음성 기록 및 저장 기능 = 40
• 4.3.4 파일 관리 기능 = 42
• 4.4 음성 메모 시스템 사용성 평가 = 44
• 4.4.1 메뉴 조작 및 실행의 사용성에 대한 평가 = 44
• 4.4.2 메뉴 조작 및 실행의 사용성에 대한 결과 분석 = 45
• 4.4.3 폴더 관리 기능의 효과에 대한 평가 = 51
• 4.4.4 폴더 관리 기능의 효과에 대한 결과 분석 = 52
• 제 5 장 저시력인을 위한 선택적 포커싱 기법이 적용된 음성 출력 인터페이스 개발 = 58
• 5.1. 연구의 목표 = 59
• 5.2. 선택적 포커싱 기반 모바일 보이스 웹 브라우저 설계 = 61
• 5.3. 모바일 보이스 웹 브라우저 구현 및 결과 = 64
• 5.3.1 시스템 구성 및 실행 환경 = 64
• 5.3.2 개인화 확대 메뉴 = 65
• 5.3.3 콘텐츠의 선택적 포커싱 기능 = 66
• 5.3.4 확대 및 재생 기능 = 68
• 5.4. 모바일 보이스 웹 브라우저의 사용성 평가 = 70
• 5.4.1 평가 목적 및 평가 방법 = 70
• 5.4.2 실험 결과 및 분석 = 72
• 제 6 장 상지장애인의 GUI 조작을 위한 시선 추적 및 음성 명령 인터페이스 개발 = 84
• 6.1 연구 목표 = 84
• 6.2 시선 추적 및 음성 명령 웹 확장 프로그램 설계 = 87
• 6.2.1 웹 인터랙션 수행을 위한 해결 방안 = 88
• 6.2.2 웹 브라우저 제어 인터랙션 설계 = 88
• 6.2.3 실행 객체 확대 인터페이스 설계 = 90
• 6.3 웹 확장 프로그램 구현 및 결과 = 91
• 6.3.1 시스템 구성 및 실행 환경 = 91
• 6.3.2 포인터 액션 = 93
• 6.3.3 실행 객체 확대 = 94
• 6.4 웹 확장 프로그램의 사용성 평가 = 97
• 6.4.1 포인터 실행의 오작동에 대한 평가 = 97
• 6.4.2 포인터 실행의 오작동에 대한 결과 분석 = 99
• 6.4.3 객체의 확대 비율 확인에 대한 평가 = 105
• 6.4.4 객체의 확대 비율 확인에 대한 결과 분석 = 107
• 제 7 장 결론 = 114