청각장애인의 그룹 대화 경험 향상을 위한 AR 말풍선 연구 : 소셜 시그널 처리를 중심으로

국문 초록 (Abstract)

청각장애인은 그룹 대화를 할 때 발화가 동시다발적으로 이뤄지면 대화의 흐름을 놓쳐 분위기와 맥락을 따라가기 어려운 경우가 종종 발생한다. 본 연구는 청각장애인이 그룹 대화 시 놓칠 수 있는 상대의 비언어적 감정 뉘앙스를 AR(Augmented Reality) 말풍선으로 시각화하여 대화 경험에 어떠한 영향을 미치는지 모색하였다. 이를 위해 첫째로 피험자들이 그룹 대화 시 겪는 불편함과 개선 방안을 알아보기 위한 반 구조적 인터뷰를 진행했다. 둘째, 1) 형태, 2) 색상, 2) 타이포그래피 세 가지 타입의 AR 말풍선을 1차 제작했다. 이어서 피험자가 이상적인 디자인을 자유롭게 제안하고 피드백을 주고 받는 과정을 거쳐 AR 말풍선을 공동 설계하였다. 마지막으로는 공동 설계한 AR 말풍선을 실제 그룹 대화에서 사용했을 때 대화 경험이 어떻게 달라지는지 알아보는 실험을 진행했다.
인터뷰 및 실험 결과, AR 말풍선이 청각장애인의 그룹 대화에 1) 감정 전달 용이(Emotion conveyance), 2) 대화 내용 이해도(Comprehension), 3) 편안함(Comfort), 4) 해당 서비스 사용 의지(Willingness to use)에 유의미한 영향을 미치는 것으로 나타났다. 더 나아가 AR 말풍선의 형태, 색상, 타이포그래피를 대화 인원, 개인의 성향, 환경에 따른 시각적 복잡도 등에 맞게 세분화하여 제공하는 것이 필요함을 알 수 있었다. 본 연구는 증강 현실에 대화의 분위기 및 발화자의 감정을 시각화한 것을 결합해 청각장애인을 위한 새로운 커뮤니케이션 방식을 제안한 것에 의의가 있다.

다국어 초록 (Multilingual Abstract)

During group conversations, hearing-impaired people often lose the flow of conversation and have difficulty following the atmosphere and context when utterances are made simultaneously. This study explored how the non-verbal emotional nuances of others, which hearing impaired people may miss during group conversations, would be visualized using AR (Augmented Reality) speech bubbles and how they would affect the conversation experience. To this end, first, semi-structured interviews were conducted to find out the inconveniences the subjects experienced during group conversations and ways to improve them. Second, we produced the first round of three types of AR speech bubbles: 1) shape, 2) color, and 2) typography. Next, the AR speech bubble was jointly designed through a process in which the subjects freely proposed an ideal design and gave and received feedback. Lastly, we conducted an experiment to see how the conversation experience changed when the co-designed AR speech bubble was used in an actual group conversation.
As a result of interviews and experiments, AR speech bubbles were effective in group conversations of hearing impaired people in terms of 1) Emotion conveyance, 2) Comprehension of conversation content, 3) Comfort, and 4) Willingness to use the service. use) was found to have a significant effect. Furthermore, it was found that it was necessary to provide the shape, color, and typography of AR speech bubbles in detail according to the number of people talking, individual tendencies, and visual complexity according to the environment. This study is significant in that it proposes a new communication method for the hearing impaired by combining augmented reality with visualization of the conversation atmosphere and the speaker's emotions.

목차 (Table of Contents)

• 표 차례 ⅲ
• 그림 차례 ⅳ
• 제1장 서론 1
• 1.1. 연구 배경 1
• 1.2. 연구 목표 3
• 제2장 관련 연구 4
• 2.1. 청각장애인이 대화 시 겪는 어려움 해결을 위한 시도 4
• 2.2. 사람 간의 커뮤니케이션에서 감정과 범주 5
• 2.3 감정과 색상의 상관 관계 9
• 2.4 감정과 타이포그래피의 상관 관계 11
• 2.5 청각장애인의 커뮤니케이션을 위한 도구, AR 글라스 12
• 제3장 청각장애인이 그룹 대화 시 겪는 어려움 이해와　
• 대화를 돕는 보조기기에 대한 기대 파악 15
• 3.1. 사전 인터뷰 목적 15
• 3.2. 인터뷰 방법 15
• 3.2.1 참여자 15
• 3.2.2 인터뷰 설계 15
• 3.2.3 인터뷰 결과 분석 16
• 3.3 인터뷰 결과 16
• 3.3.1 청각장애인이 대화 경험 이해 및 개선 필요 사항 발견 16
• 제4장 청각장애인이 그룹 대화 시 겪는 어려움 이해와
• AR 말풍선 디자인에 대한 사용자 요구사항 이해 21
• 4.1 AR 말풍선 공동 설계 목적 21
• 4.2 AR 말풍선 공동 설계 방법 21
• 4.2.1 참여자 21
• 4.2.2 AR 말풍선 1차 설계 21
• 4.2.3 AR 말풍선 공동 설계 워크숍 27
• 4.2.4 AR 말풍선 공동 설계 워크숍 결과 분석 28
• 4.2.5 AR 말풍선 공동 설계 워크숍 논의 30
• 제5장 AR 말풍선 타입별 그룹 대화 경험의 차이와 인식 파악 32
• 5.1 실험 목적 32
• 5.2 실험 방법 32
• 5.2.1 참여자 32
• 5.2.2 실험설계 32
• 5.2.3 실험 분석 35
• 5.3 실험 결과 36
• 제6장 결론 및 논의 43
• 6.1 청각장애인의 그룹 대화 경험에 AR 말풍선은 어떤 영향을 미치는가? 43
• 6.2 연구 한계 및 추후 연구 계획 46
• 참고 문헌 48
• 영문 요약 53