이미지 인식 AI를 활용한 상황 맞춤형 지능형 의사소통판의 모바일 구현 및 효율성 검증 = Mobile Implementation and Efficiency Evaluation of an Image Recognition AI-Based Context-Adaptive Intelligent Communication Display

국문 초록 (Abstract)

본 연구는 카메라 기반 상황 인식 기능을 활용한 지능형 보완대체의사소통（Augmentative and Alternative Communication: AAC） 시스템이 성인 실어증 AAC 사용자의 의사소통 효율성에 어떠한 영향을 미치는지 확인하고자 하였다. 연구의 출발점은 성인 실어증 대상자가 실제 생활 장면에서 필요한 표현을 얼마나 빠르고 쉽게 찾을 수 있는가에 대한 문제의식에 있었다. 성인 실어증 대상자는 자신의 생각이나 요구가 분명히 있음에도 이를 말이나 글로 표현하는 데 어려움을 겪을 수 있으며, 특히 병원에서 증상을 말하거나, 식사 상황에서 원하는 음식을 표현하거나, 마트에서 필요한 물건이나 도움을 요청하는 상황에서 의사소통 부담이 커질 수 있다.
기존의 정적 AAC는 미리 정해진 어휘판 안에서 사용자가 직접 표현을 찾아야 하므로, 상황에 맞는 표현이 있더라도 그것을 찾기까지 시간이 걸리고 여러 단계를 거쳐야 하는 문제가 있다. 이에 본 연구에서는 이러한 한계가 성인 실어증 AAC 사용자의 실제 사용 부담과 직접적으로 연결될 수 있다고 보고, 이를 보완하기 위해 스마트폰 카메라로 주변 상황을 인식한 뒤 해당 상황과 관련된 표현을 우선적으로 제시하는 지능형 AAC 시스템을 구성하였다.
본 연구의 참여자는 복지기관을 이용하는 성인 실어증 AAC 사용자 6명으로, 연구는 동일한 참여자가 정적 AAC 조건과 지능형 AAC 조건을 모두 수행하는 반복측정 비교 설계로 진행하였다. 실험 상황은 병원, 식사, 마트/쇼핑의 세 가지로 구성하였는데, 이는 성인 실어증 대상자가 일상생활에서 비교적 자주 접할 수 있고, 즉각적인 표현 선택이 요구되는 대표적인 장면이라고 판단했기 때문이다. 정적 AAC 조건에서는 상황과 관계없이 동일한 어휘판에서 목표 표현을 찾도록 하였고, 지능형 AAC 조건에서는 카메라 기반 상황 인식 결과에 따라 해당 상황과 관련된 표현이 먼저 보이도록 하였다. 두 조건에서 반응 시간, 탐색 단계 수, 불필요한 선택 횟수, 상황-표현 적합도, 만족도를 측정하여, 기술통계와 Wilcoxon 부호순위 검정（Wilcoxon signed-rank test）을 사용하여 분석하였다.
연구 결과, 지능형 AAC 조건에서 목표 표현을 선택하기까지 걸린 반응 시간은 정적 AAC 조건보다 짧게 나타났으며, 이 차이는 통계적으로 유의하였다. 이는 단순히 화면 구성이 달라졌기 때문이 아니라, 사용자가 현재 상황과 관련된 표현을 먼저 확인할 수 있었기 때문에 표현을 찾는 과정 자체가 줄어든 결과로 해석된다. 상황-표현 적합도와 만족도 역시 지능형 AAC 조건에서 더 높게 나타났다. 이는 참여자들이 제시된 표현을 현재 상황과 더 잘 연결하여 받아들였고, AAC 사용 과정에서도 상대적으로 긍정적인 경험을 했음을 보여준다. 반면 탐색 단계 수와 불필요한 선택 횟수는 지능형 AAC 조건에서 감소하는 경향을 보였으나 통계적으로 유의한 차이에는 이르지 못하였다. 특히 참여자 수가 6명으로 적었다는 점을 고려하면, 이러한 결과를 효과가 없다고 단정하기보다는 표본 수 부족으로 인해 차이가 통계적으로 충분히 드러나지 못했을 가능성도 함께 고려할 필요가 있다（Cohen, 1988）. 또한 지능형 AAC 조건에서 불필요한 선택 횟수가 모든 참여자에게서 0회로 나타났다는 점은 실제 사용 상황에서 조작 부담을 줄일 수 있는 가능성을 보여주는 결과라고 판단된다.
이상의 결과를 종합하면, 카메라 기반 상황 인식 기능을 활용한 지능형 AAC 시스템은 기존 정적 AAC의 한계를 일부 보완할 수 있는 가능성을 가진다. 특히 성인 실어증 AAC 사용자가 여러 어휘판을 탐색하지 않고도 현재 상황과 관련된 표현을 먼저 확인할 수 있다는 점은 실제 의사소통 상황에서 중요한 장점으로 볼 수 있다. 본 연구에서 다룬 병원, 식사, 마트/쇼핑 상황은 제한된 실험 장면이지만, 실제 생활에서 의사소통 요구가 자주 발생하는 장면이라는 점에서 지능형 AAC의 활용 가능성을 확인하는 데 의미가 있었다. 그럼에도 불구하고, 본 연구는 참여자 수가 6명으로 적고, 실험 상황도 세 가지 장면으로 제한되었기 때문에 연구 결과를 모든 성인 실어증 AAC 사용자에게 일반화하기에는 한계가 있다. 또한 장기간 사용 과정에서 사용자가 지능형 AAC에 얼마나 익숙해지는지, 상황 인식 결과가 실제 환경에서 얼마나 안정적으로 작동하는지에 대해서는 추가적인 검토가 필요하다.
본 연구는 성인 실어증 AAC 사용자를 대상으로 정적 AAC와 카메라 기반 지능형 AAC를 직접 비교하였다는 점에서 의의가 있다. 특히 반응 시간과 탐색 단계 수 같은 행동 지표뿐만 아니라 상황-표현 적합도와 만족도까지 함께 살펴봄으로써, 단순히 표현 선택 속도만이 아니라 사용자가 AAC를 어떻게 경험하는지도 함께 확인하고자 하였다. 결론적으로, 본 연구의 결과는 카메라 기반 상황 인식 기술이 성인 실어증 대상자의 기능적 의사소통을 지원하는 데 활용될 수 있음을 보여주는 기초자료가 될 수 있으며, 후속 연구에서는 더 많은 참여자와 다양한 실제 생활 장면을 포함하여 지능형 AAC 시스템의 효과를 보다 구체적으로 검증할 필요가 있다.

다국어 초록 (Multilingual Abstract)

This study investigated the effects of an intelligent Augmentative and Alternative Communication （AAC） system utilizing a camera-based context recognition function on communication efficiency among adult AAC users with aphasia. The study originated from the practical question of how quickly and easily individuals with aphasia can locate expressions needed in real-life communication situations. Although adults with aphasia often retain clear intentions and communicative needs, they frequently experience difficulties expressing their thoughts through speech or writing. Such communication challenges become particularly pronounced in everyday situations requiring immediate expression, such as describing symptoms in a hospital, expressing food preferences during meals, or requesting items and assistance while shopping.
Conventional static AAC systems require users to manually search for target expressions within predetermined vocabulary boards. As a result, even when an appropriate expression is available, users may spend considerable time navigating through multiple menus before locating it. This study assumed that such limitations are directly related to the communication burden experienced by adult AAC users with aphasia. To address this issue, an intelligent AAC system was developed that recognizes the surrounding environment through a smartphone camera and prioritizes expressions relevant to the detected context.
Participants consisted of six adult AAC users with aphasia recruited from community welfare centers. A repeated-measures comparative design was employed, in which all participants completed both the static AAC condition and the intelligent AAC condition. Three everyday communication scenarios were included: hospital visits, mealtime situations, and shopping activities. These scenarios were selected because they represent common situations in which adults with aphasia frequently encounter communication demands requiring immediate expression. In the static AAC condition, participants searched for target expressions using the same vocabulary board regardless of context. In the intelligent AAC condition, context-relevant expressions were prioritized according to the camera-based context recognition results. Response time, number of navigation steps, number of unnecessary selections, context-expression appropriateness, and user satisfaction were measured. Data were analyzed using descriptive statistics and the Wilcoxon signed-rank test.
The results indicated that response time required to select target expressions was significantly shorter in the intelligent AAC condition than in the static AAC condition. This finding suggests that the improvement was not merely attributable to differences in screen configuration but rather to the reduced search process resulting from the prioritization of context-relevant expressions. Context-expression appropriateness and user satisfaction were also significantly higher in the intelligent AAC condition. These findings indicate that participants perceived the presented expressions as more relevant to their current situations and experienced AAC use more positively. Although the number of navigation steps and unnecessary selections tended to decrease in the intelligent AAC condition, these differences did not reach statistical significance. Given the small sample size （n = 6）, however, these nonsignificant findings should not necessarily be interpreted as evidence of no effect, as limited statistical power may have prevented meaningful differences from being detected （Cohen, 1988）. Notably, the number of unnecessary selections was zero for all participants in the intelligent AAC condition, suggesting the potential of the system to reduce operational burden in practical communication settings.
Taken together, the findings suggest that a camera-based context-aware intelligent AAC system has the potential to address some limitations of conventional static AAC systems. In particular, the ability to present contextually relevant expressions before users navigate through multiple vocabulary boards may offer a meaningful advantage in real-world communication situations. Although the present study was limited to three experimental scenarios—hospital, mealtime, and shopping environments—these situations represent common contexts in which communication needs frequently arise, thereby providing preliminary evidence for the practical applicability of intelligent AAC systems. Nevertheless, the findings should be interpreted with caution because the study involved only six participants and a limited range of communication contexts. Additional research is needed to examine long-term user adaptation to intelligent AAC systems and to evaluate the stability and accuracy of context recognition functions in natural environments.
This study is meaningful in that it directly compared conventional static AAC with a camera-based intelligent AAC system among adult AAC users with aphasia. Furthermore, by examining not only behavioral indicators such as response time and navigation steps but also context-expression appropriateness and user satisfaction, the study explored both communication performance and user experience. The findings provide preliminary evidence that camera-based context recognition technology may support functional communication among adults with aphasia. Future studies should include larger samples and a wider range of everyday communication contexts to further validate the effectiveness of intelligent AAC systems.

목차 (Table of Contents)

• I. 서론 1
• 1. 연구의 필요성 및 목적 1
• 2. 연구 문제 6
• 3. 용어의 정의 8
• 1) 보완대체의사소통(AAC) 8
• 2) 정적 AAC 9
• 3) 지능형 AAC 9
• 4) 카메라 기반 상황 인식 10
• 5) 반응 시간 10
• 6) 탐색 단계 수 11
• 7) 불필요한 선택 횟수 11
• 8) 상황-표현 적합도 12
• 9) 만족도 12
• II. 이론적 배경 14
• 1. 보완대체의사소통과 성인 실어증 14
• 2. 정적 AAC와 지능형 AAC 18
• 3. 선행연구 고찰 22
• III. 연구 방법 28
• 1. 연구 대상 및 설계 28
• 2. 연구 도구 및 절차 32
• 1) 연구 도구 33
• 2) 연구 절차 38
• 3. 자료 분석 방법 41
• IV. 연구 결과 44
• 1. 조건별 측정 결과 44
• 2. 조건 간 비교 결과 47
• V. 논의 및 결론 54
• 1. 논의 54
• 2. 제한점 및 제언 60
• 3. 결론 64
• 참고문헌 67
• 영문초록 69
• 부 록 72