시각장애인 악기 교육에서의 컴퓨터 비전 활용 연구: YOLOv8s 모델을 중심으로 = A Study on the Application of Computer Vision in Musical Instrument Education for the Visually Impaired : Focusing on the YOLOv8s Model

국문 초록 (Abstract)

본 논문에서는 시각장애인을 위한 AI 기반 실시간 악기 교육 시스템을 제안하고, 기존의 점자악보 중심 학습 방식의 한계를 극복하고자 컴퓨터 비전 기술을 활용한 새로운 접근을 시도하였다. 점자악보는 시각장애인에 게 필수적인 도구로 사용되어 왔으나, 사용의 복잡성과 불편함이 학습 과 정의 제약으로 작용해 왔다. 이에 본 논문에서는 YOLOv8s 모델을 활용 하여 시각장애인이 점자악보 없이도 악기 연주를 학습할 수 있는 시스템 을 구현하였다. 연구는 시각장애인을 대상으로 한 기존 음악 교육 방법의 문제점을 분석하고, AI와 컴퓨터 비전 기술의 이론적 배경을 기반으로 시 스템의 가능성을 탐구하였다. 이어서, 손동작 인식을 위한 데이터 수집과 전처리, 모델 학습 및 최적화 과정을 구체적으로 설계하였다. 다양한 조명 조건과 연주 환경을 반영하여 학습 데이터를 수집하고, 이 미지 전처리 기법을 적용하여 손동작 특징을 정확히 추출하였다. YOLOv8s 모델을 통해 우쿨렐레 코드별 운지법을 학습시켰으며, 데이터 증강 및 하이퍼파라미터 조정을 통해 모델의 성능을 최적화하였다. 본 연 구의 시스템은 다양한 학습 환경에서 높은 정확도로 우쿨렐레 악기의 코 드별 운지법을 인식하며, 실시간 음성 피드백을 통해 사용자가 연주 중 실수를 즉각적으로 교정할 수 있는 기능을 제공하였다. 사용자 인터페이 스는 시각적 요소를 최소화하고, 음성 피드백과 키보드 네비게이션을 최 적화하여 시각장애인의 접근성을 높였다. 성능 평가 결과, 정확도 0.988, 정밀도 0.987, mAP50 0.991의 성능을 기 록하며 기존 점자악보 중심의 방식에 비해 접근성과 학습 효율성을 높일 가능성을 제시하였다. 이를 통해 기존 점자 악보 학습 방식의 한계를 개 선하고, 실시간 음성 피드백을 효과적으로 제공할 수 있음을 확인하였다. 최종적으로 본 연구는 AI 기술을 통해 시각장애인을 위한 악기 교육의 가능성을 제시하고, AI 기반 시스템을 통해 실시간 피드백을 제공할 수 있는 환경을 조성하였다. 이러한 시스템은 시각장애인들이 점자악보 없이 도 악기 연주를 학습하고, 연주 과정에서 실시간으로 정확한 음성 피드백 을 받아 자신의 악기 연주 실력을 향상시킬 수 있는 방법을 제시하였다. 향후 연구에서는 기타, 피아노 등 다양한 악기와 연주 스타일을 반영한 데이터셋을 구축하여 모델의 적용 범위를 확장할 계획이다. 이를 통해 시 각장애인이 다양한 악기와 환경에서도 학습할 수 있는 시스템을 개발하고 자 한다. 또한, 시스템의 개인화된 피드백을 위해, 학습자의 수준과 진도 에 맞춰 맞춤형 음성 피드백을 제공하는 기능을 추가하여 학습 효과를 극 대화할 것이다. AI 컴퓨터 비전 기술의 발전은 시각장애인의 학습 환경을 크게 개선하여, 점자악보의 불편함을 줄이고 실시간 음성 피드백을 통해 보다 효율적이고 직관적인 학습 경험을 제공할 수 있을 것으로 예상된다. 이러한 기술적 접근은 시각장애인들이 다양한 환경에서 음악을 배울 수 있는 기회를 제공하며, 기존의 학습 방식보다 더 직관적이고 접근성 높은 학습 방법을 제시한다. 본 연구는 시각장애인의 악기 교육에서 접근성과 효율성을 확장함으로 써, 더 많은 시각장애인들이 음악을 배우고 즐길 수 있는 기회를 제공하 는 데 기여할 수 있을 것으로 예상된다.

주요어: 시각장애인, 컴퓨터 비전, AI, 악기 교육

다국어 초록 (Multilingual Abstract)

ABSTRACT

A Study on the Application of Computer Vision in Musical Instrument Education for the Visually Impaired: Focusing on the YOLOv8s Model
This paper proposes an AI-based real-time instrument education system for the visually impaired, attempting a new approach utilizing computer vision technology to overcome the limitations of braille score-based learning methods. Although braille scores have been an essential tool for the visually impaired, their complexity and inconvenience have acted as constraints in the learning process. Therefore, in this study, a system was implemented using the YOLOv8s model, allowing visually impaired individuals to learn musical instruments without the need for braille scores. This study analyzed the issues with existing music education methods for the visually impaired and explored the potential of the proposed system based on the theoretical background of AI and computer vision technology.
Data collection and preprocessing processes were specifically designed for recognizing hand gestures. Learning data was collected under various lighting conditions and playing environments, and image preprocessing techniques were applied to precisely extract the characteristics of hand gestures. The YOLOv8s model was trained on ukulele chord fingerings, and through data augmentation and hyperparameter tuning, the model's performance was optimized. The developed system recognizes ukulele chord fingerings with high accuracy across diverse learning environments and provides real-time voice feedback, allowing users to instantly correct mistakes during playing. The user interface minimizes visual elements and optimizes voice feedback and keyboard navigation, enhancing accessibility for the visually impaired.
Performance evaluation results showed an accuracy of 0.988, a precision of 0.987, and an mAP50 of 0.991, suggesting that this system improves accessibility and learning efficiency compared to traditional braille score-based methods. This confirmed the potential to effectively provide real-time voice feedback, addressing the limitations of traditional braille learning methods. Ultimately, this study suggests the potential of AI technology in providing music education for the visually impaired and establishes an environment that enables real-time feedback through an AI-based system. This system allows visually impaired users to learn musical instruments without braille scores and to improve their performance through accurate real-time voice feedback.
Future research will build datasets reflecting a variety of instruments, such as guitar and piano, and different playing styles, expanding the model’s applicability to develop a system that enables visually impaired individuals to learn in diverse musical environments. Additionally, a personalized voice feedback feature will be added to provide customized guidance according to the user’s skill level and progress, thereby maximizing learning effectiveness. The advancement of AI computer vision technology is expected to greatly improve the learning environment for the visually impaired by reducing the inconvenience of braille scores and offering a more efficient and intuitive learning experience through real-time voice feedback. This technological approach provides opportunities for visually impaired individuals to learn music in diverse environments and offers a more intuitive and accessible method compared to traditional learning methods.

Keywords: Visually Impaired, Computer Vision, AI, Instrument Education

목차 (Table of Contents)

• 표 차례 i
• 그림 차례 ii
• 국문 요약 iv
• 1. 서론 1
• 1.1. 연구의 필요성 및 목적 1
• 2. 이론적 배경 5
• 2.1. 시각장애인 대상의 음악 교육 5
• 2.1.1. 시각장애의 정의 5
• 2.1.2. 시각장애인의 특성 9
• 2.1.3. 시각장애인 대상 음악 교육의 필요성 11
• 2.1.4. 기존 음악 교육 방식의 한계 13
• 2.1.5. 시각장애인 대상 음악 교육에서의 기술 적용 15
• 2.2. AI 기술을 활용한 시각장애인 대상의 음악 교육 17
• 2.2.1. AI를 활용한 음악 교육 19
• 2.2.2. YOLO 모델의 역할과 활용 가능성 21
• 3. 연구 방법 30
• 3.1. 데이터 수집 및 전처리 30
• 3.1.1. 데이터 수집 과정 32
• 3.1.2. 데이터 전처리 방법 34
• 3.2. YOLO 모델 적용 방안 37
• 3.2.1. 모델 학습 과정 39
• 3.2.2. 모델 검증 및 평가 방법 42
• 3.3. AI 비전 시스템 구축 45
• 3.3.1. 시스템 설계 및 음성 피드백 47
• 3.3.2. 시각장애인을 위한 사용자 인터페이스 설계 49
• 4. 결과 및 분석 53
• 4.1 학습 모델의 성능 평가 53
• 4.2 성능 지표 및 결과 시각화 57
• 4.3 시스템의 한계점 및 개선 방안 71
• 5. 결론 73
• 5.1. 연구 요약 및 기여 73
• 5.2. 연구의 한계점 및 향후 발전 방향 75
• 참고문헌 77
• ABSTRACT 84