클러스터화 그룹을 이용한 계층화 학습모델에 의한 ASL분류 및 캡션 생성에 대한 연구

국문 초록 (Abstract)

손가락 모양을 이용해 숫자와 글자를 결정해 의사소통으로 사용할 수 있는 것이 미국수화(ASL) 이미지다. 특히 수화는 청각 장애인들의 의사소통과 다른 사람들에게 정보를 전달하는 데 중요한 역할을 할 수 있는데, 이는 그들의 유일한 표현 방법 중 하나이기 때문이다. 대표적인 ASL 연구 방법은 주로 이미지, 센서, 포즈 기반 인식 기법을 채택하고 있으며, 손 모양과 함께 다양한 제스처를 함께 사용하고 있다. 본 연구는 이러한 ASL를 연구하는 시도를 간략하게 살펴보고 메타 레이어로 딥 러닝 방법을 개발하려고 시도하는 개선된 ASL 분류 모델을 제안한다. 또한, 수화 이미지를 바탕으로, 이미지를 인코더-디코더 모델을 통해서 수화 이미지를 설명하는 캡션을 생성하는 모델까지 제안하고자 한다. 제안된 모델에서는 수집된 ASL 이미지를 형상의 유사성을 기준으로 군집화하고 군집화된 그룹 분류를 먼저 수행한 후, 그룹 내 재분류를 수행하였다. 실험은 개별 이미지 분류의 정확도를 향상시키기 위해 다양한 학습 계층을 사용하여 다양한 그룹으로 수행되었다. 최적화된 그룹을 선택한 후 이미지 처리의 딥러닝 방법을 사용하여 인식률이 가장 높은 메타 계층 학습모델을 제안하였다. 제안된 모델은 일반적인 분류 모델에 비해 향상된 성능을 보였다. 이미지 캡션 생성모델은 사전학습 모델과 오픈 데이터셋의 크기별로 구축하여 모델의 크기에 따라 생성된 캡션을 비교하였다. 학습한 데이터의 셋이 클수록 이미지의 특징에 대한 캡션을 잘 설명하는 것을 보였다.

다국어 초록 (Multilingual Abstract)

The ASL image is that numbers and letters can be determined using finger shapes and used for communication. Sign language, in particular, can play an important role in communicating deaf people and communicating information to others, as it is one of their only ways of expression. Representative ASL research methods mainly adopt image, sensor, and pose-based recognition techniques, and use various gestures together with hand shapes. This thesis briefly examines attempts to study these ASL and proposes an improved ASL classification model that attempts to develop deep learning methods with meta-layers. In addition, based on the sign language image, we propose a model that generates a caption describing the sign language image through the encoder-decoder model of the image. In the proposed model, the collected ASL images were clustered based on the similarity of features, clustered group classification was performed first, and then intra-group reclassification was performed. Experiments have been conducted in different groups using different learning layers to improve the accuracy of individual image classification. After selecting an optimized group, we propose a meta-layer learning model with the highest recognition rate using a deep learning method of image processing. The proposed model showed improved performance over the general classification model. Image caption The generative model was constructed by size of the pre-learning model and open dataset to compare the generated captions according to the size of the model. It was shown that the larger the three learned data, the better the caption for the features of the image.

목차 (Table of Contents)

• 그림목차 ⅲ
• 표목차 ⅳ
• 국문초록 ⅴ
• 제 1 장 서론
• 제 2 장 관련연구
• 2.1 센서에 관한 연구 3
• 2.2 Clustering에 관한 연구 4
• 2.3 Deep learning에 관한 연구 4
• 2.4 이미지 캡션에 관한 연구 6
• 제 3 장 이미지 분류 모델
• 3.1 데이터 7
• 3.2 데이터 증강 8
• 3.3 제안하는 전체 모델 9
• 3.3.1 제안하는 모델 1 10
• 3.3.2 제안하는 모델 2 와 3 11
• 3.4. 분류 모델 테스트 14
• 제 4 장 이미지 캡션 생성 모델
• 4.1 데이터 15
• 4.2 이미지 캡션 모델 16
• 제 5 장 실험결과 및 분석
• 5.1 이미지 분류 모델 결과 17
• 5.2 이미지 캡션 생성 모델 결과 20
• 제 6 장 결론
• 참고문헌 28
• Abstract 32