청각을 이용한 시각 재현장치 개발 = Development of vision reproduction system based on auditory input.

다국어 초록 (Multilingual Abstract)

This research aimed developing a superior level supporting system and related terminal for the cognitive defectives to simple warning devices. The practical purpose was developing a vision reconstruction system using auditory input based on theory of comprehensive cognition. In cerebral anatomy, at some spots, visual and auditory neural tracts approach closely and new neural tract used to be activated as a compensatory mechanism for the defective area. These facts were tried to be enhanced by this vision reconstruction system (Audiovision). The “ Audiovision” system was developed for acquiring front visual information and for delivering it to the subject as an auditory signal. This system simulates visual stimulation not as a simple warning device. Additionally bone conduction earphone was adopted for more efficient delivery of auditory signal. The fusion technology of audio and vision, which is the core technology of the Audiovision system, was the nation’ s first attempt and we have already secured a patent-based technologies. Since existing researches were limited to simple assist technology with single function or extreme IT-oriented technology, the comfort of subject was not fully considered. Since this research project is practically achievable and could prodcue a commercial version, a practical benefit for the blinded person is possible and this point is merit of this research project. The Audiovision system has a property that a higher function can be provided according to the level of training. Novices can start with low-resolution information. If subjects are trained to recongnize the auditory output signal, the resolution of visual data can be increased for higher resolution vision reconstruction. Using the 4th component of audiotory sense, sound color, superior function of Audiovision to reconstruct color or texture of objects will be possible. Other perspectives of this product are as below:
① In routine living, the dead zone of vision can be detected.
② In industrial area where noise and obstacles exist, comprehensive cognitive function can be enhanced.
③ By adding IR stereo camera function, this system can be modified to military product. -> Vision supporting system during lightl-less operation
④ This system can be applied on a dead zone detection system for the next generation smart car

국문 초록 (Abstract)

본 연구에서는 기존의 단순한 방식의 장애인 지원수단의 불편한 점과 단점을 개선하고, 점차 발전하는 IT를 접목하여 인지 장애인을 위한 지원시스템 및 관련 단말 장치를 개발하고자 한다. 포괄적 감각기능의 보상원리에 입각하여 청각신호를 적절히 조절함으로써 시각을 재현하는 장치를 개발함이 본 연구의 목적이다. 뇌의 해부학적 구조에서도 청각과 시각 신경다발은 인접하게 위치하는 곳이 많이 존재하게 되며 뇌의 신경다발은 보상기전에 의해 새로운 신호전달 통로를 개통하기도 한다. 이러한 보상기전의 활성화를 위한 자극과 훈련으로 청각을 이용한 시각재현을 수행하려 한다. 먼저 시각 장애인을 위한 “ 오디오비전” 시스템을 개발하여 주변의 시각 정보를 장애인에게 특정 형태의 청각 정보로 변환하여 전달한다. 이는 단순 경보 기능이 아닌 시각의 재현을 가능케 한다. 그리고 후천적 청각 장애를 가지고 있는 장애인이나, 노인성 난청 장애인을 위한 골전도 이어폰을 개발하여 효과적인 정보 전달 수단을 제공한다. 본 과제의 핵심기술인 오디오 비전 시스템(Audio-Vision System)에 활용하는 시청각 융합기술은 국내 최초로 시도되는 기술로서 이미 주관기관에서 기반기술의 특허를 확보하고 있는 상황이다. 기존의 연구개발 과제들은 인지장애를 단순히 보조하는 기능에 국한되거나, 특히 단일기능만 주로 구현하거나 또는 지나치게 IT기술지향적인 개발에 편중되어 있어, 실제 장애인들의 편의성을 충분히 고려하지 못한 측면이 있었다. 따라서 본 기술개발 과제는 실현이 충분히 가능하면서 쉽게 상용화될 수 있어, 인지장애인들에게 실질적인 편익을 제공할 수 있다는 측면에서 활용성이 우수하다고 볼 수 있다. 본 과제에서 연구 개발하는 오디오 비전 시스템은 그 특성상 착용자의 훈련정도에 적합한 기능을 제공할 수 있다. 즉 초보자의 경우 저해상도 정보를 제공함으로써 청각을 이용한 시각재현이 용이한 반면 숙련정도에 따라 제공 정보의 해상도를 높임으로써 좀 더 상세한 시각재현이 가능하다. 또한 소리 정보의 제 4의 요소인 음색을 추가함으로써 대상물의 색상이나 질감을 감지할 수 있는 상위 기능제품의 개발도 가능하다. 이외에 본 기술개발 과제의 결과물이 활용될 수 있는 타 분야는 다음과 같다.
① 생활에서 위험요소가 되는 각종 사각 지대를 감지하는데 적용 가능
② 소음이 많고 위험한 장애물이 산재한 생산업체 등에서 청각과 촉각을 응용한 인지기능 제공
③ 적외선 스테레오 카메라 사용 시 군사용품으로 활용가능 -> 군작전 등에서 무 발광 이동 시 시각보조장치로 활용 가능
④ 차세대 지능형자동차에서 시야 사각 지대에 대한 감지기능에 활용 가능