Facilitation effect of multimodal display in spatial information processing and its applied determinants

국문 초록 (Abstract)

응용적 상황에서, 시스템 사용자는 일반적으로 시각적 정보처리 부담이 서로 다른 과제들을 처리하게 된다. 이렇게 특정 감각의 정보처리 부담이 증가하는 상황에서 이러한 부담을 덜어주며, 시각적 정보처리를 촉진할 수 있는 방법으로 다른 감각적 정보, 특히 청각적 정보 제시가 공간정보의 부가적 제공과 주의환기의 측면에서 효과적일 수 있다. 본 연구에서는 청각적 정보로서 제공되는 청각적 경고 신호가 시각적 정보의 다양한 과제 상황에서 어떤 다른 효과를 보이는지 확인하여, 응용적 상황에서의 적절한 다중감각적 정보제시 방식에 대한 고찰을 시도하였다. 시스템에서 요구하는 사용자의 과제는 그 특성에 따라 달라 질 수 있고, 이에 따른 청각 경고 신호의 영향 관계를 예측할 수 있다면, 이는 해당 시스템을 설계하고 결과를 예측하거나 사용자의 과제 수행 부담을 분산시킴으로 수행결과를 증진시킬 수 있는 함의가 있다. 실험1은 시각적 대상의 공간적 위치를 파악하는 단순한 과제로 공간적 정보처리가 직접적인 과제이므로 청각 경고 신호의 공간정보가 단서로서 큰 비중의 영향을 미쳤다. 실험2는 시각적 대상의 공간적 위치를 파악하는 것뿐 아니라 그 대상의 정체를 파악하는 과제로서 과제가 요구하는 반응과 청각 경고 신호의 관계가 직교적 혹은 간접적이다. 이런 과제는 실험1의 과제에 비해 과제의 성질과 수행부담의 수준이 달라지는데, 이에 따른 청각 경고 신호의 효과는 상대적으로 적은 비중을 차지하였다. 실험3에서는 보다 현실적인 상황의 이중과제로서 운전이라고 하는 시각적으로 큰 부담의 과제를 수행하면서, 동시에 시각적 목표물의 위치와 정체를 파악해야 하였는데, 그 결과, 복잡한 과제로 인한 수행부담이 크게 작용하여, 청각 경고 신호의 공간적 정보 제공의 영향은 미미하고, 주의 환기의 효과가 큰 것으로 나타났다. 실험4는 시각적 정보처리의 어려움이 단순히 증가하기 보다는 상대적으로 공간적 정보처리의 중요성이 증가하는 상황이 연출되었다. 이런 상황은 실제 운전 중에 시스템에 의해 파악되어 시각적으로 제시되는 시각적 정보에 대한 명확성이 떨어진 상황에서 다른 감각적 특성을 가진 청각 경고 신호를 제시하므로 얻을 수 있는 수행의 차이를 보기 위한 것이었다. 또한 본 연구에서는 사용자가 시스템을 통해 수행하게 될 과제가 공간적으로 복잡하지 않다면, 원격적으로 제시되거나 출현하는 시각적 목표물에 맞춰 청각 경고 신호를 구현하는 기술적, 경제적 부담을 덜기 위해, 근접 청각 경고 신호를 이용한 좌우 정도의 구분으로도 촉진효과를 기대할 수 있음을 확인하였다. 이는 공간적 제약이 큰 여러 시스템에서 고려할 수 있는 결과이다. 또한 실험 전반을 통해 시간적으로 일치된 청각 경고 신호가 갖는 효과보다는 시각적 목표물의 명확한 처리를 위한 cue로서 시차를 가지는 것이 적절하며, 이러한 시간차는 청각 경고 신호가 시각적 목표물의 공간적 위치를 예측하는 정도에 따라 달랐다. 종합적으로 과제의 여러 특성들, 즉 공간의 기능적 영역의 일치성, 청각 경고 신호와 시각적 목표물 사이의 시간차, 과제 수행부담의 성질과 수준, 시각적 목표물에 대한 청각적 단서의 공간적 예측 가능성, 공간적 정보가 과제에 기여하는 비중 등에 따른 영향들을 평가하고, 시스템 설계시 고려할 요인들로 제안하고 있다.

다국어 초록 (Multilingual Abstract)

In the applied situations, a system user will deal with a certain task included different visual load according to task properties. The present study tried to investigate the different influence of auditory warning signal with spatial information on various visual information processing tasks and to consider the proper multimodal information display method for the applied situations. User’s tasks differ on task properties and environment, therefore if we can estimate the effect of auditory warning signal on visual information processing, there are several implications on designing the system and improving user performance by reducing user task load. The task of Experiment 1 was to localize the spatial location of visual object. Consequently the spatial information of auditory warning signal remarkably affected the user performance as a cue because the spatial information was decisive in the task. In Experiment 2, the task was to discriminate the spatial location and identity of visual object. Therefore the relation between the response required by task and auditory warning signal was orthogonal. This task differed from the task of Experiment 1 in the type and level of task load, so the influence of auditory warning signal held small importance relatively to Experiment 1. In Experiment 3, simultaneously with performing a practical driving task included visually excessive load as a dual task, participants should discriminate the location and identity of visual object. As the result, while the spatial influence of auditory warning signal weakened because of task load increased by complex task, altering effect calling attention strengthened. In Experiment 4, the situation that the difficulty of visual information processing and the relative importance of spatial information processing simultaneously increased was produced. In other words, participants should discriminate a low-contrast visual object in the dim night driving task. This situation was to examine the difference of user performance produced by displaying auditory warning signal with different modality properties when the clarity of visual information provided by system in the real driving situation fell off. Consequently, while alerting effect by auditory warning signal increased when task was more difficult and complex, the facilitation benefit by the presentation of spatial information like the cuing effect according to the relative importance of spatial information in the task increased. Based on the task properties, the right understanding of the relative influence of auditory warning signal will be conclusive in the system design and support for user performance. Meanwhile, the current results suggest that if the user task is not spatially complex, to reduce the technical and economical burden constructing auditory warning signal fitted to an extrapersonally presented visual target, we could expect the crossmodal facilitation by the simple lateral presentation of peripersonal auditory warning signal. Such a suggestion may be a considerable implication in the spatially limited various systems. In addition, the present study proposes that a temporal asynchronous auditory warning signal as a cue to process clearly the visual object was effective than a temporally synchronous one with visual object. In summary, the present results show that the spatial and temporal congruency with auditory warning signal and visual target, the type and level of task load, the spatial predictability of auditory cue for visual target, and the relative importance of spatial information in the task situation seem to be vital applied determinants of multimodal facilitation. Thus, we propose considering these determinants in the design of various systems.