Quantifying Potential Risk through Passively Sensed Invisible Modalities = 수동적으로 감지된 비가시 모달리티를 활용한 잠재적 위험의 정량화

국문 초록 (Abstract)

위험은 다양한 분야에서 미래의 불확실성과 밀접하게 연결되어 있으며, 과열, 비정상적인 진동, 불규칙한 소음과 같이 미세하고 감지하기 어려운 형태로 나타납니다. 이러한 특성은 연쇄적 위험 사건의 가능성을 높여 적극적이고 초기 단계의 관리가 필요함을 강조합니다. 최근 신경망 기술의 발전으로 이미지와 텍스트와 같은 가시적 양식을 활용한 위험 탐지 및 평가에 대한 연구가 활발히 이루어졌으나, 이러한 발전에도 불구하고 AI 기술은 아직 포괄적인 위험 관리를 실현하지 못하고 있습니다. 이는 인간의 시각적 인식 편향을 반영하여 시각 데이터에 지나치게 의존하는 데서 기인합니다.
특히 잠재적 위험은 초기 단계에서 시각적 변화가 거의 없거나 전혀 나타나지 않아 시각적 분석만으로는 탐지가 어렵습니다. 품질, 피로, 충돌과 관련된 위험은 시각적 지표 없이 악화될 수 있으며, 신속히 대처하지 않으면 심각한 결과로 이어질 수 있습니다. 이러한 한계는 촉각 및 청각 신호와 같은 추가적인 감각 입력을 통합하여 위험 탐지 역량을 강화할 필요성을 강조합니다.
이러한 도전 과제를 해결하기 위해 본 논문은 비가시 모달리티의 수동 감지를 활용한 위험 정량화 프레임워크를 제안합니다. 첫째, 수동 감지 기술을 사용하여 추가 신호를 방출하지 않고 자연적으로 발생하는 신호를 포착함으로써 대상 환경에 미치는 영향을 최소화합니다. 둘째, 촉각 및 청각 데이터를 포함한 비가시 모달리티를 활용하여 잠재적 위험을 초기 단계에서 탐지할 수 있도록 합니다. 이 접근 방식은 기존의 시각 기반 방법의 한계를 극복하고, 비가시 모달리티를 수동으로 감지하여 다양한 산업 응용 분야에서 위험 탐지, 정량화 및 관리의 효율성을 향상시키는 것을 목표로 합니다.
본 논문에서는 제조 공정의 PCBA 품질 검사를 위한 열 특성을 활용한 품질 위험 정량화, 진동 특성 기반의 기계 상태 분류를 통한 기계류 시스템의 피로 위험 정량화, 비가시선(NLoS) 차량 위치 추정을 위한 음향 특성을 활용한 운전 시나리오에서의 충돌 위험 정량화 등 세 가지 사례 연구를 통해 수동 감지 기반의 비시각적 모달리티 활용의 유효성과 중요성을 입증합니다.

다국어 초록 (Multilingual Abstract)

Risk is intricately linked to future uncertainties across various fields, manifesting not only through visual changes but also in subtle and hard-to-detect forms, such as overheating, abnormal vibrations, and irregular noise. These characteristics heighten the likelihood of cascading risk events, necessitating proactive and early-stage management. Recent advancements in neural networks have fueled active research into risk detection and assessment using visual modalities, such as images and text. However, despite these advancements, AI technology has yet to achieve comprehensive risk management. This is primarily due to an overreliance on visual data, reflecting a bias in human visual perception.
Potential risks, especially in their early stages, often exhibit minimal or no visual changes, making them difficult to detect through visual analysis alone. Risks associated with quality, fatigue, or collisions can escalate without visual indicators, potentially leading to severe consequences if not promptly addressed. These limitations underscore the necessity of integrating additional sensory inputs, such as tactile and auditory signals, to enhance risk detection capabilities.
To address these challenges, this dissertation proposes a risk quantification framework utilizing passive sensing of non-visual modalities. First, passive sensing techniques are employed to capture naturally occurring signals without emitting additional ones, thereby minimizing the impact on the target environment. Second, non-visual modalities, including tactile and auditory data, are utilized to enable the early detection of latent risks. This approach aims to overcome the limitations of traditional visual-based methods, enhancing the efficiency of risk detection, quantification, and management across various industrial applications by integrating passively sensed invisible modalities.
This dissertation demonstrates the validity and significance of employing passively sensed invisible modalities through three case studies: (1) quality risk quantification in manufacturing processes using thermal characteristics for PCBA quality inspection, (2) fatigue risk quantification in machinery system using vibration characteristics for machinery condition classification and residual life prediction, and (3) collision risk quantification in driving scenarios using acoustic characteristics for Non-Line-of-Sight (NLoS) vehicle localization.

목차 (Table of Contents)

• Abstract i
• Contents iii
• List of Tables vii
• List of Figures ix
• 1 Introduction 1
• 1.1 Background & Motivation 1
• 1.2 Problem Definition 3
• 1.3 Overall Approach 5
• 1.4 Contributions & Outline of the Dissertation 6
• 1.4.1 Chapter 1. Thermal Modality: Quality Risk in Manufacturing Systems 7
• 1.4.2 Chapter 2. Vibration Modality: Fatigue Risk in Machinery Systems 7
• 1.4.3 Chapter 3. Acoustic Modality: Collision Risk in Driving Systems 8
• 2 Thermal Modality: Quality Risk in Manufacturing Systems 10
• 2.1 Preliminaries 10
• 2.2 Introduction 12
• 2.3 Related Works 13
• 2.3.1 Conventional RGB image analysis 15
• 2.3.2 Deep learning analysis 16
• 2.3.3 Thermal images 20
• 2.3.4 Other approaches and limitations 21
• 2.4 Problem Definition & Proposed Methods 24
• 2.4.1 Problem definition 24
• 2.4.2 Proposed methods 26
• 2.4.3 Dataset 28
• 2.5 Experiments & Evaluation 32
• 2.5.1 Hardware and software 32
• 2.5.2 Results 32
• 2.6 Conclusions & Future Works 38
• 3 Vibration Modality: Fatigue Risk in Machinery Systems 40
• 3.1 Preliminaries 40
• 3.2 Introduction 42
• 3.3 Related Works 43
• 3.3.1 Monitoring the condition of the machinery 43
• 3.3.2 Fatigue life prediction methods 47
• 3.4 Motivation & Problem Definition 48
• 3.4.1 Sensor 50
• 3.4.2 Definition of machinery status 50
• 3.4.3 Vibration signal classification model 51
• 3.5 Proposed Model & Method 52
• 3.5.1 Sensor 53
• 3.5.2 Dataset 54
• 3.5.3 Vibration signal classification model 60
• 3.6 Experimental Results 63
• 3.6.1 Hardware and software 63
• 3.6.2 Evaluation of the classification model 65
• 3.6.3 Adaptation of machinery residual life estimation model 66
• 3.7 Discussion 68
• 3.7.1 Estimating the value of the movable property 68
• 3.7.2 Factors for estimating the value of machinery 69
• 3.7.3 Machinery value estimation model 71
• 3.8 Conclusions & Future Works 75
• 4 Acoustic Modality: Collision Risk in Driving Systems 78
• 4.1 Preliminaries 78
• 4.2 Introduction 79
• 4.3 Related Works 83
• 4.4 Target Scenario & Problem Definition 88
• 4.5 Proposed Method 89
• 4.5.1 Acoustic-spatial particle filter 92
• 4.5.2 Decision of weight parameter α(ℓ) 95
• 4.5.3 Likelihood-shaping function 96
• 4.5.4 Decreasing the computation burden for ASPLE 97
• 4.6 Datasets 97
• 4.6.1 Acoustic Recognition based Invisible-target Localization (ARIL) Dataset 99
• 4.6.2 OVAD dataset and baseline 102
• 4.7 Experimental Results 104
• 4.7.1 Results on ARIL dataset 104
• 4.7.2 Results on OVAD dataset 113
• 4.8 Discussion 120
• 4.8.1 Decision of RoI 120
• 4.8.2 Predominant sound paths according to the environment 121
• 4.8.3 Convergence of ASPLE 123
• 4.8.4 Potential applications in intelligent transportation systems 125
• 4.9 Conclusions & Future Works 126
• 5 Conclusions & Future Works 128
• Abstract (In Korean) 149
• Acknowledgement 151