Development of Artificial Tactile Perception System Using Tactile Sensors and Graph Neural Networks

국문 초록 (Abstract)

인간은 물체의 표면을 피부로 직접 문지르며 질감의 유사성이나 차이를 인지합니다. 이는 피부의 기계수용기를 통해 외부 환경으로부터 물리적 자극을 감지하고, 이 정보를 뇌로 전달하여 해석하는 복잡한 과정입니다. 본 연구는 이러한 복잡한 인간의 촉각 인지 과정을 인공 촉각 인지 시스템을 개발하여 재현했습니다. 주요 목표는 기계 수용체의 기능을 모방한 고급 촉각 센서를 개발하고, 이 센서의 출력 신호에서 정량화된 촉각 정보를 추출하여 신경망 기술을 사용해 이를 촉각 정보로 인지하는 것입니다.
세 가지 유형의 촉각 센서가 개발되었습니다. 첫 번째로 Merkel 수용기 (SA1)를 모방하여 부드러움을 감지하는 촉각 센서, 두 번째로 Ruffini 수용기 (SA2)를 모방하여 피부의 늘어짐과 손가락 움직임을 감지하는 스트레인 센서, 세 번째로 빠르게 적응하는 수용기 (Meissner 및 Pacinian 소체)를 모방하여 미세한 질감을 감지하는 자가 발전 Triboelectric nanogenerator를 사용하는 거칠기 센서입니다. 이 센서들은 부드러움, 모양, 크기 및 표면의 거칠기를 효과적으로 측정하여 높은 정확도의 촉각 신호의 감지를 보여주었습니다.
질감 인지 연구의 가장 어려운 측면인 거칠기에 초점을 맞추어, 본 연구는 앞서 개발된 거칠기 센서를 사용하여 규칙적 및 불규칙한 패턴을 가진 24개의 샘플 표면의 거칠기를 측정했습니다. 거칠기 신호에서 빠른 푸리에 변환 (FFT), 자기상관 함수 (ACF), 스펙트럼 분석 및 심층 학습 회귀 분석과 같은 방법론을 사용하여 정량적 촉각 특징 지표를 추출했습니다. 그 결과, 6가지 특징(Periodicity, Crest factor, Spectral centroid, Spectral spread, FFT regression feature, ACF regression feature)이 도출되었습니다. 도출된 여러 특징과 같은 다양한 촉각 데이터를 다차원 벡터 형태로 구성하는 특징 기반 촉각 지도 개념을 제안하였으며, 이는 촉각 라이브러리로 체계적이고 확장성, 유연성을 갖춘 데이터 구조입니다. 제안된 특징 기반 촉각 지도를 학습할 수 있는 신경망을 개발하는 것은 여전히 도전 과제입니다. 본 연구는 물질 특성을 그래프로 나타내어 그 관계를 학습하는 그래프 신경망 (GNNs) 모델을 도입하여 해결했습니다. GNNs 모델은 전통적인 신경망(Convolutional Neural Network, Recurrent Neural Network)보다 인공 촉각 인지 시스템에 더 적합하며, 유사성 계산을 통해 촉각 데이터를 분석하고 비유클리드 데이터를 학습할 수 있는 능력이 있습니다. 또한, 노드 임베딩의 장점으로 인해 GNNs 모델은 전체 데이터 세트를 재학습하지 않고도 새로운 물질에 대한 예측이 가능하여 확장성을 제공합니다.
결론적으로, 본 연구는 인공 시스템을 통해 인간의 복잡한 촉각 인지 과정을 성공적으로 재현하였으며, 센서 신호에서 촉각 정보를 정량화하는 자세한 방법론을 제시하고 이 데이터를 체계적으로 저장할 수 있는 촉각 라이브러리 개념을 제시했습니다. GNNs 모델의 도입을 통해서 다차원 촉각 데이터를 신경망에 학습할 수 있게 되었습니다. 이러한 방법론의 제안은 기계가 물리적 세계를 해석하고 인간과 기계가 상호작용하는 방식을 혁신할 잠재력을 보여줍니다. 촉각 센서와 AI 기술의 통합하는 미래 연구 방향은 인공 촉각 기술의 잠재력을 극대화하여 인간-기계 상호작용에서 혁신적인 발전을 위한 기초를 마련할 것입니다. 이러한 다학제적 접근 방식은 고급 로봇 시스템, 스마트 웨어러블 및 정교한 인간-기계 인터페이스 개발을 위한 중요한 기술로 자리매김할 것입니다.

다국어 초록 (Multilingual Abstract)

Humans perceive the similarity or difference in the texture of objects by directly rubbing their surfaces with their skin. This involves a complex process where physical stimuli are detected by mechanoreceptors in the skin and transmitted to the brain for interpretation. This study replicates this complex human tactile perception process by developing an artificial tactile perception system. The primary objectives are to develop advanced tactile sensors that mimic the functions of mechanoreceptors and to extract quantified tactile information from these sensors' output signals, which is then interpreted as tactile information using neural network technology.
This study developed three types of tactile sensors that mimic the functions of mechanoreceptors. First, a sensor mimicking the function of Merkel receptors (SA1) to detect softness; second, a strain sensor mimicking the function of Ruffini receptors (SA2) to detect skin stretch and finger movements; and third, a roughness sensor mimicking the function of fast-adapting receptors (Meissner and Pacinian corpuscles) using a self-powered triboelectric nanogenerator to detect fine textures. These sensors effectively measure the softness, shape, size, and roughness of surfaces, demonstrating high accuracy in tactile signal detection.
Focusing on the most challenging aspect of texture perception—roughness—this study utilized the previously developed roughness sensor to measure 24 sample surfaces with both regular and irregular patterns. Quantitative tactile features were extracted from the roughness signals using methodologies such as fast Fourier transform (FFT), autocorrelation function (ACF), spectral analysis, and deep learning regression analysis. As a result, six features (Periodicity, Crest factor, Spectral centroid, Spectral spread, FFT regression feature, ACF regression feature) were extracted. The idea of a feature-based tactile map was proposed to organize various tactile data in the form of multidimensional vectors, which is a systematic and scalable data structure called the tactile library. Developing a neural network capable of learning from the proposed feature-based tactile map remains a challenge. This study introduced a graph neural networks (GNNs) model to solve this issue by learning the relationships between material characteristics represented as graphs. GNNs models are more suitable for artificial tactile perception systems than traditional neural networks (Convolutional Neural Network, Recurrent Neural Network) because they can analyze tactile data through similarity computations and learn non-Euclidean data. Additionally, due to the advantages of node embedding, GNNs models offer scalability, allowing predictions for new materials without retraining the entire dataset.
In conclusion, this study successfully replicated the complex human tactile perception process through an artificial tactile perception system, presenting detailed methodologies for quantifying tactile information from sensor signals and proposing the concept of a tactile library to systematically store this data. The introduction of the GNNs model enabled the learning of multidimensional tactile data by neural networks. This approach has the potential to innovate how machines interpret the physical world and interact with humans. Future research directions include integrating tactile sensors with AI technologies to maximize the potential of artificial tactile technology, laying the foundation for transformative advancements in human-machine interaction. This multidisciplinary approach will establish itself as a crucial technology for the development of advanced robotic systems, smart wearables, and sophisticated human-machine interfaces.

목차 (Table of Contents)

• Contents i
• Abstract vi
• List of Figures ix
• List of Tables xiv
• Chapter 1. Introduction
• 1.1 Background 1
• 1.1.1 Introduction 1
• 1.1.2 Tactile sensor 2
• 1.1.3 Artificial tactile perception 3
• 1.2 Research motivation 4
• 1.3 Objective of thesis 7
• 1.4 Organization of thesis 8
• Chapter 2. Research background and theory
• 2.1 Human tactile sensations and perception mechanism 10
• 2.2 Tactile sensors mimicking mechanoreceptors 18
• 2.2.1 Pressure sensor for slow adapting receptor 19
• 2.2.2 Strain sensor for slow adapting receptor 26
• 2.2.3 Vibration sensor for fast adapting receptors 32
• 2.3 Neural network techniques for perception 41
• 2.3.1 Basic of neural networks 41
• 2.3.1.1 Neuron 42
• 2.3.1.2 Back propagation algorithm 44
• 2.3.2 Deep neural network (DNN) 46
• 2.3.3 Convolutional neural networks (CNNs) 47
• 2.3.4 Recurrent neural network (RNN) 49
• 2.3.5. Graph neural network (GNN) 50
• 2.4. References 52
• Chapter 3. Tactile sensors that emulate mechanoreceptors
• 3.1 Slow adaptive tactile sensor for softness 66
• 3.1.1 Introduction 66
• 3.1.2 Fabrication and methods 68
• 3.1.3 Results and discussion 72
• 3.1.4 Conclusion 80
• 3.2 Slow adaptive strain sensor for strain stimulation 81
• 3.2.1 Introduction 81
• 3.2.2 Materials and methods 83
• 3.2.3 Results and discussion 89
• 3.2.4 Conclusion 98
• 3.3 Fast adaptive tactile sensor for roughness 99
• 3.2.1 Introduction 99
• 3.2.2 Fabrication of FA sensor 101
• 3.2.3 Results and discussion 103
• 3.2.4 Conclusion 114
• 3.4 References 115
• Chapter 4. Analysis and quantification of texture signals
• 4.1 Introduction 128
• 4.2 Theoretical background 130
• 4.2.1 Basic concepts of texture analysis 130
• 4.2.2 Conventional techniques for texture signal processing 132
• 4.2.2.1 Fast Fourier transform 132
• 4.2.2.2 Autocorrelation function 134
• 4.2.2.3 Power spectral density 136
• 4.2.2.4 Spectrogram analysis 138
• 4.3 Methods for texture signal analysis and quantification 141
• 4.3.1 Texture samples selection and collection of texture signals 141
• 4.3.2 Methodologies for quantification and features extraction 150
• 4.3.2.1 Harnessing ACF for periodicity detection in time domain signal 150
• 4.3.2.2 Application crest factor for detecting sharp roughness peaks 153
• 4.3.2.3 Quantifying surface roughness pattern size using spectral centroid
• analysis 155
• 4.3.2.4 Quantifying complexity of surface roughness patterns using spectral
• spread analysis 157
• 4.3.3 Features extraction through regression analysis using deep learning 159
• 4.3.4 Harnessing extracted features for efficient neural network performance 164
• 4.3.5 Feature based tactile space map 168
• 4.4 References 172
• Chapter 5. Graph neural networks for texture cognition
• 5.1 Introduction 178
• 5.2 Advanced neural networks architectures for texture data 181
• 5.2.1 Introduction to graph neural networks theory 181
• 5.2.2 Specialized applications of GNN 188
• 5.2.2.1 Graph convolutional network (GCN) 188
• 5.2.2.2 Graph attention network (GAT) 193
• 5.3 Graph neural network architecture for texture perception 198
• 5.4 The advantages of graph neural networks 203
• 5.5 Conclusion 213
• 5.6 References 214
• Chapter 6. Conclusion and future works
• 6.1 Conclusion 219
• Abstract (in Korean) 224
• Declaration of Ethical Conduct in Research 227
• Declaration of Ethical Conduct in Research (in Korean) 228