강화학습과 게임이론을 이용한 무선 네트워크 라우팅에서의 공격 대응 방안에 대한 연구 = Defense Mechanisms against Routing Attacks in Wireless Networks using Reinforcement Learning and Game Theory

국문 초록 (Abstract)

본 논문에서는 모바일 애드혹 네트워크(Mobile Ad-hoc Network; MANET) 및 수중 센서 네트워크(Underwater Sensor Network; UWSN)의 라우팅 과정에서 발생할 수 있는 주요 보안 위협인 블랙홀, 비잔틴, 웜홀, 재밍 공격에 대한 대응 방법을 제안한다. MANET은 노드 간 통신 경로가 실시간으로 변화하고, 노드가 자유롭게 네트워크에 진입할 수 있어 악의적인 노드가 쉽게 공격을 수행할 수 있고, UWSN은 수중 환경 특성상 낮은 대역폭, 긴 전파 지연, 그리고 배터리 제약으로 인해 재밍 공격에 취약하다. 기존의 전통적인 라우팅 프로토콜들은 이러한 환경 변화를 효과적으로 반영하지 못한다는 문제가 있기 때문에, 본 연구에서는 강화학습(Reinforcement Learning)과 게임이론(Game Theory)을 융합한 새로운 방어 메커니즘을 제안하였다. 첫째, 블랙홀 및 그레이홀 공격에 대해서는 Q-learning 기반 명성 평가(Opportunistic Routing based on Q-learning; RORQ)를 도입하였다. 각 중간 노드의 과거 포워딩 성공률과 에너지 잔량을 상태로 정의하고, 보상 함수를 통해 신뢰도가 높은 포워딩 후보를 자동 선택함으로써 패킷 손실률을 크게 줄였다. 둘째, 비잔틴 공격에 대해서는 투표 게임(Voting Game) 모델을 활용한 집합적 탐지 알고리즘을 제안한다. 포워딩 과정에서 각 노드는 포워딩을 수행한 이웃 노드의 행동에 대해 투표를 수행하고, 투표 결과를 토대로 악의적 노드를 식별·격리한다. 이로써 잘못된 경로에 대한 포워딩 수행을 효과적으로 차단하였다. 셋째, 웜홀 공격 대응을 위해 다중 검증 시스템을 설계하였다. 정상 경로와 터널 경로를 구분하기 위해 홉 수, 경로 선택 빈도, 이웃 노드 패킷 수신 비율 등 세 가지 검증 지표를 복합적으로 활용하여 보상 함수를 Q-learning에 적용하였다. 이를 통해 신뢰 수준이 임계값 이하인 노드를 네트워크에서 제외함으로써, 라우팅 경로에서 웜홀 터널을 회피하는 방법을 제안하였다. 넷째, UWSN 환경에서 재밍 공격이 발생 시 피해를 최소화하기 위해 M-Qubed 알고리즘을 도입하였다. 공격을 받는 센서 노드와 재머 사이의 관계를 1-1 반복 게임으로 모델링한 후, 각 시간에서 센서의 누적 보상을 최대화할 수 있는 전략을 계산하여 공격자인 재머보다 효율적으로 에너지를 소모하여 라우팅을 수행하는 방법을 제안하였다. 제안된 방어 기법들은 시뮬레이션을 통해 각 공격 시나리오(블랙홀/그레이홀, 비잔틴, 웜홀, 재밍)를 재현하여 평가되었으며, 웜홀 공격을 제외한 기법들은 기존 기법들과 비교하여 패킷 손실률, 종단간 지연 및 에너지 소모가 유의미하게 감소함을, 웜홀 공격은 기존 기법과 비교하여 웜홀 터널을 더 높은 비율로 회피함을 확인하였다. 이를 통해 본 연구는 강화학습과 게임 이론의 결합을 통해 동적·분산 환경에서 보안성과 효율성을 동시에 확보할 수 있음을 입증하였다.

다국어 초록 (Multilingual Abstract)

This dissertation presents countermeasures against major security threats—blackhole, Byzantine, wormhole, and jamming attacks—that can arise during the routing process in Mobile Ad-hoc Networks (MANETs) and Underwater Sensor Networks (UWSNs). In MANETs, communication paths between nodes change dynamically, and nodes can freely join or leave the network, which creates opportunities for malicious nodes to launch attacks. In UWSNs, characteristics such as low bandwidth, high propagation delays, and limited battery capacity make the network particularly vulnerable to jamming attacks. Traditional routing protocols often struggle to adapt to such dynamic and resource-constrained environments. To address these limitations, a defense framework is proposed by integrating reinforcement learning and game theory. To mitigate blackhole and grayhole attacks, an opportunistic routing mechanism based on Q- learning, referred to as RORQ, is introduced. Each intermediate node is modeled using its past forwarding success rate and remaining energy, and a reward function is employed to automatically select forwarding candidates with the highest trust levels. This approach significantly reduces packet loss. For Byzantine attack detection, a collaborative mechanism utilizing a Voting Game model is proposed. During the forwarding process, nodes evaluate and vote on the behavior of their neighbors. Malicious nodes are identified and excluded based on the collective voting results, thereby preventing routing through compromised paths. To counter wormhole attacks, a multi-verification system is developed using Q-learning with a composite reward function. This function incorporates hop count, path selection frequency, and the packet reception ratio of neighboring nodes. Nodes with trust levels below a defined threshold are excluded from the routing path, enabling effective avoidance of wormhole tunnels. To address jamming attacks in UWSN environments, the M-Qubed algorithm is applied. The interaction between attacked sensor nodes and jammers is modeled as a repeated two-player game, where the sensor node selects, at each time step, a strategy that maximizes cumulative rewards. This results in more energy-efficient routing under jamming conditions. The proposed techniques are evaluated through simulations reproducing each type of attack scenario. Compared to existing approaches, the proposed methods demonstrate notable reductions in packet loss, end-to-end delay, and energy consumption in all scenarios except for wormhole attacks, for which a significantly higher rate of tunnel avoidance is achieved. These results highlight the effectiveness of integrating reinforcement learning and game theory to enhance both security and efficiency in dynamic, distributed wireless networks.

목차 (Table of Contents)

• 차 례 i
• 표, 그림 및 Algorithm 차례 iii
• Abstract v
• 요 약 vii
• 1. 서론 1
• 2. 배경 지식 8
• 2.1. 강화학습 8
• 2.2. 게임 이론 21
• 3. 블랙홀 및 그레이홀 공격 대응을 위한 평판 기반 전술적 라우팅 28
• 3.1. 문제 정의 및 관련 연구 28
• 3.2. 제안 방법 33
• 3.3. 성능 평가 36
• 3.4. 요약 및 결론 44
• 4. 비잔틴 공격 대응을 위한 투표 시스템 46
• 4.1. 문제 정의 및 관련 연구 46
• 4.2. 제안 방법 48
• 4.3. 성능 평가 56
• 4.4. 요약 및 결론 60
• 5. 웜홀 공격 대응을 위한 다중 검증 기반 신뢰 시스템 63
• 5.1. 문제 정의 및 관련 연구 63
• 5.2. 제안 방법 66
• 5.3. 성능 평가 72
• 5.4. 요약 및 결론 77
• 6. 재밍 공격 대응을 위한 M-Qubed 기반 정책 계산 기법 79
• 6.1. 문제 정의 및 관련 연구 79
• 6.2. 제안 방법 82
• 6.3. 성능 평가 87
• 6.4. 요약 및 결론 93
• 7. 결론 및 향후 연구 96
• 참고 문헌 101