심층강화학습 기반의 순차적 유전개발계획 최적화 = Optimization of oil field development plan using deep reinforcement learning-based framework

국문 초록 (Abstract)

유전개발계획의 최적화는 저류층을 효율적으로 관리하고 사업의 수익성을 극대화하는데 필수적이다. 그러나 이는 수많은 의사결정 변수와 제약조건, 저류층 물성의 비균질성과 불확실성, 그리고 저류층의 거동 예측에 필요한 높은 계산비용 등으로 매우 어렵다. 본 연구는 유정의 개수, 위치, 종류와 시추순서를 결정하는 연속적 의사결정 문제의 최적화를 위해, 이중 심층 Q-네트워크를 활용한 심층강화학습 기반의 프레임워크를 제안한다. 비균질한 2차원 및 3차원 저류층 모델에 적용한 결과 입자군집 최적화 알고리즘 대비 8.43%에서 42.7% 더 높은 순현재가치를 주는 합리적인 개발계획을 도출하였다. 또한 제안한 프레임워크는 저류층 상태정보에 불확실성이 존재하는 경우에도 안정적으로 학습되어 신뢰할 수 있는 개발계획을 생성하였다. 이러한 결과는 제안한 프레임워크가 최적의 유전개발계획을 수립하기 위한 연속적 의사결정 문제에 강건하게 대응할 수 있는 유용한 도구임을 시사한다.

다국어 초록 (Multilingual Abstract)

Successful reservoir management and improvement of project feasibility rely on optimization of field development plan (FDP). However, the optimization of FDP is arduous due to the diverse variables and constraints, uncertainty and heterogeneity of geological properties, and computationally demanding reservoir simulations. This study aims to develop an optimization framework based on double deep Q-network, which is a deep reinforcement learning algorithm, to determine the optimal number, types, locations, and drilling sequence of wells in FDP. 2D and 3D heterogeneous reservoir models are utilized to assess the proposed framework. The proposed framework provides FDPs that have higher net present value from 8.43% up to 42.7% compared to those from PSO. The uncertainty of reservoir state observation is also handled reliably by the proposed framework. When the proposed framework is trained under state uncertainty, it proposes reliable FDPs and can generate even higher net present value than the cases without considering state uncertainty. This study suggests a robust and practical optimization framework for sequential decision making of FDP including uncertainty and constraints.

목차 (Table of Contents)

• 초록 i
• 목차 ii
• List of Tables iv
• List of Figures vi
• 1. 서론 1
• 1.1. 유전개발계획의 최적화 1
• 1.2. 심층강화학습 3
• 2. 이론적 배경 6
• 2.1. 입자군집 최적화 6
• 2.2. 이중 심층 Q-네트워크 7
• 3. 심층강화학습 기반 최적화 프레임워크 10
• 3.1. 실험 설계 10
• 3.2. 유전개발계획 최적화를 위한 마르코프 결정과정 구성 18
• 3.2.1. 환경과 상태 18
• 3.2.2. 행동 19
• 3.2.3. 보상 20
• 3.2.4. 에이전트 21
• 3.3. 이중 심층 Q-네트워크에 도입된 추가기법 23
• 3.3.1. 우선순위가 있는 경험재현 23
• 3.3.2. 입실론 탐욕정책의 수정 24
• 3.3.3. 행동 마스킹 26
• 3.3.4. 제안한 프레임워크의 구축 26
• 3.4. 학습절차 27
• 4. 적용 결과 및 해석 30
• 4.1. 2차원 가상저류층 33
• 4.1.1. Case 1 33
• 4.1.2. Case 2 41
• 4.2. 3차원 저류층 50
• 4.2.1. Case 3-1 50
• 4.2.2. Case 3-2 58
• 4.3. 상태 불확실성 하에서의 최적 유전개발계획 도출 66
• 5. 결론 73
• 참고문헌 75
• 부록 82
• A. 2차원 및 3차원 저류층 모델의 유체투과율 분포 82
• B. 에이전트의 구조와 학습설정 85
• C. 제안한 프레임워크에 포함된 추가기법들의 효과 92
• D. 할인인자에 따른 제안한 프레임워크의 학습 안정성 분석 96
• E. 제안한 프레임워크의 랜덤시드에 대한 강건성 및 시추비용의 변화에 대한 민감도분석 103
• Abbreviations 110
• Nomenclature 111
• Abstract 115