Interpretable data-driven model framework for performance prediction and validation of thermal catalysts|RISS 상세보기

국문 초록 (Abstract)

불균일 열 촉매는 화학 공정의 다양한 분야에서 사용되어 왔습니다. 최근에는 수소 에너지 생성 및 플라스틱 분해 반응과 같은 기후 변화 및 환경 오염에 대처하기 위한 분야에서도 중요한 역할을 담당하고 있습니다. 이러한 역할들을 수행할 수 있는 우수한 활성과 선택성을 가진 촉매를 설계하기 위해서는 복잡한 변수를 고려해야 합니다. 효과이고 지능적인 촉매 개발을 위해서 최근에는 실험적 시행착오 및 계산화학 방법들을 넘어서 데이터 기반 방법론으로 개발 패러다임이 진화하고 있습니다.
데이터 기반 방법론은 다양한 변수로부터 예측 패턴을 추출 및 분석하여 통찰력을 제공한다는 장점을 지니고 있습니다. 이러한 데이터 기반 방법론을 활용한다면 수많은 시행착오를 통한 촉매의 개발을 효율화할 수 있습니다. 그러나 촉매의 성능 및 반응 결과에 대한 경향성을 예측하고 이를 이용한 스크리닝 및 실험 검증 후보 도출과정에 데이터 기반 모델의 사용이 일반화되기 위해서는 여전히 병목 현상으로 작용하는 몇 가지 문제점이 있습니다. 기본적으로 적절하게 데이터 기반 모델을 학습시키기 위해서는 충분한 양과 품질의 데이터가 필요합니다. 또한 개발된 모델의 의사결정 휴리스틱이 기존 도메인 지식을 위반하지 않는지 확인해야 합니다. 또 최종적인 스크리닝 결과를 직관적으로 분석하여 실험에 이용할 수 있도록 해야합니다. 이러한 관점에서 본 논문은 대표적인 열 촉매 반응인 메탄 개질 반응을 데이터 기반 모델 활용의 예시로 들어 크게 네 가지 해결법으로 문제로 간주되는 한계점들을 극복하고자 하였다. 또한 2장과 3의 결과의 경우에 직접 실험적 검증으로 모델을 평가했으며 5장 에서는 실험 시스템을 구축하였다.
먼저 대표적인 불균일 열 촉매 중 하나인 dry reforming of methane(DRM) 촉매에 대한 개발 예측 모델 및 결과 해석을 위해서 interpretable machine learning(IML) 도구를 사용했습니다. 그 결과 IML 도구는 데이터 기반 모델의 예측 성능을 향상시켰을 뿐만 아니라 설계 재료 변수(예: 활성 금속, 촉진제 및 지지체의 조성 및 성분)별로 CH4 전환 예측 값을 직관적으로 시각화 할 수 있게 했습니다. 또한 그 과정에서 최적의 전처리 및 작동 조건을 추론할 수 있습니다. 최종적으로 이전에 보고되지 않은 유망한 촉매 후보를 추천함으로써 촉매 개발의 의사 결정 이해 관계자를 지원합니다.
다음 두번째 장에서는 촉매의 스크리닝을 위해서는 데이터가 없는 희소한 촉매의 경우에 더욱 데이터가 필요하다는 역설을 다룹니다. 본 연구에서는 데이터가 부족한 상황에서도 촉매의 성능을 예측하기 위한 데이터 기반 모델을 개발하기 위해서 도메인 적응 기법을 사용했습니다. 그 예시 반응으로서 데이터가 상대적으로 부족한 bi-reforming of methane 촉매 데이터 세트가 예측이 필요한 목표 데이터세트로 사용합니다. DRM과 SRM(Steam Reforming of Methane) 촉매 데이터셋을 모델의 예측능력 향상과 외삽 예측을 위한 소스 데이터세트로 사용합니다. 모델을 사전 훈련 및 미세 조정시킨 다음 각 데이터세트의 도메인이 모델내부 잠재 공간의 공분산 거리 내부로 이동하여 예측되었습니다. 그 결과 예측 모델의 성능이 증가하였으며 기존 BRM 데이터세트의 설계 재료 변수로는 고려대상이 될 수 없었던 새로운 조합과 조성의 촉매로 외삽 예측을 통한 스크리닝의 범위가 확대되었습니다.
세 번째 장에서는 데이터 기반 모델이 촉매 스크리닝을 최적화하는 대리 모델 역할을 합니다. 이 모델은 DRM 촉매의 성능 지표인 CO2 및 CH4 전환과 합성 가스의 H/CO 비율과 같은 값은 물론 시간에 따른 전환 비활성화도 예측할 수 있도록 변수를 추출합니다. 또 최적의 촉매를 설계하기 위해 실험 전략을 수립하는 과정에서 데이터 기반 모델을 적절히 활용합니다. 본 연구에서의 IML 결과는 최적화를 위한 변수를 제한하는 데 사용되었습니다. 연구 결과는 기존의 배경지식와 일치되는 경향을 보일 뿐 아니라 다각도의 최적 촉매를 스크리닝 하는데 매우 유익함을 보였습니다.
마지막으로 데이터 기반 모델을 활용해 촉매 개발에 필요한 신뢰성 있는 실험 데이터를 확보하기 위해 현존하는 방법론들을 나열하여 설명하고 그 중에서도 고처리량 실험 시스템을 직접 설계하고 구축했습니다. 이 시스템을 통해 일관된 프로토콜과 균일한 조건에서 촉매 성능을 평가할 수 있습니다.
결론적으로 본 논문은 이기종 열 촉매의 성능을 예측하고 합리적인 설계를 가능하게 하는 데이터 기반 모델을 개발하기 위한 방법론과 스크리닝에 활용되기에 부족한 기존 데이터 문제를 극복할 수 있을만한 유망한 방향을 제시합니다.

번역하기

불균일 열 촉매는 화학 공정의 다양한 분야에서 사용되어 왔습니다. 최근에는 수소 에너지 생성 및 플라스틱 분해 반응과 같은 기후 변화 및 환경 오염에 대처하기 위한 분야에서도 중요한 ...

다국어 초록 (Multilingual Abstract)

Heterogeneous thermal catalysts play a pivotal role in various chemical processes, particularly in combating climate change and environmental pollution, with applications such as hydrogen energy generation and plastic decomposition reactions. The design of catalysts with superior activity and selectivity requires considering a multitude of complex variables. Recently, the paradigm in catalyst development has shifted from traditional experimental trial-and-error and computational chemistry methods to the utilization of data-driven models. These models streamline the process of deriving and screening catalyst combinations, thereby reducing the need for extensive trial-and-error. Data-driven models are particularly advantageous in extracting and analyzing predictive patterns from complex datasets, enabling a more rational approach to catalyst development.
However, certain limitations act as bottlenecks in generalizing the use of data-driven models for catalyst screening. To properly train a data-driven model, sufficient and quality data are essential. Moreover, it is crucial to ensure that the decision-making heuristics of the developed model align with existing domain knowledge. Additionally, the final screening results must be intuitively analyzed for practical experimental application. This dissertation addresses these limitations by taking the methane reforming reaction, a key thermal catalyst reaction, as a case study and proposing four major solutions. Chapters 2 and 3 focus on experimental validation of the model, while Chapter 5 discusses the establishment of an experimental system.
The first chapter introduces an interpretable machine learning (IML) tool for developing a predictive model for the dry reforming of methane (DRM) catalysts. The IML tool not only enhances prediction accuracy but also facilitates intuitive visualization of CH4 conversion predictions based on design material variables, such as active metal, accelerator, and support compositions. This aids in deducing optimal pretreatment and operational conditions, assisting decision-makers in identifying promising yet unexplored catalyst candidates.
The second chapter deals with the paradox that more data is needed for catalyst screening in the case of catalysts particularly for lacking sufficient data. A domain adaptation approach is employed to develop a model that can predict catalyst performance even in data-limited scenarios. For this purpose, the bi-reforming of methane catalyst dataset, which has relatively scarce data, is used as the target dataset. DRM and steam reforming of methane (SRM) catalyst datasets serve as source datasets to enhance the model's predictive capacity and expand screening scope.
The third chapter highlights the use of data-driven models as surrogate models for optimizing DRM catalyst screening. These models extract descriptors to predict performance indicators such as CO2 and CH4 conversions, the H/CO ratio of the syngas, and conversion deactivation over the reaction time. Also, the model are instrumental in establishing strategies for designing of experiments. The findings not only align with existing domain knowledge but also prove invaluable in screening optimal catalysts from various perspectives.
Finally, to ensure reliable data for catalyst development, promising methodologies are listed and discussed, including the design and construction of a high-throughput experimental system. This system facilitates the evaluation of catalyst performance under uniform conditions and consistent protocols.
In conclusion, this dissertation proposes specialized methodologies and promising directions for developing data-driven models in the screening of heterogeneous thermal catalysts, thus facilitating their rational design. It highlights the importance of data-driven approaches in advancing catalyst development and provides insights into future research directions in this field.

번역하기

목차 (Table of Contents)

TABLE OF CONTENTS i
LIST OF FIGURES vi
LIST OF TABLES xi
ABSTRACT xii
CHAPTER 1. INTRODUCTION 1

TABLE OF CONTENTS i
LIST OF FIGURES vi
LIST OF TABLES xi
ABSTRACT xii
CHAPTER 1. INTRODUCTION 1
1.1. Research objectives and motivations 1
1.2. Research scope and contributions 4
CHAPTER 2. INTERPRETABLE MACHINE LEARNING FOR PREDICTING CATALYSTS PERFORMANCE OF DRY REFORMING OF METHANE 8
2.1. Introduction 8
2.2. Methodology 13
2.2.1. Data collection 15
2.2.2. Data preprocessing 18
2.2.3. Model development 24
2.2.3.1. Model algorithm 24
2.2.3.2. Model training and test 33
2.2.3.3. Model hyperparameter tuning 34
2.2.4. Model evaluation 36
2.2.5. Interpretable machine learning 37
2.2.5.1. Shapley additive explanation 38
2.2.5.2. Partial dependence value and plot 41
2.2.6. Random dataset generation 44
2.2.7. Recommendation and screening of candidates 45
2.3. Experiment method 49
2.4. Results and discussions 53
2.4.1. Feature engineering through interpretable machine learning 53
2.4.2. Recommended catalyst candidates 62
2.4.3. Candidate recommendation based on prediction results 68
2.4.3. Experimental validation 71
2.4. Conclusion 73
CHAPTER 3. DOMAIN ADAPTATION FOR PREDICTING PERFORMANCE OF BI-REFORMING OF METHANE CATALYST 75
3.1. Introduction 75
3.2. Methodology 80
3.2.1. Data collection 80
3.2.2. Data preprocessing 83
3.2.3. Domain adaptation 86
3.2.3.1. Model architecture 86
3.2.3.2. Similarity measurement between catalyst datasets 90
3.2.3.2.1. Wasserstein distance 90
3.2.3.2.2. t-SNE 91
3.2.3.3. Domain shift assumption by covariance discrepancy 93
3.2.3.3. Model training and test 94
3.2.3.4. Model evaluation 96
3.3. Experiment method 97
3.4. Results and discussions 99
3.4.1. Model interpretation 99
3.4.2. Prediction results 99
3.4.3. Recommended catalyst candidates 99
3.5. Conclusion 110
CHAPTER 4. DATA-DRIVEN APPROACH TO OPTIMIZE CATALYST SCREENING BY PREDICTING PERFORMANCE AND DEACTIVATION 112
4.1. Introduction 112
4.2. Methodology 116
4.2.1. Workflow 118
4.2.2. Catalyst screening optimization 120
4.3. Results and discussions 126
4.3.1. Comparison results of decision-heuristics 126
4.3.2. Model evaluation 131
4.3.3. Comparison of recommendation candidates 133
4.4. Conclusion 138
CHAPTER 5. HIGH-THROUGHPUT EXPERIMENTATION SYSTEM SETUP FOR DATA-DRIVEN MODELING 140
5.1. Introduction 140
5.2. Methodology 144
5.2.1. Generative adversarial network 144
5.2.2. Meta learning 146
5.2.3. High-throughput screening experimentation 147
5.3. Conclusion 151
CHAPTER 6. CONCLUDING REMARKS 154
6.1. Summary of research 154
6.2. Future works 156
REFERENCES 158
국문요약 175

참고문헌 (Reference)

1. Random forests, L. Breiman, Machine Learning. 45 5–32, , 2001

2. Support-vector networks, C. Cortes, V. Vapnik, Machine Learning. 20 273–297, , 1995

3. Understanding catalysis, E. Roduner, 43 8226–8239, , 2014

4. Single-Atom Alloy Catalysis, E. C. H. Sykes, R. T. Hannagan, M. Flytzani-Stephanopoulos, G. Giannakakis, 120 12044–12088. https://doi. org/10.1021/acs. chemrev.0c00078, , 2020

5. Visualizing data using t-SNE, L. Van der Maaten, G. Hinton, 9, , 2008

6. Machine learning in catalysis, J. R. Kitchin, Nature Catalysis. 1 230–232 https://doi. org/10.1038/s41929-018-0056-y, , 2018

7. A note on one class of perceptrons, V. N. Vapnik, Automat. Rem. Control. 25 821–837, , 1964

8. Frustratingly easy domain adaptation, H. Daumé III, ArXiv Preprint ArXiv:0907.1815, , 2009

9. Machine learning for fluid mechanics, B. R. Noack, P. Koumoutsakos, S. L. Brunton, Annual Review of Fluid Mechanics. 52 477–508, , 2020

10. Machine learning in materials science, X. Chu, M. Lei, K. Xu, Z. Wei, X. Sun, J. Chen, H. Deng, J. Wei, InfoMat. 1 338–358, , 2019