Interpretable data-driven model framework for performance prediction and validation of thermal catalysts

노지원 Graduate School, Yonsei University 2024 국내박사

불균일 열 촉매는 화학 공정의 다양한 분야에서 사용되어 왔습니다. 최근에는 수소 에너지 생성 및 플라스틱 분해 반응과 같은 기후 변화 및 환경 오염에 대처하기 위한 분야에서도 중요한 역할을 담당하고 있습니다. 이러한 역할들을 수행할 수 있는 우수한 활성과 선택성을 가진 촉매를 설계하기 위해서는 복잡한 변수를 고려해야 합니다. 효과이고 지능적인 촉매 개발을 위해서 최근에는 실험적 시행착오 및 계산화학 방법들을 넘어서 데이터 기반 방법론으로 개발 패러다임이 진화하고 있습니다. 데이터 기반 방법론은 다양한 변수로부터 예측 패턴을 추출 및 분석하여 통찰력을 제공한다는 장점을 지니고 있습니다. 이러한 데이터 기반 방법론을 활용한다면 수많은 시행착오를 통한 촉매의 개발을 효율화할 수 있습니다. 그러나 촉매의 성능 및 반응 결과에 대한 경향성을 예측하고 이를 이용한 스크리닝 및 실험 검증 후보 도출과정에 데이터 기반 모델의 사용이 일반화되기 위해서는 여전히 병목 현상으로 작용하는 몇 가지 문제점이 있습니다. 기본적으로 적절하게 데이터 기반 모델을 학습시키기 위해서는 충분한 양과 품질의 데이터가 필요합니다. 또한 개발된 모델의 의사결정 휴리스틱이 기존 도메인 지식을 위반하지 않는지 확인해야 합니다. 또 최종적인 스크리닝 결과를 직관적으로 분석하여 실험에 이용할 수 있도록 해야합니다. 이러한 관점에서 본 논문은 대표적인 열 촉매 반응인 메탄 개질 반응을 데이터 기반 모델 활용의 예시로 들어 크게 네 가지 해결법으로 문제로 간주되는 한계점들을 극복하고자 하였다. 또한 2장과 3의 결과의 경우에 직접 실험적 검증으로 모델을 평가했으며 5장 에서는 실험 시스템을 구축하였다. 먼저 대표적인 불균일 열 촉매 중 하나인 dry reforming of methane(DRM) 촉매에 대한 개발 예측 모델 및 결과 해석을 위해서 interpretable machine learning(IML) 도구를 사용했습니다. 그 결과 IML 도구는 데이터 기반 모델의 예측 성능을 향상시켰을 뿐만 아니라 설계 재료 변수(예: 활성 금속, 촉진제 및 지지체의 조성 및 성분)별로 CH4 전환 예측 값을 직관적으로 시각화 할 수 있게 했습니다. 또한 그 과정에서 최적의 전처리 및 작동 조건을 추론할 수 있습니다. 최종적으로 이전에 보고되지 않은 유망한 촉매 후보를 추천함으로써 촉매 개발의 의사 결정 이해 관계자를 지원합니다. 다음 두번째 장에서는 촉매의 스크리닝을 위해서는 데이터가 없는 희소한 촉매의 경우에 더욱 데이터가 필요하다는 역설을 다룹니다. 본 연구에서는 데이터가 부족한 상황에서도 촉매의 성능을 예측하기 위한 데이터 기반 모델을 개발하기 위해서 도메인 적응 기법을 사용했습니다. 그 예시 반응으로서 데이터가 상대적으로 부족한 bi-reforming of methane 촉매 데이터 세트가 예측이 필요한 목표 데이터세트로 사용합니다. DRM과 SRM(Steam Reforming of Methane) 촉매 데이터셋을 모델의 예측능력 향상과 외삽 예측을 위한 소스 데이터세트로 사용합니다. 모델을 사전 훈련 및 미세 조정시킨 다음 각 데이터세트의 도메인이 모델내부 잠재 공간의 공분산 거리 내부로 이동하여 예측되었습니다. 그 결과 예측 모델의 성능이 증가하였으며 기존 BRM 데이터세트의 설계 재료 변수로는 고려대상이 될 수 없었던 새로운 조합과 조성의 촉매로 외삽 예측을 통한 스크리닝의 범위가 확대되었습니다. 세 번째 장에서는 데이터 기반 모델이 촉매 스크리닝을 최적화하는 대리 모델 역할을 합니다. 이 모델은 DRM 촉매의 성능 지표인 CO2 및 CH4 전환과 합성 가스의 H/CO 비율과 같은 값은 물론 시간에 따른 전환 비활성화도 예측할 수 있도록 변수를 추출합니다. 또 최적의 촉매를 설계하기 위해 실험 전략을 수립하는 과정에서 데이터 기반 모델을 적절히 활용합니다. 본 연구에서의 IML 결과는 최적화를 위한 변수를 제한하는 데 사용되었습니다. 연구 결과는 기존의 배경지식와 일치되는 경향을 보일 뿐 아니라 다각도의 최적 촉매를 스크리닝 하는데 매우 유익함을 보였습니다. 마지막으로 데이터 기반 모델을 활용해 촉매 개발에 필요한 신뢰성 있는 실험 데이터를 확보하기 위해 현존하는 방법론들을 나열하여 설명하고 그 중에서도 고처리량 실험 시스템을 직접 설계하고 구축했습니다. 이 시스템을 통해 일관된 프로토콜과 균일한 조건에서 촉매 성능을 평가할 수 있습니다. 결론적으로 본 논문은 이기종 열 촉매의 성능을 예측하고 합리적인 설계를 가능하게 하는 데이터 기반 모델을 개발하기 위한 방법론과 스크리닝에 활용되기에 부족한 기존 데이터 문제를 극복할 수 있을만한 유망한 방향을 제시합니다. Heterogeneous thermal catalysts play a pivotal role in various chemical processes, particularly in combating climate change and environmental pollution, with applications such as hydrogen energy generation and plastic decomposition reactions. The design of catalysts with superior activity and selectivity requires considering a multitude of complex variables. Recently, the paradigm in catalyst development has shifted from traditional experimental trial-and-error and computational chemistry methods to the utilization of data-driven models. These models streamline the process of deriving and screening catalyst combinations, thereby reducing the need for extensive trial-and-error. Data-driven models are particularly advantageous in extracting and analyzing predictive patterns from complex datasets, enabling a more rational approach to catalyst development. However, certain limitations act as bottlenecks in generalizing the use of data-driven models for catalyst screening. To properly train a data-driven model, sufficient and quality data are essential. Moreover, it is crucial to ensure that the decision-making heuristics of the developed model align with existing domain knowledge. Additionally, the final screening results must be intuitively analyzed for practical experimental application. This dissertation addresses these limitations by taking the methane reforming reaction, a key thermal catalyst reaction, as a case study and proposing four major solutions. Chapters 2 and 3 focus on experimental validation of the model, while Chapter 5 discusses the establishment of an experimental system. The first chapter introduces an interpretable machine learning (IML) tool for developing a predictive model for the dry reforming of methane (DRM) catalysts. The IML tool not only enhances prediction accuracy but also facilitates intuitive visualization of CH4 conversion predictions based on design material variables, such as active metal, accelerator, and support compositions. This aids in deducing optimal pretreatment and operational conditions, assisting decision-makers in identifying promising yet unexplored catalyst candidates. The second chapter deals with the paradox that more data is needed for catalyst screening in the case of catalysts particularly for lacking sufficient data. A domain adaptation approach is employed to develop a model that can predict catalyst performance even in data-limited scenarios. For this purpose, the bi-reforming of methane catalyst dataset, which has relatively scarce data, is used as the target dataset. DRM and steam reforming of methane (SRM) catalyst datasets serve as source datasets to enhance the model's predictive capacity and expand screening scope. The third chapter highlights the use of data-driven models as surrogate models for optimizing DRM catalyst screening. These models extract descriptors to predict performance indicators such as CO2 and CH4 conversions, the H/CO ratio of the syngas, and conversion deactivation over the reaction time. Also, the model are instrumental in establishing strategies for designing of experiments. The findings not only align with existing domain knowledge but also prove invaluable in screening optimal catalysts from various perspectives. Finally, to ensure reliable data for catalyst development, promising methodologies are listed and discussed, including the design and construction of a high-throughput experimental system. This system facilitates the evaluation of catalyst performance under uniform conditions and consistent protocols. In conclusion, this dissertation proposes specialized methodologies and promising directions for developing data-driven models in the screening of heterogeneous thermal catalysts, thus facilitating their rational design. It highlights the importance of data-driven approaches in advancing catalyst development and provides insights into future research directions in this field.

Research on Spatio-Temporal Data Prediction based on Deep Learning

Huijuan Ding 청주대학교 대학원 2024 국내박사

시공간 데이터(spatio-temporal data) 예측은 교통, 기상학 의료 분야에서 중요한 응용 가치를 갖는 시공간 데이터 마이닝 분야의 핵심 연구문제 중 하나이다. 데이터에 적합한 학습 모델을 설계하면, 실제 응용 시나리오에서 모든 종류의 예측 작업을 수행할 수 있으며 다양한 분야에서 시스템 지능을 실현하는 데 도움이 될 수 있다. 데이터 예측에 대한 수요가 계속 증가함에 따라, ‘정확한 시공간 데이터 예측을 어떻게 구현하는가’가 다양한 분야에서 중요한 문제가 되고 있다. 전통적인 예측 방법은 일반적으로 손으로 설계한 특징(hand-designed features)과 모델에 의존하는데, 이는 특징 추출 능력과 모델의 복잡성으로 인해 제한된다. 그러나 딥러닝 기술은 강력한 특징 학습 및 모델 표현 기능을 갖고 있어 시공간 데이터 예측 작업에서 강한 잠재력을 보여주고 있다. 시공간 데이터 예측에 딥러닝이 광범위하게 적용되고 있음에도 불구하고, 기존 연구 방법에는 몇 가지 문제가 남아있다. 예를 들어, 시간적, 공간적 종속성을 모두 고려하면 주기성 및 추세 등 시공간 데이터의 특성이 약화된다. 단일 모델은 다중 뷰 관점에서 시공간 데이터의 복잡성에 적응할 수 없다. 단일 로컬 특징의 추출은 시공간 데이터의 오랜 특징을 포착하지 못하고, 단일 전역 특징의 추출은 시공간 데이터의 세부 특징을 포착하지 못한다. 고정된 그래프 구조는 그래프의 유연성에 영향을 미친다. 본 논문은 시공간 데이터의 주기적 및 추세적 특징 추출, Multiview 학습의 관점에서 본 multi-module hybrid model 구축, MGTC(Multigate time convolution) 메커니즘 구축, MAPGL(Mixed Hop Attention Propagation Graph Learning) 메커니즘 구축 및 시공간 데이터 융합을 포함하는 다양한 시공간 데이터 응용 시나리오에 대한 딥 러닝 기반의 일련의 혁신적인 시공간 데이터 예측 모델을 제안합니다. 논문의 주요 혁신 연구는 다음과 같다. 1. 해석 가능한 신경망 모듈을 구축하여 시간에 따른 특징 추출을 개선했다. 해석 가능한 모듈은 잔차 연결(Residual connection) 링크를 사용하여 해석 가능성이 있는 추세 및 주기적 시계열 특징의 추출을 도입하여 시공간 데이터의 주기적 특징과 추세적 특징의 추출을 향상시킨다. 2. 시공간 의존성 추출을 심층적으로 포착하기 위해 새로운 하이브리드 모델을 제안한다. 다시점 학습 모델(Multi-View Learning Model) 관점에서 서로 다른 모델을 혼합하여 사용함으로써 시공간 데이터 학습에 대한 시야를 높여 단일 뷰를 가진 단일 모델의 한계를 보완한다. 3. 시공간 데이터의 로컬 및 글로벌 특징 캡처를 위한 MGTC 메커니즘을 제안한다. 각 컨볼루션 커널의 초기 계층에 게이팅 메커니즘을 적용하고 나중에 여러 컨볼루션 커널에 게이팅 메커니즘을 다시 적용하여 여러 컨볼루션 커널의 시간적 컨볼루션을 활용한다. 이를 통해 각 컨볼루션 커널은 입력 기능을 선택적으로 적응적이고 동적으로 필터링할 수 있으므로 다른 시간 규모에서 정보의 학습과 활용을 향상시킨다. 다중 게이팅 시간 컨볼루션 메커니즘은 다양한 수준에서 특징 추출을 향상시킨다. 4. 시공간 데이터에서 그래프 데이터의 특징 표현 학습 기능을 향상시키는 MAPGL 메커니즘을 제안한다. 또한, 이 메커니즘은 그래프 내 노드 간 관계를 정확하게 포착하도록 최적화되어 시공간 데이터의 공간 상관 관계를 향상시킨다. 5. 시공간 상관관계를 보다 포괄적으로 포착하기 위해 시간 컨볼루션과 그래프 컨볼루션이 서로 협력하는 시공간 융합에 대한 새로운 접근 방식을 제안한다. Fusion Model 의 이점을 활용하여, 여러 모듈이 융합되어 시공간 데이터의 시공간 종속성을 향상시킨다. 융합된 모듈 사이에 홉 연결과 잔차 연결이 추가되어 모델을 시공간 데이터의 역학에 더 잘 적응시킨다. Spatio-temporal data prediction is one of the core research problems in the field of spatio-temporal data mining, which has an important application value in the fields of transportation, meteorology, and medical treatment. Designing suitable learning models for different types of spatio-temporal data can serve all kinds of prediction tasks in practical application scenarios and assist in realizing the intelligence of systems in various fields. With the growing demand for data prediction, how to realize accurate spatio-temporal data prediction has become an important problem in various fields. Traditional prediction methods usually rely on hand-designed features and models, which are limited by the ability of feature extraction and the complexity of models. Deep learning techniques, on the other hand, have powerful feature learning and model representation capabilities and show great potential in spatio-temporal data prediction tasks. Although deep learning has been widely applied in spatio-temporal data prediction, there are still some problems in the existing research methods, for example, while considering both temporal and spatial dependencies, it weakens the characteristics of spatio-temporal data such as periodicity and trend. A single model cannot adapt to the complexity of spatio-temporal data from a multi-view perspective. The extraction of a single local feature fails to capture the long-time features of spatio- temporal data, and the extraction of a single global feature fails to capture the detailed features of spatio-temporal data. The fixed graph structure affects the flexibility of the graph. Our work proposes a series of innovative spatio-temporal data prediction models based on deep learning for different spatio-temporal data application scenarios, which are used to include the extraction of periodic and trending features of spatio- temporal data, the construction of a multi-model hybrid model from the perspective of multi-view learning, the construction of a multi-gated temporal convolution (MGTC) mechanism, the construction of a mixed-hop attention propagation graph learning (MAPGL) mechanism, and the fusion of spatio-temporal data. The main innovative research of the paper includes: 1. In order to enhance the extraction of time-dependent features, we constructed the interpretable neural network module. The interpretable module employs residual connection linkage to introduce the extraction of trending and periodic time series features with interpretability, which enhances the extraction of periodic and trending features of spatio-temporal data. 2. In order to be able to capture spatio-temporal dependency extraction more deeply, we propose a new hybrid model. It increases the view of spatio-temporal data learning by using a mixture of different models from a multi-view learning model perspective, which makes up for the limitation of a single model with a single view. 3. We propose an MGTC mechanism for local and global feature capture of spatio-temporal data. It utilizes temporal convolution of multiple convolutional kernels by applying a gating mechanism to the initial layer of each convolutional kernel, and later applying the gating mechanism again to multiple convolutional kernels. Through the gating mechanism, each convolutional kernel is able to adaptively and dynamically filter the input features selectively, which enhances the learning and utilization of information at different time scales. The multiple gated temporal convolution mechanism enhances the extraction of features at different levels. 4. We propose a MAPGL mechanism that enhances the capability of feature representation learning of graph data in spatio-temporal data. The graph is also optimized to accurately capture the relationships between nodes in the graph, which enhances the spatial correlation in spatio-temporal data. 5. We propose a new approach to spatio-temporal fusion, where temporal convolution and graph convolution collaborate with each other for a more comprehensive capture of spatio-temporal correlations. Taking advantage of the fusion model, multiple modules are fused to enhance the spatio-temporal dependencies of spatio-temporal data. Hop connections and residual connections are added between the fused modules to better adapt the model to the dynamics of the spatio-temporal data. Key words: spatio-temporal prediction, interpretable neural network, Multi-model hybrid model, Multi-gated time convolution, mixed-hop attention propagation graph learning, spatio-temporal fusion

A new approach to training more interpretable model with additional segmentation

Sunguk Shin 고려대학교 정보보호대학원 2024 국내석사

It is not straightforward to understand how the complicated deep learning models work because they are almost black boxes. To address this problem, various approaches have been developed to provide interpretability and applied in black-box deep learning models. However, the traditional interpretable machine learning only helps us to understand the models which have already been trained. Therefore, if the models are not properly trained, it is obvious that the interpretable machine learning will not work well. We propose a simple but effective method which trains models to improve interpretability for image classification. We also evaluate how well the models focus on appropriate objects, not just relying on classification accuracy. We use Class Activation Mapping (CAM) to train and evaluate the model interpretability. As a result, with VOC PASCAL 2012 datasets, when the ResNet50 model is trained by the proposed approach the 0.5IOU is 29.61%, while the model which is trained only by images and labels is 13.00%. The classification accuracy of the proposed approach is 75.03%, the existing method is 68.38%, and FCN is 60.69%. These evaluations show that the proposed approach is effective. 일반적인 딥러닝 모델은 작동 원리를 이해하기 쉽지 않다. 이 문제를 해결하기 위해 해석가능한 머신러닝 기법이 등장하였으며 모델에 적용할 수 있게 되었다. 그러나 기존 해석가능한 머신러닝은 이미 훈련된 모델을 이해하는데 사용된다. 본 논문은 이미지 분류에 대한 성능을 향상시키기 위해 모델을 학습시킬 때 해석가능한 머신러닝을 활용하는 방법을 제안한다. 우리는 CAM(Class Activation Mapping)을 사용하여 모델 해석 가능성을 학습하고 분류 정확도와 해석성을 평가한다. VOC PASCAL 2012 데이터셋 이미지와 라벨로만 학습한 기존 방법의 경우 분류 정확도 68.38%, 0.5IOU 13.00%인 반면, 제안한 기법을 적용하였을 때 분류 정확도 75.05%, 0.5IOU 29.61%로 모든 성능이 향상되어 제안한 방법이 효과적이라는 것을 보여준다.

Towards interpretable machine learning : A methodology for screening interactions in functional ANOVA model

최용찬 서울대학교 대학원 2023 국내박사

In this thesis, we propose a post-process interpretation method. Recently, machine learning has received great attention due to its remarkable predictive accuracy in various fields. Despite their strong predictive performance, machine learning models have usually lack of interpretability since this improvement in predictive performance has been achieved through increased model complexity. This makes it difficult for people to understand the models. So, We develop a new post-process interpretation method called Meta-ANOVA, which interprets a given predictive model. To interpret the model, we devise a framework for detecting interactions in the model. Moreover, we propose an efficient learning algorithm for the functional ANOVA model when the interactions are given. 본 학위 논문에서는 새로운 post-process interpretation 방법인 Meta-ANOVA를 제안한다. 최근 다양한 분야에서 머신러닝 모형이 주목 할만큼 좋은 예측 성능을 보이고 있다. 그러나 머신러닝 모형의 좋은 예측 성능에도 불구하고 최근에 개발된 머신러닝 모형은 일반적으로 설명력이 부족하다. 그 이유는 좋은 예측 성능을 보이는 모형들은 모형의 복잡도 또한 높기 때문이다. 이러한 복잡도는 사람들이 해당 모형을 이해하기 어렵고 따라서 다양한 분야에서 사용되는 것을 방해한다. 따라서 우리는 복잡한 모형을 해석하기 위해 Meta-ANOVA라는 새로운 post-process 방법론을 제안하였다. 주어진 모형을 이해하고 설명하기 위해 우리는 해당 모형이 가지고 있는 교호작용을 찾는 새로운 알고리즘을 제안하였다. 뿐만 아니라 우리는 모형이 가진 교호작용을 찾은 뒤 이를 이용하여 주어진 모형을 효과적으로 학습하는 새로운 functional ANOVA model의 학습 알고리즘을 제안하였다.

Interpretability-guided enhancement of neural debugging via denoising and behavior correction

Kim, Youngkyoung Sungkyunkwan University 2025 국내박사

버그 리포트는 소프트웨어에서 예상치 못한 동작이 관찰될 때 생성되며, 일반적으로 자연어로 작성되고 로그나 오류 추적 정보가 함께 제공되는 경우가 많다. 이는 문제의 원인을 식별하고 해결하기 위한 참조 자료로 활용된다. 소프트웨어 버그는 사용자에게 심각한 불편을 초래할 수 있으며, 경우에 따라 치명적인 장애로 이어질 수 있어 그 식별과 해결은 개발자에게 매우 중요하면서도 어려운 과제이다. 버그 리포트를 해결하는 과정은 일반적으로 두 가지 주요 단계로 구성된다: 버그 위치추적(Bug Localization)과 프로그램 수정(Program Repair)이다. 버그 위치추정은 보고된 버그의 원인이 되는 특정 소스 코드 파일, 함수 또는 라인을 식별하는 것을 목표로 한다. 결함 있는 코드가 식별되면, 프로그램 수정은 해당 오류를 수정하기 위한 패치를 생성하거나 제안하는 데 초점을 맞춘다. 이 두 단계는 자동 디버깅의 기초를 이루며, 소프트웨어의 신뢰성을 유지하고 수작업 디버깅의 부담을 줄이기 위해 필수적인 과정이다. 대규모 코드 및 버그 데이터를 기반으로 의미 있는 표현을 자동으로 학습할 수 있는 능력 덕분에, 딥러닝 기반 기술은 소프트웨어 공학 분야에서 점차 주목을 받고 있다. 버그 위치추정과 프로그램 수정을 위한 다양한 자동화 기법이 제안되어 왔으나, 딥러닝 기반 접근법은 여전히 다양한 코드베이스와 실제 버그 패턴에 대해 일관되게 일반화하는 데 어려움을 겪고 있다. 이러한 한계에 기여하는 요인 중 하나는 입력 데이터에 존재하는 잡음성 인자(noisy artifacts)로, 이는 모델의 판단을 왜곡하고 예측 성능을 저하시키는 원인이 될 수 있다. 이와 같은 잡음은 코드 포맷의 불일치, 부정확하게 작성된 버그 리포트, 학습 중 발생한 허위 상관관계 등에서 기인할 수 있다. 본 논문은 이러한 문제를 해결하기 위해, 해석 가능성 기법을 활용하여 잡음이 모델의 의사결정에 어떤 방식으로 영향을 미치는지를 체계적으로 분석하고, 버그 위치추정 및 프로그램 수정에서의 신경망 기반 접근법의 효과성을 향상시키는 것을 목표로 한다. 본 논문은 버그 위치 추정과 자동 수정 성능 향상을 위해 두 가지 핵심 관점에서 접근한다: 1) 잡음 입력 토큰, 2) 오류를 유발하는 모델 행위. 먼저, 특정 입력 토큰이 모델 성능에 부정적인 영향을 미치는 양상을 분석하고, 이를 탐지 및 필터링하는 기법을 제안한다. 이처럼 해석 기반 뉴럴 디버깅 모델을 두 축에서 개선함으로써, 실제 환경에서 모델의 정확성과 신뢰성을 높이고자 한다. 실험 결과, 제안하는 해석 기반 개선 기법은 버그 위치 추적 및 패치 생성 성능을 각각 평균 26.5%, 18.6% 향상시키며, 최대 126%, 130.4%의 성능 향상을 달성함으로써 기존 기저 모델 대비 상당한 성능 향상을 입증했다. 또한, 제안한 실패 식별 기법은 65.8%의 조기 중단 성공률과 3.2% 이내의 성능 저하로, 실제 환경에서 모델의 신뢰도를 높일 수 있다. 본 연구의 실험 결과는 모델의 실패 해석을 통한 성능향상의 필요성과 중요성을 보여주며, 향후 오류 유발 메커니즘 분석 및 그에 기반한 대응 방안 설계가 뉴럴 디버깅 성능을 더욱 향상시킬 수 있는 중요한 연구방향임을 제시한다. 주제어: 소프트웨어 엔지니어링 자동화, 버그 추적, 프로그램 자동 수정, 모델 해석, 대규모 언어 모델 A bug report is created when unexpected software behavior is observed and is typically reported in natural language, often with accompanying logs or error traces. It is used as a reference for identifying and resolving the underlying issue. Software bugs can cause major disruptions for users and may lead to critical failures, making their identification and resolution essential but difficult tasks for developers. Steps to solve bug report typically involves two main steps: bug localization and program repair. Bug localization aims to identify the specific source code files, functions, or lines that are responsible for a reported bug. Once the faulty code is located, program repair focuses on generating or suggesting patches to correct the identified errors. Together, these steps form the foundation of automated debugging and are essential for maintaining software reliability and reducing manual debugging effort. Due to their ability to automatically learn meaningful representations from large-scale code and bug data, deep learning-based techniques have gained popularity in software engineering tasks. While various automated techniques for bug localization and program repair have been proposed, many deep learning-based approaches still face challenges in consistently generalizing across diverse codebases and real-world bug patterns. One underexplored factor contributing to this challenge is the presence of noisy artifacts—irrelevant or misleading features in the input data—that can distort model behavior and degrade prediction quality. These artifacts may stem from inconsistent code formatting, poorly written bug reports, or spurious correlations learned during training. To address this issue, this paper leverages interpretability tools to systematically analyze how such noise influences model decisions, with the goal of improving the effectiveness of neural approaches in bug localization and program repair. This study approaches the improvement of bug localization and automated program repair performance from two key perspectives: (1) noisy input tokens and (2) model behaviors that induce errors. First, we analyze how specific input tokens negatively impact model performance and propose a method to detect and filter such tokens. By improving interpretable neural debugging models along these two axes, we aim to enhance the accuracy and reliability of models in real-world debugging scenarios. Experimental results show that our interpretation-driven refinement significantly improves bug localization and patch generation, achieving average gains of 26.5% and 18.6%, respectively, with maximum improvements of up to 126% and 130.4% over the baseline. with maximum gains of up to 126% and 130.4%. In addition, the proposed failure detection method achieves a 65.8% early-stopping success rate with only a 3.2% performance degradation, contributing to enhanced model trustworthiness in practical settings. These findings underscore the necessity and importance of performance improvements through failure interpretation, and point to future research directions in analyzing error-inducing mechanisms and designing corresponding mitigation strategies to further advance neural debugging systems.

Hybrid Algorithmic and Explainable Models Integrating Temporal Features for Multi-horizon Cereal Price Forecasting

Dina Valdez Camille Chazeaud 한동대학교 국제개발협력대학원 2025 국내석사

The global cereal market is influenced by a complex interplay of factors, including economic conditions, climatic changes, and socio-political dynamics. Accurately forecasting cereal prices over multiple horizons requires advanced predictive models capable of capturing these intricate, non-linear relationships. In recent years, Artificial Intelligence (AI), particularly Machine Learning (ML) and Deep Learning (DL), has shown remarkable effectiveness in various domains such as image classification, speech recognition, and time-series prediction. However, despite their high accuracy, these models often lack interpretability, making it challenging for stakeholders to fully understand or trust their predictions. This need for transparency has driven the growth of Explainable Artificial Intelligence (XAI), a field focused on enhancing the interpretability of AI models. While much XAI research has concentrated on image data, there has been limited exploration of its application to time-series data, which is essential for economic and agricultural forecasting. This thesis addresses this gap by employing a model-agnostic technique called the Contrastive Explanation Method (CEM) to interpret predictions of a hybrid deep learning model designed for multi-horizon cereal price forecasting. The proposed hybrid framework combines state-of-the-art models, including TabNet, Neural Oblivious Decision Ensembles (NODE), and the Temporal Fusion Transformer (TFT), to improve both predictive accuracy and interpretability. The key innovation in this research lies in creating a hybrid model that not only forecasts cereal price fluctuations across different time horizons with enhanced precision but also provides stakeholders with interpretable insights through contrastive explanations. By leveraging temporal attention mechanisms and explainability techniques, the model offers transparency, allowing users to understand the key drivers behind its multi-horizon predictions. Integrating temporal, economic, climatic, and socio-political data, the model employs sophisticated data harmonization and preprocessing methods to ensure robustness and reliability across various forecasting periods. This approach empowers stakeholders with actionable insights, supporting informed decision-making at local, national, and international levels. The results demonstrate that the hybrid model significantly outperforms traditional models like XGBoost and NODE with an accuracy of 98.5% while these traditional models lie between 94.07% and 98.4%. Moreover, the application of CEM provides clear, contrastive explanations, ensuring that decision-makers can trust and act upon the insights generated. For instance, in scenarios where the Hybrid model predicted a significant price increase, CEM could pinpoint whether this was due to a sudden change in climatic variables or an abrupt socio-political event. This research contributes to the advancement of both predictive modeling and explainability in AI, offering a comprehensive approach to addressing complex forecasting problems in the global agricultural sector.

Improving Interpretability and Reliability in AI Models

김은지 서울대학교 대학원 2025 국내박사

딥러닝 모델의 복잡성이 증가하면서 인공지능(AI)은 컴퓨터 비전, 자연어 처리와 같은 분야에서 괄목할 만한 성과를 이루었지만, 모델의 해석 가능성 부족은 중요한 응용 분야에서 신뢰성과 책임성 문제를 초래하고 있다. 본 논문은 성능뿐만 아니라 신뢰할 수 있는 AI 시스템 개발의 중요성을 제시하며, 이를 달성하기 위해 두 가지 필수적인 측면인 해석 가능성(interpretability)과 신뢰성(reliability)을 강조한다. 이를 위해 다음 네 가지 핵심 방향을 다룬다: (i) 비전(Vision) 분야에서 해석 가능한 예측 프로세스 구축, (ii) 인간의 직관에 부합하는 설명 개선, (iii) 불확실성 모델링을 통한 설명 신뢰성 확보, (iv) 자연어 처리 분야에 해석 가능성 방법론 확장. 먼저, 본 논문은 흉부 방사선 영상의 진단을 위한 자동화된 해석 가능한 프레임워크인 XProtoNet을 소개한다. XProtoNet은 질병과 관련된 특징이 포함된 영역을 동적으로 예측하며, 지역(Local) 및 전역(Global) 설명을 제공하여 높은 진단 정확도를 유지하면서도 해석 가능성을 대폭 향상시켰다. 이 프레임워크는 기존 진단 모델 대비 최첨단 성능을 달성함과 동시에 사용자 친화적인 설명을 지원한다. 다음으로 local 설명 방법 중 많은 응용 분야에 사용되는 방법론인 클래스 활성화 지도(CAM)를 객체 위치 탐지 관점에서 개선하는 방법을 소개한다. 분류 학습 시 CAM을 통한 객체 위치 예측 실패의 원인을 분석하고, 특징 지도와 클래스별 가중치 간의 방향성을 정렬하는 기법을 통해 객체 위치 탐지의 정확도와 신뢰성을 크게 개선하였다. 또한, 설명의 제공뿐만 아니라 설명의 신뢰성을 보장하는 것이 중요함을 강조하며, 기존 병목 모델의 한계를 해결하기 위한 확률적 개념 병목 모델(ProbCBM)을 제안한다. ProbCBM은 다양한 시각적 문맥에서 발생하는 모호성을 모델링하여, 보다 신뢰할 수 있고 정보 전달력이 높은 설명을 제공한다. 언어 모델링 분야에서는 전통적인 ngram 모델에 대규모 언어 모델(LLM)의 induction head 개념과 fuzzy matching 기법을 통합한 Induction-Gram을 제안한다. 이를 통해 다음 토큰 예측의 정확도를 향상함으로써, 해석 가능한 모델이 블랙박스 언어 모델과 경쟁할 수 있는 가능성을 입증하였다. 본 연구는 성능 저하 없이도 해석 가능한 딥러닝 모델 설계가 가능함을 보여준다. 본 논문에서 제안된 방법들은 AI 모델의 해석 가능성을 높이며, 신뢰성과 투명성을 갖춘 강력한 AI 시스템 개발에 기여하고자 한다. As deep learning models grow increasingly complex, their lack of interpretability poses critical challenges for trust, accountability, and user acceptance across high-stakes applications. This dissertation addresses the urgent need for trustworthy AI systems that are not only high-performing but also understandable and reliable from a human perspective. To achieve this, we emphasize two essential aspects: interpretability, which enables clear, meaningful explanations of a model’s behavior, and reliability, which ensures that these explanations remain credible, coherent, and aligned with user expectations. Grounded in these principles, we focus on four key directions: (i) constructing interpretable prediction mechanisms in vision models, (ii) refining local explanations to better resonate with human judgments and intuitions, (iii) improving explanation reliability through uncertainty modeling, and (iv) extending interpretability methodologies to natural language tasks. First, we introduce XProtoNet, an automated diagnostic framework for chest radiography that combines high diagnostic accuracy with prototype-driven explanations. By grounding its predictions in clinically meaningful concepts, XProtoNet enables both global and local transparency and achieves state-of-the-art performance. Next, to better align local explanations with human perceptions, we develop a method that refines Class Activation Maps (CAM) for weakly supervised object localization. By bridging the gap between classification and localization signals, this approach yields explanations that are more intuitive, trustworthy, and easily comprehensible to human observers. To ensure explanation reliability, we propose Probabilistic Concept Bottleneck Models (ProbCBM), which incorporate uncertainty modeling into concept-based interpretability frameworks. By quantifying and managing uncertainty in concept predictions, ProbCBM safeguards the stability and credibility of explanations, allowing them to remain informative even as data distributions shift. Finally, we extend interpretability principles to language models through Induction-Gram, a dataset-centric approach that integrates induction-head ngram models with neural large language models. This method enhances next-token prediction accuracy while maintaining a transparent decision-making process, bridging the performance gap between interpretable and black-box language models. Our contributions demonstrate that it is possible to design deep learning models that are both high-performing and interpretable. By focusing on model design that narrows the gap between machine representations and human understanding, this thesis advances the development of AI systems that are powerful, transparent, and trustworthy.

Design and Evaluation of User-Centered Explanations for Machine Learning Model Predictions in Healthcare

Barda, Amie Janeth University of Pittsburgh ProQuest Dissertations & 2019 해외박사(DDOD)

소속기관이 구독 중이 아닌 경우 오후 4시부터 익일 오전 9시까지 원문보기가 가능합니다.

Challenges in interpreting some high-performing models present complications in applying machine learning (ML) techniques to healthcare problems. Recently, there has been rapid growth in research on model interpretability; however, approaches to explaining complex ML models are rarely informed by end-user needs and user evaluations of model interpretability are lacking, especially in healthcare. This makes it challenging to determine what explanation approaches might enable providers to understand model predictions in a comprehensible and useful way. Therefore, I aimed to utilize clinician perspectives to inform the design of explanations for ML-based prediction tools and improve the adoption of these systems in practice.In this dissertation, I proposed a new theoretical framework for designing user-centered explanations for ML-based systems. I then utilized the framework to propose explanation designs for predictions from a pediatric in-hospital mortality risk model. I conducted focus groups with healthcare providers to obtain feedback on the proposed designs, which was used to inform the design of a user-centered explanation. The user-centered explanation was evaluated in a laboratory study to assess its effect on healthcare provider perceptions of the model and decision-making processes.The results demonstrated that the user-centered explanation design improved provider perceptions of utilizing the predictive model in practice, but exhibited no significant effect on provider accuracy, confidence, or efficiency in making decisions. Limitations of the evaluation study design, including a small sample size, may have affected the ability to detect an impact on decision-making. Nonetheless, the predictive model with the user-centered explanation was positively received by healthcare providers, and demonstrated a viable approach to explaining ML model predictions in healthcare. Future work is required to address the limitations of this study and further explore the potential benefits of user-centered explanation designs for predictive models in healthcare.This work contributes a new theoretical framework for user-centered explanation design for ML-based systems that is generalizable outside the domain of healthcare. Moreover, the work provides meaningful insights into the role of model interpretability and explanation in healthcare while advancing the discussion on how to effectively communicate ML model information to healthcare providers.

A Generative Model-based Estimation of Option Prices and Greeks, and Forecasting VIX using Interpretable Neural Networks

조소윤 연세대학교 일반대학원 2025 국내박사

The accurate and efficient estimation of option prices and Greeks is crucial for effectively managing and hedging risks in financial derivatives. Traditional approaches often struggle with the analytical and numerical complexities involved, especially in sophisticated option pricing models. For example, pricing exotic options under non-Markovian models may not even be formulated as PDEs, and thus relies on simulation schemes. This dissertation introduces a deep learning-based framework utilizing generative neural networks, specifically conditional normalizing flows, to estimate option prices and Greeks. Using these generative networks, two approaches are proposed: simulation-based and integration-based approaches. These methods are universally applicable across a variety of models-from the simple Black-Scholes model to complicated non-Markovian models with rough volatility- and a wide range of option types$-$including vanilla options, cliquet-style options, and multi-asset options. Experimental results demonstrate that our proposed methods provide more accurate and reliable results compared to a feed-forward neural network method. Furthermore, our approach can compute option prices and Greeks thousands to hundreds of thousands of times faster than traditional Monte-Carlo methods with similar accuracy. This significant acceleration, while maintaining high accuracy, highlights the considerable potential of our methods to enhance both the efficiency and scalability of financial derivatives computation. Next topic presents the use of Kolmogorov-Arnold Networks (KANs) for forecasting the CBOE Volatility Index (VIX). Unlike traditional MLP-based neural networks that are often criticized for their black-box nature, KAN offers an interpretable approach via learnable spline-based activation functions and symbolification. Based on a parsimonious architecture with symbolic functions, KAN expresses a forecast of the VIX as a closed-form in terms of explanatory variables, and provide interpretable insights into key characteristics of the VIX, including mean reversion and the leverage effect. Through in-depth empirical analysis across multiple datasets and periods, we show that KANs achieve competitive forecasting performance while requiring significantly fewer parameters compared to MLP-based neural network models. Our findings demonstrate the capacity and potential of KAN as an interpretable financial time-series forecasting method. Together, these two studies, while addressing distinct financial modeling tasks, contribute to the development of AI-based models in finance. The first study highlights the potential of generative neural networks for the fast and accurate estimation of option prices and Greeks across a variety of model settings. The second study demonstrates the effectiveness of Kolmogorov–Arnold Networks in forecasting volatility with interpretability, revealing structural insights such as mean reversion and the leverage effect. By tackling two challenges in financial modeling—derivatives pricing and volatility forecasting—this dissertation offers a cohesive framework that achieves both practical performance and conceptual clarity.

Reliable and Interpretable Evaluation in Deep Representational Models

김범준 울산과학기술원 Graduate School of Artificial Intelligence 2026 국내박사

Recent advances in deep generative models in computer vision have extended their capabilities from image generation to diverse domains such as video and 3D object generations. What has driven these advancements at their core is the development of evaluation metrics that are reliable and accurate. These metrics assess generative models from a human perceptual perspective, measuring how closely the gen- erated data resembles real-world data and effectively highlighting their differences. This thesis inves- tigates recent advances in evaluation metrics by examining the key contributions of Article 1, Article 2, and Article 3. In addition, it identifies open challenges in evaluation that remain critical for the development of more powerful and reliable deep generative models. Article 1 introduces a novel evaluation metric for image generative models that measures the level of realism along two key aspects: fidelity and diversity. Existing metrics typically estimate the distributions of real and generated data in model embedding spaces that reflect human perception, and compute scores by comparing these distributions. However, generative models that are not properly trained often produce noisy data, and in the presence of such noise, existing metrics are unable to provide reliable and accurate evaluations. To address this issue, this work proposes a robust evaluation approach by estimating statistically and topologically significant supports for both real and generated data. This distribution estimation method is sensitive to subtle variations in the data distribution and provides more accurate and reliable evaluation results, even in the presence of noise. Article 2 introduces a novel evaluation metric for video generative models that measures realism along three aspects: fidelity, diversity, and temporal naturalness. Existing video metrics have largely relied on techniques developed for image generation models, which often fail to capture the temporal characteristics inherent in video data, resulting in incomplete or unreliable evaluations. To address this limitation, this work leverages the observation that frame-wise changes in typical videos exhibit amplitude distributions following a power law in the Fourier domain. By estimating this power law distribution, the proposed metric quantitatively measures the deviation of generated videos from the natural distribution, providing the first principled evaluation of temporal consistency in video generation. Article 3 proposes a benchmark that enables comparison between object recognition models and humans, and allows model analysis from a human visual perspective. The existing benchmark, using stylized images that blend shape and texture within a single image, suggests that humans primarily rely on shape, whereas models focus on texture. However, this prior work suffers from several limitations: (1) it does not utilize data representing pure shape and pure texture, (2) it does not consider images in which shape and texture are present in equal proportion (50:50), and (3) it employs evaluation measures that are not well-suited for model analysis and comparison. To address these limitations, Article 3 generates disentangled datasets that contain pure shape and texture cues and proposes a new metric that enables reliable and precise evaluation of models. This benchmark provides a clear and unbiased assessment of current object recognition models, enabling accurate measurement of how closely their reliance on shape and texture aligns with human perception.