Improving the generalization accuracy of ANN modeling using factor analysis and cluster analysis : its application to streamflow and water quality predictions

김성은 서울대학교 대학원 2014 국내박사

Recently interest in water resources management has been increasing substantially, due to the increased environmental concerns and the availability of innovative computational intelligence approaches. Artificial Neural Networks (ANNs) have become a fairly new tool as the efficient model for prediction and forecasting in a number of areas. Since the 1990s, ANNs have been used increasingly for prediction and forecasting in water resources and environmental engineering. Over the last 20 years or so, despite a significant amount of research activities on the application of ANNs to prediction and forecasting of water resources variables in river systems, little of these are focused on the methodological issues. In many applications, the model building process is described poorly, making it difficult to assess the optimality of the results obtained. Consequently, it becomes necessary to shift the focus of ANNs research from the application of ANNs to various water resources case studies to the methodological issues of ANNs. The issues that have been assessed traditionally are the proper selection and preprocessing of the inputs and outputs, and the choice of the architecture of the neural networks. All these issues are parts of the difficult-to-resolve problems of generalization. In this study, the primary focus is on improving to ANNs modeling performance through the generalization approaches for reducing bias and variance errors so as to promote them for applications of ANNs to hydrology and water resources. To achieve this, some generalization approaches were explored in ANNs development process as follows: (1) determining input variables through exploratory factor analysis (EFA); (2) dividing available data set into balanced training, validation and test data set through several clustering methods; (3) aggregation (ensemble) of the ANN models for estimating the generalized performance of ANN models. To estimate the performance of ANN models with the proposed generalization approaches, ANN models for predicting the streamflow and water quality in Nakdong River were developed and compared with the several models with or without the proposed generalization approaches. The applications of the ANN models with the generalization approaches proposed in this study have shown that the ANN models with input variable selection by EFA and data division by clustering method give more accurate prediction of the streamflow and water quality. Consequently the generalization accuracy of ANNs modeling was improved. It is expected to serve as valuable methods for the development of ANN models in hydrology and water resources. However, the data division by clustering has its limitation of application in the high-dimensional data set. Future applications of the proposed ANN ensemble model will include the data preprocessing methods which are more interpretable and powerful to high-dimensional data, in order to construct the balanced training data set. 최근 환경에 대한 관심으로 수자원 관리에 대한 관심의 증가와 함께, 인공지능 등 기계학습 분야의 혁신적인 발전으로 인공신경망 (Artificial Neural Networks) 모델은 수자원 및 환경 분야뿐만 아니라, 다양한 분야에서 주목을 받는 새로운 모델이 되었다. 최근 15년 동안 혹은 그 이상, 인공신경망 모델은 다양한 분야에서 비선형적 관계의 데이터 해석에 매우 좋은 결과를 보였으며, 수자원 및 환경분야에서도 인공신경망 모델을 이용하여 유량 및 수질을 예측하고 평가하는 많은 연구들이 이루어져 왔다. 하지만, 기존의 수자원 분야에서 개발 및 적용된 많은 인공신경망 모델들은 모델 구성과정과 결과에 대한 설명이 불확실하였고, 결과적으로 인공신경망 모델은 수자원 및 환경 분야에서 널리 사용되어지고 있는 다른 모델들과 같이 보편적인 모델로써 평가 받지 못하게 되었다. 이는 인공신경망 모델링의 방법론적인 측면에 대한 연구가 거의 이루어지지 않았기 때문이며, 현재도 그러한 실정이다. 그러므로, 인공신경망 모델을 통한 분석에서 방법론적인 측면의 연구가 매우 중요하게 떠오르고 있다. 일반적으로 고려되어지는 인공신경망 모델링의 방법론적인 측면은 입력과 목표인자의 선정, 데이터의 선처리, 인공신경망의 최적 구조 선정 등이 있으며, 이들은 모두 해결하기 힘든 모델링의 일반화 (generalization)에 대한 문제에 속한다. 본 연구의 주목적은 수자원 및 환경분야에서 인공신경망 모델의 적용에 있어서, 방법론적인 측면에서 모델링 에러를 줄일 수 있는 방안을 제시하여 인공신경망 모델링의 일반화를 향상시키는데 있다. 이를 위하여 본 연구에서는 인공신경망 모델링 구성과정 에서 모델링의 일반화를 향상 시킬 수 있는 세가지 방안을 제시하였다. 첫 번째 방안으로는 탐색적 요인분석 (EFA)을 통한 적절한 입력인자의 선정방안이며, 두번째 방안으로는 다양한 클러스터링 방법을 사용하여 선택된 입력인자의 데이터들에 내재된 모든 종류의 패턴이 반영될 수 있도록 균형된 학습자료와 검사자료를 구성하는 방안이다. 세 번째는 인공신경망 모델의 학습과정에서 앙상블 (ensemble) 모델링의 적용을 통해 모델의 일반화를 향상시키는 방안이다. 제시된 방안의 적용결과를 평가하기 위하여 낙동강 본류 중류 지점에 대하여 유량 및 수질 예측 인공신경망 모델을 구성하고 일반화 향상 방안을 적용한 모델과 적용하지 않은 모델을 각각 비교하였다. 본 연구에서 제시한 일반화 향상 방안을 적용한 인공신경망 모델 결과가 기존의 방식에 의한 인공신경망 모델 결과에 비해 더욱 정확하게 예측하는 것으로 나타났으며, 전반적인 모델링 에러도 감소하는 것으로 나타났다. 본 연구에서 제시한 일반화 방안이 수문학 및 수자원 분야에서의 인공신경망 모델 개발에 유용한 방법으로 적용되어질 수 있을 것으로 기대된다. 하지만, 클러스터링을 통해 학습자료를 구성하는데 있어서, 본 연구에서 적용한 클러스터링 방법은 변수가 많은 자료의 경우에 그 적용성의 한계를 가지고 있다. 향후, 인공신경망 모델의 적용에서는 변수가 많은 자료에 대해서도 클러스터링 방법을 통한 균형된 학습자료를 구성할 수 있도록, 다변량 자료에 효과적인 클러스터링의 적용을 포함하도록 하겠다.

One-step generalization ratio guided optimization for domain generalization

Cho, Sumin Sungkyunkwan University 2026 국내석사

Domain Generalization (DG) aims to train models that generalize to unseen target domains but often overfit to domain-specific features, known as undesired correlations. Gradient-based DG methods typically guide gradients in a dominant direction but often inadvertently reinforce spurious correlations. Recent work has employed dropout to regularize overconfident parameters but has not explicitly adjusted gradient alignment or ensured balanced parameter updates. We propose GENIE (Generalization-ENhancing Iterative Equalizer), a novel optimizer that leverages the One-Step Generalization Ratio (OSGR) to quantify each parameter’s contribution to loss reduction and assess gradient alignment. By dynamically equalizing OSGR via a preconditioning factor, GENIE prevents a small subset of parameters from dominating optimization, thereby promoting domain-invariant feature learning. 도메인 일반화(DG)는 학습 시 보지 못한 새로운 타겟 도메인에서도 우수한 성능을 보이는 모델을 훈련하는 것을 목표로 한다. 그러나 모델은 흔히 도메인 특유의 특징에 과적합되는 문제가 발생한다. 기존 DG 기법들은 Gradient를 특정 지배적인 방향으로 유도함으로써 이 문제를 해결하려 했지만, 오히려 원치 않는 상관관계를 강화하는 부작용을 낳기도 하였다. 최근에는 Dropout 기법을 통해 지나치게 활성화된 파라미터를 억제하여 일부 파라미터의 과도한 영향력을 감소시키고자 했으나, 여전히 파라미터 간 균형 있는 업데이트를 보장하는 데는 한계가 존재했다. 따라서 본 연구에선 새로운 최적화기인 GENIE(Generalization-ENhancing Iterative Equalizer)를 제안한다. GENIE는 각 파라미터의 손실 감소 기여도와 일반화 성능을 측정하는 One-Step Generalization Ratio(OSGR)을 Preconditioning으로 활용하여 모든 파라미터의 OSGR을 동적으로 균등화 한다. 이를 통해 소수의 파라미터가 전체 최적화 과정을 지배하는 현상을 방지하고, 도메인 불변의 일반화 가능한 특징을 학습하도록 유도한다. 이론적 분석에서 GENIE는 일반화 성능과 수렴 속도 측면에서 기존 최적화 기법들보다 경쟁력 있는 성과를 보였으며, 다양한 실험에서도 기존 최적화기를 뛰어넘는 성능을 달성하였다. 추가적으로, GENIE는 여러 DG 방법론 뿐만 아니라 단일 도메인 일반화(Single-DG) 기법과 결합하였을 때에도 일관된 성능 향상을 보여, 그 유연성과 확장성을 입증하였다.

Domain Generalization for Bearing Fault Diagnosis via Fault Frequency-Informed Multi-View Spectrograms under Unseen Operating Conditions

Wang, Jujin 연세대학교 일반대학원 2026 국내석사

For reliable operation of rotating machinery, maintaining consistent bearing fault diagnosis performance is essential. However, in practical industrial environments, variations in operating conditions lead to changes in data characteristics, which significantly deteriorate the generalization capability of deep learning-based diagnostic models. To address this issue, domain generalization–based fault diagnosis approaches have been actively studied to achieve robust performance under unseen conditions. Nevertheless, most existing methods rely solely on data-driven representation learning and fail to account for the physical discrepancies between domains, resulting in degraded diagnostic accuracy when domain shifts are large. To overcome this limitation, this study proposes a fault frequency-informed multi-view generalization network (FIM-GN) that integrates physics-informed preprocessing with multi-view representation learning. The proposed approach utilizes rotational speed and bearing geometric parameters to generate multi-view spectrograms embedding fault frequency information. In addition, a mixed-view domain generation strategy combines views from different domains into a unified input, effectively suppressing domain-specific patterns while enhancing fault-discriminative features. Based on these inputs, contrastive and adversarial learning are jointly employed to extract domain-invariant representations. The effectiveness of the proposed method was verified using four public bearing datasets under cross-working condition, cross-bearing, and cross-machine scenarios, achieving average accuracies of 85.65%, 87.01%, and 93.26%, respectively. These results demonstrate that the proposed framework consistently outperforms existing domain generalization methods. 회전기계 시스템의 안정적 운용을 위해서는 핵심 부품인 베어링에 대해 일관된 결함 진단 성능을 확보하는 것이 중요하다. 그러나 실제 산업 현장에서는 운전 조건 변화로 데이터 분포가 달라지면서, 딥러닝 기반 진단 모델의 일반화 성능이 저하될 수 있다. 이를 보완하기 위해 미관측 운전 조건에서도 성능을 유지하는 도메인 일반화 기반 진단이 주목받고 있다. 하지만 기존 방법들은 도메인 간 물리적 차이를 충분히 반영하지 못해 도메인 불일치가 큰 경우 성능이 쉽게 감소하는 한계가 있다. 본 연구에서는 이러한 문제를 해결하기 위해 물리 정보 기반 전처리와 다중 관점 표현 학습을 결합한 새로운 진단 프레임워크를 제안한다. 제안된 방법은 각 도메인의 회전 속도와 베어링 형상 파라미터를 활용하여 결함 주파수 정보를 반영한 다중 관점 스펙트로그램을 생성함으로써, 도메인 차이가 존재하더라도 결함 성분이 일관된 형태로 표현되도록 유도한다. 또한 다중 관점 혼합 생성 전략을 통해 서로 다른 도메인의 관점 정보를 하나의 입력으로 결합하여, 도메인 고유 패턴의 영향은 줄이고 결함 고유 표현을 강화한다. 마지막으로 이러한 입력을 기반으로 대조 학습과 적대적 학습을 결합한 학습 구조를 구성하여, 도메인 불변 특징을 효과적으로 학습하도록 한다. 제안된 방법은 네 개의 공개 베어링 데이터셋을 활용하여 운전 조건 변화, 베어링 형상 변화, 기계 시스템 변화 시나리오에서 검증되었다. 그 결과 평균 정확도는 각각 85.65%, 87.01%, 93.26%로 나타났으며, 이를 통해 기존 도메인 일반화 기법 대비 안정적이고 우수한 진단 성능을 확인하였다.

Developing and Testing a Neural Model of Conditioned Fear Generalization

Webler, Ryan David University of Minnesota ProQuest Dissertations & T 2024 해외박사(DDOD)

Fear overgeneralization is a promising pathogenic mechanism of anxiety-related disorders. Despite the ubiquity of fear generalization in human experience and its potential pathogenic contribution to clinical anxiety, neural investigations of human generalization have only recently begun. The present work provides the first meta-analysis of this growing literature to delineate brain substrates of conditioned fear-generalization and formulate a working neural model. Included studies (K = 6, N = 176) reported whole-brain fMRI results and applied generalization-gradient methodology to identify brain activations that gradually strengthen (positive generalization) or weaken (negative generalization) as presented stimuli increase in CS+ resemblance. Positive generalization was instantiated in cingulo-opercular, frontoparietal, striatal-thalamic, and midbrain regions (locus coeruleus, periaqueductal grey, ventral tegmental area), while negative generalization was implemented in default-mode network nodes (ventromedial prefrontal cortex, hippocampus, middle temporal gyrus, angular gyrus) and amygdala. Findings are integrated within an updated neural account of generalization centering on the hippocampus. This model posits that the hippocampus matches presented cues against the stored representation of the CS+. Cues with sufficient CS+ overlap trigger pattern completion and activation of positive generalization/fear excitatory circuits; cues with insufficient CS+ overlap trigger pattern separation and activation of negative generalization/fear inhibitory circuits. According to this model, overgeneralization occurs when the hippocampus fails to distinctly encode benign stimuli with low similarity to previously encountered threat cues, triggering excessive retrieval of stored threat representations. To causally test this model, we applied hippocampal network targeted transcranial magnetic stimulation (HNT-TMS), a protocol that has been shown to modulate hippocampal activation, connectivity, and hippocampal-dependent neutral memory encoding. Consistent with our neural model and previous HNT-TMS studies, we hypothesized that HNT-TMS would strengthen encoding of perceptually similar stimuli and thereby reduce retrieval errors (i.e., sharpen discrimination) in participants with post-traumatic stress symptoms (PTSS). We predicted that this effect would emerge for fear/fear-like stimuli as measured by the Farmer Task and neutral stimuli as measured by the Mnemonic Similarity Task. Continuous theta-burst stimulation (cTBS) was delivered to individualized left posterior-parietal targets derived via precision functional mapping, seed-based connectivity, and electric-field modeling methods. A vertex control target was also stimulated in a within-subject design (final N = 25). Multilevel models did not reveal significant effects of HNT-TMS on fear or neutral stimulus discrimination. However, HNT-TMS strengthened fear discrimination in participants with lower fear sensitization, indexed by responsivity to a control stimulus perceptually unrelated to the CS+. Sensitization reflects indiscriminate fear responding unrelated to CS+ similarity and is not expected to engage the hippocampal CS+ matching function. Our findings indicate that HNT-TMS may selectively sharpen fear discrimination when the hippocampal CS+ matching function is strongly engaged. These findings provide early causal support for our hippocampal centered model of fear generalization and motivate additional investigation in future studies that examine the capacity of HNT stimulation to produce stronger effects in samples stratified prior to stimulation by putative schematic matching engagement.

기계학습을 활용한 지도 일반화 개선 방안 연구 : 건물과 도로객체의 선택적 삭제를 중심으로

이재은 서울대학교 대학원 2020 국내박사

Currently, 1:25,000 digital maps in Korea are created by editing 1:5,000 digital maps. This editing is a process of making a small-scale map from a large-scale map, and in this process, a map generalization technique is inevitably applied. In the past, the generalization of maps has been mainly based on a geometric generalization method, which is generalized using geometric features of objects, or a rule-based method. Currently, the process of reducing editing in Korea is performed through a kind of rule-based method in accordance with the regulations related to editing. However, there are many areas where the contents of the regulation book are not specific, so there is much room for the editor's subjective intervention. As the subjectivity of the editor is involved in the editing process, the consistency of the quality of the small scale map cannot be guaranteed, and the quality of generalization depends on the individual competency of the editor. In recent studies of map generalization, there have been steadily raised problems that such human intervention make the results of the generalization of maps inconsistent. Accordingly, the research flow of map generalization has been progressed toward minimizing human intervention and automating data acquisition and data editing processes to ensure consistency of map generalization quality. However, few studies have been conducted on  quantitatively revealed research cases and demonstration cases of how human intervention affects the quality of map generalization. Attempts to suggest ways to utilize are also insufficient. There are also insufficient attempts to suggest ways to supplement existing regulations through analysis of the generalized results of maps. In this study, the difference in the quality of generalization caused by human intervention is quantified by applying the machine learning method, and furthermore, it is intended to suggest a method for improving the quality of the generalized map by utilizing it. For this, a machine learning model that predicts whether buildings and roads can be selected/deleted when scaled-down from 1:5,000 digital maps to 1:25,000 digital maps is created. Then the predicted rate of predicting whether to select buildings and road objects for each six different map makers were measured. By analyzing the difference between the measured prediction rate and its pattern, it is revealed that there is a significant difference in the editing method between map makers. Another experiment proposes a method for creating a machine learning model for urban centers and non-urban areas, and setting the appropriate machine learning algorithm settings according to each region's characteristics. In order to evaluate the performance of the learning model, the prediction rate was measured for buildings and roads for each of the four algorithms, DT, k-NN, SVM, and ANN, used in the learning model. In addition, the predicted rate was measured by applying the generated models to six experimental areas, and the difference between the predicted rates was statistically significant through the Kruskal Wallis test. In this process, since the difference in accuracy may occur depending on the characteristics of the target region, the accuracy of different regions edited by the same producer was measured and the statistical characteristics were analyzed to determine how much the regional characteristics influenced the differences between producers. As a result, in the case of buildings, the difference in accuracy by region was not statistically significant, but in the case of roads, there was a significant difference in some regions. However, the difference by each producer was greater than the difference by region, and this can be interpreted that the difference by producer was also dominant for road objects. As a result of qualitative (visual) analysis, it was found that the differences were revealed for each producer in the selection and deletion of lane objects, such as roads, in small buildings in urban areas in buildings. In addition, in order to find a way to utilize the machine learning technique in the generalization of maps, a machine learning model was generated for urban and non-urban areas respectively, and the prediction rate was measured. As a result through the machine learning technique, it was possible to check the properties that have a major influence in the selection and deletion of objects and the settings required for the object selection, and through this, the machine learning algorithm complements the reduced editing rules in the generalization of the map. And it has been shown that it is possible to make basic use of object selection and deletion through machine learning techniques for each feature. Machine learning techniques can be applied not only to quantify deviations between map makers, but also to automate the generalization of maps. The method proposed in this study also suggests the possibility of automating selection and deletion in the generalization of maps without human intervention through a learning model that has learned from existing map data. 현재 우리나라의 1:25,000 수치지형도는 1:5,000 수치지형도를 축소 편집하여 생성하고 있다. 축소 편집은 대축척 지도로부터 소축척 지도를 만드는 과정이며, 이 과정에서 필연적으로 지도 일반화(map generalization) 기법을 적용하게 된다. 그동안의 지도 일반화는 객체의 기하학적 특징들을 활용하여 일반화하는 기하학적 일반화 방법, 혹은 규칙기반(rule-based) 방법이 주류를 이루어 왔다. 현재 우리나라의 축소 편집 과정은 축소 편집 관련 규정에 따르는 일종의 규칙기반 방법을 통해 수행되고 있다고 볼 수 있다. 하지만, 규정집의 내용이 구체적이지 않은 부분들이 다수 존재하여 편집자의 주관이 개입될 여지가 많다. 축소 편집 시에 제작자의 주관이 개입될수록 소축척 지도 품질의 일관성을 담보해 주지 못하며, 편집자 개인의 역량에 따라 일반화의 품질이 좌우된다는 단점이 있다. 지도 일반화에 관한 연구에서도 사람의 개입이 지도 일반화의 결과물을 일관적이지 못하게 한다는 문제가 꾸준히 제기되고 있다. 이에 따라 지도 일반화의 연구 흐름은 자연스럽게 사람의 개입을 최소화하고 자료 취득 및 처리 공정을 자동화함으로써 지도 일반화 품질의 일관성을 담보할 수 있는 방향으로 진행되어왔다. 그러나 이에 앞서 사람의 개입이 지도 일반화 품질에 어떠한 영향을 얼마나 주고 있는지에 대해 정량적으로 밝혀진 연구사례나 실증사례는 매우 부족한 현실이며, 구축된 지도 일반화 결과물의 분석을 통해 기존의 규정을 보완하는 등의 활용 방안을 제시하려는 시도 또한 미흡한 편이다. 본 연구에서는 사람의 개입으로 인해 발생하는 일반화 품질의 차이를 기계학습 방법을 적용하여 정량화하고, 나아가 이를 활용하여 일반화된 지도의 품질 향상 방안을 제시하고자 한다. 이를 위해 1:5,000 수치지형도에서 1:25,000 수치지형도로의 축소 편집 시 건물과 도로의 선택적 삭제 여부를 예측할 수 있는 기계학습 모델을 생성하고 학습된 모델을 서로 다른 여섯 명의 지도 제작자가 제작한 지역에 적용하여 건물과 도로객체의 선택적 삭제 여부에 대한 예측률을 측정하였다. 측정된 예측률 간의 차이와 그 양상을 분석함으로써 지도 제작자 간의 편집 방법에 있어서 유의미한 차이가 있음을 밝히고자 하였다. 이를 위해 학습 모델의 성능평가를 위해 학습 모델에 사용된 네 개의 알고리듬 – 의사결정 나무(decision tree), k 최근접 이웃(k-nearest neighbor), SVM(Support Vector Machine), 인공신경망(Artificial Neural Network, ANN) - 별로 건물과 도로에 대해 각각 예측률을 측정하였다. 또한, 각각 생성된 모델을 6개 실험지역에 적용하여 예측률을 측정하였고 크루스칼 왈리스 검정을 통해 예측률 간의 차이가 통계적으로 유의미한 수준임을 볼 수 있었다. 이 과정에서 대상 지역의 특징에 따라 정확도의 차이가 발생할 수 있으므로 같은 제작자가 편집한 서로 다른 지역에 대한 정확도를 측정하고 통계 검증을 통해 지역의 특징이 제작자 간 차이에 얼마나 영향을 미치는지에 대하여 분석하였다. 그 결과 건물의 경우 지역별로 드러난 정확도의 차이가 통계적으로는 유의미한 수준이 아니었으나, 도로의 경우 일부 지역에서 유의미한 차이가 나타났다. 그러나 지역별로 드러난 차이보다 제작자별로 나타난 차이가 더 크게 나타났으며, 이는 도로객체에 대해서도 제작자별 차이가 발생할 수 있다고 해석할 수 있다. 정성적(시각적) 분석 결과, 건물의 경우 도심지역의 소건물들에서, 도로의 경우 진입로 등의 소로에서 객체의 선택적 삭제에 제작자별 차이가 드러나는 것을 발견할 수 있었다. 또한, 기계학습 기법의 지도 일반화 분야에서의 활용 방안 모색을 위해 도심과 비도심 지역에 대해 각각 기계학습 모델을 생성하고 예측률을 측정하였다. 그 결과 기계학습 기법을 통해 객체의 선택적 삭제 과정에서 주된 영향을 주는 속성들과 객체 선택에 필요한 설정값들을 확인할 수 있었다. 이를 통해 기계학습 알고리듬이 지도 일반화 과정에서 축소 편집 규정을 보완할 수 있으며, 특징별로 기계학습 기법을 통해 객체의 선택적 삭제에 기초적 활용이 가능함을 보였다. 기계학습 기법의 적용을 통해 지도 제작자 간의 편차를 정량화하는 것에서 나아가 지도 제작 또는 지도 일반화 과정에 대한 검수 프로그램으로써 활용도 기대할 수 있다. 또한, 대상 객체를 확대하고 알고리듬의 예측률을 상승시키면 현재의 지도 축소 편집 과정을 제작자의 개입 없이 자동화가 가능할 것으로 기대된다.

Modality Matters: Generalization in Second Language Learning after Production versus Comprehension Practice

Hopman, Elisabeth Wilhelmina Maria ProQuest Dissertations & Theses The University of 2022 해외박사(DDOD)

Generalization is the ability to apply regularities to novel instances, for example, correctly guessing that the plural for the novel English word ‘wug’ should be ‘wugs’. Early language learners make overgeneralization errors like ‘mouses’, applying regularities beyond their attested uses. Theories concerned with the question of how learners learn to correctly generalize regularities, without overgeneralizing, have recently been criticized for being insufficiently mechanistic. Rule learning and statistical learning theories typically do not take into account whether that generalization is happening during production (e.g. coming up with the plural for ‘wug’), or comprehension (e.g. judging whether ‘wugs’ or ‘wugga’ sounds better as a plural for ‘wug’). However, my own prior research showed that training modality affects regularity learning, with production training leading to a more accurate ability to apply regularities to learned words. Thus, modality may provide a potential path to making theories more specific and mechanistic.In this thesis, I first reviewed relevant literature on generalization through a task modality lens. There is very little literature directly contrasting, in a balanced manner, the effects of production versus comprehension training on learning and generalization. However, generalization studies have used both production and comprehension testing to assess generalization performance. Drawing on these results, I identified several different patterns of generalization results by testing modality. I concluded that, if there are any modality differences, production training should lead to better generalization, and production tests should be more likely to elicit overgeneralization errors. I then designed and conducted an artificial language learning experiment that contrasts production versus comprehension training modality between different groups of participants, and uses both comprehension and production testing to assess learning and (over)generalization. People learning the artificial language with production training were better at generalizing and made fewer overgeneralization errors than people learning the artificial language with comprehension training. Surprisingly, comprehension-trained people did do better than production-trained people on vocabulary learning. Finally, people made overgeneralization errors in both comprehension and production tests. I discussed consequences for existing theories as well as practical applications of my findings for second language learners.

Analyzing Loss Landscape of Deep Learning Models for Better Robustness and Generalization

Hoki Kim 서울대학교 대학원 2023 국내박사

딥러닝은 다양한 분야에서 뛰어난 성능향상을 보이며, 음성 인식, 자율주행 및 의료 산업 등 많은 분야에 활용되고 있다. 딥러닝 모델은 수많은 가중치를 기반으로, 주어진 학습 데이터에 대한 손실함수를 줄이도록 학습된다. 그러나, 최근 학습 데이터에 대한 맹목적인 손실함수의 최소화는 크게 두 가지의 논의점이 있음이 밝혀졌다. 첫 번째 논의점은 딥러닝 모델의 강건성이다. 강건성이란 딥러닝 모델의 적대적 공격에 대한 방어 능력을 말한다. 적대적 공격은 학습된 딥러닝 모델의 가중치와 기 울기 정보 등을 활용하여 비정상적인 데이터를 만들어내는 방법으로, 딥러닝 모델의 성능을 현저하게 저하시킨다. 현재까지 밝혀진 바로는 아주 작은 크기의 섭동도 비정상 데이터를 생성하기에 충분하여, 사람에게는 정상 데이터로 인식되나 딥러닝 모델은 치 명적으로 오작동하는 적대적 예제를 쉽게 만들 수 있다. 따라서 딥러닝 모델의 안전한 상용화를 위해 강건성은 필수적으로 연구되어야 할 요소이다. 두 번째 논의점은 딥러닝 모델의 일반화이다. 일반화란 딥러닝 모델의 학습 데이터 에 대한 성능과 평가 데이터에 대한 성능의 차이를 의미한다. 차이가 작을수록 일반화 성능이 높으며, 이는 곧 딥러닝 모델의 높은 상용화 가능성을 내포한다. 그러나 학습 데이터에 대한 손실함수만을 줄이는 학습 방법은 학습 데이터에 대한 과적합 현상을 불러오며, 이는 곧 평가 데이터에 대한 성능 감소로 이어짐이 여러 선행 연구에 의해 밝혀진 바 있다. 딥러닝 모델의 성능 향상은 학습 데이터가 아닌 평가 데이터에 대해 판단되므로, 일반화 성능의 달성은 모든 딥러닝 모델의 궁극적인 목표라고 할 수 있다. 본 연구에서는 손실함수평면의 탐색을 통해 두 논의점에 대한 분석과 각 논의점에 대응하는 지표를 향상시킬 수 있는 학습 방법을 제안한다. 우선, 강건성의 이해와 향상 을 위해 입력값에 대한 손실함수를 분석한다. 적대적 공격은 입력값에 대해 손실함수를 최대화하는 섭동을 생성하므로, 비정상적인 섭동이 더해진 입력값에 대해서 손실함수 를 최소화할 수 있는 방어 방법에 대해 연구한다. 그 시작으로, 적대적 방어 기법의 하나인 단일 단계 적대적 학습에서 손실함수평면이 쉽게 뒤틀릴 수 있음을 밝혀낸다. 제안된 연구에서 뒤틀린 손실함수평면이 모델의 강건성을 심각하게 손상할 수 있음을 보이고, 이를 기반으로 매끄러운 손실함수를 갖는 것의 중요성을 증명한다. 손실함수 평면의 특성을 기반으로 다양한 영역에서의 적대적 공격과 방어 기법에 대한 분석과 성능 향상을 연구한다. 첫 번째로, 구조나 가중치가 상이한 모델에서 적대적 예제를 생 성하여 대상 모델로 공격하는 전이 공격의 세기가 손실함수평면과 깊이 관련이 있음을 증명한다. 이를 기반으로 강력한 적대적 소리 예제를 생성하고, 딥러닝 모델의 신뢰할 수 있는 강건성 수준을 제안한다. 이어 적대적 학습의 특징과 학습된 모델의 손실함수평 면을 탐색한다. 입력값에 대한 손실함수평면을 부드럽게 만들기 위하여, 적대적 학습에 중앙점을 고려한 손실함수를 도입하여 모델의 강건성을 높인다. 다음으로, 일반화의 이해와 향상을 위해 가중치에 대한 손실함수를 분석한다. 최근 일련의 연구에서는 딥러닝 모델의 일반화 성능은 손실함수평면의 평평함과 긴밀하게 연결되어 있음이 증명된 바 있다. 이를 기반으로 제안된 첨예 기반 학습은 첨예한 최적점 을 기피하고 평평한 최적점을 찾음으로써 높은 일반화 성능을 달성한다. 본 연구에서는 첨예 기반 학습 방법의 손실함수평면에 대한 분석을 진행한다. 우선 첨예 기반 학습이 손실함수평면에 안장점이 존재할 경우 수렴이 불안정함을 밝힌다. 불안정한 수렴 때 문에 최적점이 아닌 안장점에 갇히는 경우가 발생하며, 이는 첨예 기반 학습의 성능을 저해함을 보인다. 불안정한 수렴을 개선하고 더 높은 일반화 성능을 달성하기 위해, 가중치 공간에서의 섭동을 구하는 단계에서 도출되는 모든 중앙점의 기울기 정보를 활용하는 방법을 제안한다. 본 연구는 손실함수평면에 대한 탐색과 고찰을 바탕으로 강건성과 일반화에 대한 더 깊은 이해를 제시하고, 이를 통해서 각 지표의 향상을 위한 새로운 적대적 공격 방법, 적대적 방어 방법, 첨예 기반 학습 방법을 제안하였다. 연구 결과는 향후 딥러닝 모델의 실현을 위한 추후 연구에 확장성 있는 모델이며, 강건성과 일반화에 있어 손실함수평 면에 대한 심도 있는 분석이 선행되어야 한다는 함의점을 제공한다. Recent advances in deep learning have demonstrated significant performance improvements in various domains, such as computer vision and speech recognition, yielding numerous industrial applications. Compared to other machine learning models, deep learning models have a large number of parameters and this brings near zero training loss that was previously considered impossible. To train these overparameterized models, we generally minimize the loss on training data, which we call empirical risk minimization (ERM). However, recent studies have demonstrated that these deep learning models trained by ERM may suffer from two major problems: adversarial vulnerability and poor generalization. Adversarial vulnerability is an intriguing property of deep learning models that makes them susceptible to adversarial attacks that create malicious examples with slight modifications (Szegedy et al., 2013; Goodfellow et al., 2014). Prior studies have also confirmed that there exist the potential risks of deep learning models in real-world applications (Papernot et al., 2017; Kurakin et al., 2016). Adversarial attacks entail severe hazards in real-world applications, e.g., causing autonomous vehicle accidents by manipulating decision-making or extracting private information by circumventing voice authorization. Thus, to prevent these malicious cases arisen from the existence of adversarial attacks, many researchers proposed various methods to enhance the robustness of deep learning models against adversarial attacks. Poor generalization, another issue with current deep learning models, is a large discrepancy between training accuracy and test accuracy. In other words, existing methods can successfully minimize loss on train datasets, but this does not guarantee high performance on test datasets (Ishida et al., 2020; Foret et al., 2020). To achieve an ideal performance over various domains, improving the generalization of neural networks has been a core challenge in deep learning. In this dissertation, focusing on the fact that both robustness and generalization are heavily related to the loss landscape, we aim to gain a deeper understanding of adversarial robustness and generalization performance of deep learning models by analyzing their loss landscape. First, we investigate the adversarial robustness with respect to its loss landscape. Through analyzing the loss landscape of adversarially trained models, we discover that the distortion of the loss landscape can occur, resulting in poor adversarial robustness. Based on this observation, we extend the loss landscape analysis to adversarial attacks and defenses to improve the adversarial robustness of deep learning models. We further analyze sharpness-aware minimization with its loss landscape and reveal that there exists a convergence instability problem due to its inherent algorithm. Specifically, whether the loss landscape in the parameter space has a saddle point can heavily affect the optimization and its generalization performance. Given this phenomenon, we investigate the loss landscape with respect to perturbation in the parameter space and improve generalization performance by exploring a wider loss landscape.

A Study on Domain Generalization with Data and Feature Augmentation for Robust Medical Image Segmentation

장조우 인하대학교 대학원 2024 국내박사

Domain shift is a major challenge in deploying deep learning models for medical image segmentation across clinical settings. Deep learning models, trained exclusively on a single source domain, often struggle to generalize effectively to unseen target domains due to differences in imaging protocols, scanner vendors, and patient populations. For example, differences between camera specifications and lighting conditions can lead to significant discrepancies between the source and target domains. To address this significant issue, we propose two novel strategies for robust domain generalization: two illumination-based data augmentation methods inspired by the Retinex theory and a feature augmentation method that applies adaptive spectral random convolution to the feature space. The proposed illumination-based data augmentation methods separate color medical images into two distinct components: illumination and reflectance. The first method is designed for medical images with relatively uniform and stable illumination conditions, such as fundus images. This method augments the overall illumination component by randomizing it to mimic variations in lighting conditions, thereby helping the segmentation model to generalize across unseen domains. The second method addresses medical images with more variable and complex illumination patterns, such as colonoscopy images. This method further decomposes the illumination component into global and local illumination components. A global illumination augmentation is performed to synthesize diverse training samples that more effectively capture the characteristics of unseen target domains. Unlike the proposed illumination-based methods that focus on data augmentation in the image space, our proposed random convolution-based feature augmentation method, adaptive spectral random convolution (ASRConv), operates directly in the feature space, applying appropriate perturbations to the source domain features in the frequency domain without introducing high-frequency artifacts, encouraging the model to learn illumination-invariant feature representations. Extensive experiments conducted on multiple medical image segmentation datasets, including fundus and colonoscopy image datasets, demonstrate significant improvements in generalization performance on unseen target domains. The data augmentation-based methods outperform state-of-the-art domain generalization techniques by up to 9.60% in Dice scores, while the feature augmentation method improves existing feature augmentation-based domain generalization approaches by 3.07% in Dice scores. The main contributions of this dissertation are threefold: (1) Develop two illumination-based data augmentation approaches that leverage the Retinex theory. (2) Propose a feature augmentation method, ASRConv, for domain generalization. (3) Conduct extensive experimental validation across diverse medical image datasets to confirm the efficacy of the proposed methods. By enhancing the robustness of deep learning models to domain shifts in medical images, these advancements can potentially improve the practicality of automated medical image analysis systems in real-world clinical settings, ultimately assisting clinicians in making more informed decisions by providing more accurate and consistent image segmentation results across different imaging conditions. 도메인 전이(domain shift)는 다양한 임상 환경에서 의료 영상 영역화(segmentation)를 위한 딥러닝 모델을 적용할 때 정확도를 보장하기 위한 주된 도전 과제이다. 단일 원본 도메인에서 배타적으로 훈련된 딥러닝 모델은 종종 이기종의 영상 획득 프로토콜, 스캐너 제조사, 환자 특성의 차이로 인해 데이터 도메인의 변화가 발생하고 보이지 않는 목표 도메인에 효과적으로 일반화하는 데 어려움을 겪는다. 예를 들어, 카메라 사양과 조명 조건의 차이는 원본 도메인과 목표 도메인 간에 차이를 유발할 수 있으며 이로 인해 딥러닝 결과의 정확도가 낮아진다. 이러한 문제를 해결하기 위해 본 논문에서는 견고한 도메인 일반화를 위한 두 가지 기법을 제안한다. 첫째는 레티넥스(Retinex) 이론에 기반한 조명 관련 데이터 증강 방법이고 둘째는 적응형 스펙트럼 무작위 컨볼루션을 적용한 특징 공간 증강 방법을 제안한다. 제안된 조명 기반 데이터 증강 방법은 컬러 의료 영상에 대해 조명과 반사율 두 가지 구성 요소로 분리하여 처리 수준을 2단계로 구분한다. 우선 상대적으로 균일하고 안정된 조명 조건을 가진 의료 영상에 대한 처리로 망막 이미지 등과 같이 안정적이고 균일한 조명 조건을 가진 의료 영상 처리를 위한 기법을 제안한다. 제안 기법은 전반적인 조명 구성 요소를 무작위화하여 조명 조건의 변화를 모사함으로써, 영역화 모델이 보이지 않는 도메인에 대한 증강을 걸쳐 일반화를 진행한다. 두 번째 방법은 조명의 변화가 다양하고 복잡한 조명 패턴을 가지는 의료 영상 처리를 위한 기법으로 대장내시경 영상과 같은 이미지 처리에 적합하다. 해당 기법은 조명 구성 요소를 전역 및 지역 조명 구성 요소로 추가 분해하고 전역 조명 증강이 수행되어 보이지 않는 목표 도메인의 특성을 보다 효과적으로 포착하는 다양한 훈련 샘플을 합성하여 데이터를 증강한다. 이미지 공간에서 데이터 증강에 중점을 둔 제안된 조명 기반 방법과 달리, 특징 증강 기법은 무작위 컨볼루션 기반 적응형 스펙트럼 무작위 컨볼루션(ASRConv)을 진행하며 직접적으로 특징 공간에서 작동하여 고주파 아티팩트를 유발하지 않고 주파수 영역에서 원본 도메인 특징에 적절한 변형을 적용하고 모델이 조명 불변의 특징 표현을 학습한다. 제안 기법은 망막 및 대장내시경 이미지 데이터셋을 포함한 다양한 의료 이미지 영역화 데이터셋에서 수행한 다수의 실험에서 목표 도메인에서의 일반화 성능이 향상됨을 보여준다. 성능평가를 통해 데이터 증강 기반 방법들은 도메인 일반화를 통해 구역화의 정확도를 최대 9.60%까지 향상하였으며 특징 증강 기법은 기존 특징 증강 기반 도메인 일반화 기법 대비 3.07% 향상하였음을 보여준다. 결론적으로 본 논문이 기여한 바는 다음의 세가지로 요약할 수 있다. (1) 레티넥스 이론을 활용한 두 단계 조명 기반 데이터 증강 기법을 제안한다. (2) 도메인 일반화를 위한 특징 증강 방법인 ASRConv기법을 제안한다. (3) 다양한 의료 영상 데이터셋에서 다수의 성능평가를 통해 제안 기법의 효율성을 검증하였다. 본 논문의 기법을 적용하여 의료 영상에서의 도메인 변화에 대한 딥러닝 모델의 견고성을 향상시킴으로써 실제 임상 환경에서 자동 의료 영상 분석 시스템의 실용성을 개선하며 다양한 영상 촬영 환경에서 보다 정확하고 일관된 영상 분할 결과를 제공하여 의료진이 보다 정확한 의사 결정을 내릴 수 있도록 지원한다.

Robustness, Generalization and Fairness in Learning: Analysis and Design

Deng, Zhun Harvard University ProQuest Dissertations & Theses 2021 해외박사(DDOD)

Machine learning has achieved state-of-the-art performance in many areas, including image recognition and natural language processing. However, there are still many challenges and mysteries attracting numerous researchers. This dissertation comprises a series of works concerning problems at the intersection of computer science theory, adversarial robustness, generalization theory, and social science. The first part is to understand adversarial robustness from two perspectives: the efficiency of popular defense mechanisms against adversarial attacks and to understand how adversarial training trade-offs prediction accuracy to robustness. Specifically, in the first perspective, we investigate the popular defense mechanism that formulates adversarial training as robust optimization and trains with projected gradient descent. We study the non-concave landscape of the adversarial loss of a two-layer neural network. Our main result proves that the projected gradient ascent finds a local maximum of this non-concave problem in a polynomial number of iterations with high probability. In the second perspective, we introduce the Adversarial Influence Function (AIF) as a tool to investigate the solution produced by robust optimization. The proposed AIF enjoys a closed-form and can be calculated efficiently and is useful in quantifying the trade-off between accuracy and robustness.The second part is devoted to understanding generalization in modern learning. We investigate how a popular data augmentation scheme helps generalization and also develop a new notion of stability tailored for modern machine learning. Specifically, for data augmentation, we provide theoretical analysis to demonstrate how using Mixup in training helps model robustness and generalization. For robustness, we show that minimizing the Mixup loss corresponds to approximately minimizing an upper bound of the adversarial loss. This explains why models obtained by Mixup training exhibit robustness to several kinds of adversarial attacks such as the Fast Gradient Sign Method (FGSM). For generalization, we prove that Mixup augmentation corresponds to a specific type of data-adaptive regularization that reduces overfitting. Our analysis provides new insights and a framework to understand Mixup. For a new type of stability, we propose \\emph{locally elastic stability} as a weaker and distribution-dependent stability notion, which still yields exponential generalization bounds. We further demonstrate that locally elastic stability implies tighter generalization bounds than those derived based on uniform stability in many situations by revisiting the examples of bounded support vector machines (SVM), regularized least square regressions, and stochastic gradient descent (SGD).The final part is about fairness, where we initiate the study of the construction of \extit{scaffolding sets}, a small collection $\\cC$ of sets with the property that multi-calibration with respect to $\\cC$ ensures recovering predictors of individual probabilities accurately, and not just calibration, of the predictor. Our approach is inspired by the folk wisdom that the intermediate layers of a neural net learn a highly structured and useful data representation.

Transfer-aware prompt routing of informative prompts for domain generalization

Kwon, Euna Sungkyunkwan University 2026 국내석사

Domain Generalization (DG) aims to train models that generalize to unseen domains using only labeled source domain. As vision-language models (VLMs) are increasingly adopted for DG tasks, prompt tuning offers a flexible and parameter-efficient way to adapt these models to varying domains. However, prior prompt-based DG approaches often rely on rigid assumptions such as universal invariance or fixed domain specific prompts. These assumptions limit generalization under complex distribution shifts, where the semantics that truly transfer may vary across inputs. To address this issue, we propose TRIP (Transfer-Aware Routing of Informative Prompts), a novel prompt tuning framework that prioritizes prompt transferability at the core of generalization. Inspired by the 𝒩LEEP metric, TRIP models prompt-conditioned distributions over image features and estimates the likelihood of an input under each prompt. These likelihoods yield a soft routing distribution that guides the probabilistic assignment of prompts. To promote broader semantic coverage and prevent focusing on a small subset of prompts, we incorporate an entropy-based regularization that encourages diverse and balanced prompt usage. Our theoretical analysis shows that TRIP’s objective maximizes a lower bound on the expected predictive log-likelihood, linking transferability and routing optimality from a Bayesian perspective. Empirically, TRIP outperforms existing CLIP-based prompt tuning baselines on standard DG benchmarks, while revealing prompt specialization patterns that promote robust and adaptive generalization. 본 논문은 도메인 일반화 문제를 해결하기 위해 TRIP(Transfer-aware Prompt Routing of Informative Prompts for Domain Generalization)이라는 새로운 방법을 제안한다. 도메인 일반화는 학습에 사용되지 않은 새로운 환경에서도 모델이 안정적으로 작동하도록 만드는 것을 목표로 한다. 최근 CLIP과 같은 대규모 비전-언어 모델을 활용한 프롬프트 튜닝 방법이 주목받고 있지만, 기존 방법들은 모든 도메인에 공통된 고정 프롬프트를 사용하거나 각 도메인별로 별도의 프롬프트를 학습하는 방식에 머물러 있어 새로운 도메인 변화에 유연하게 대응하기 어렵다. TRIP은 입력마다 가장 잘 맞는 프롬프트를 확률적으로 선택하는 라우팅 방식을 도입하였다. 각 프롬프트가 입력 이미지에 얼마나 잘 전달될 수 있는지를 측정하는 전달 가능성 점수를 계산하고, 이 점수를 기반으로 입력별로 프롬프트를 동적으로 선택한다. 이렇게 하면 고정된 프롬프트를 사용하는 기존 방법보다 다양한 환경에서 더 적응력 있는 모델을 만들 수 있다. TRIP은 프롬프트를 가우시안 혼합 모델로 표현해 각 클래스와 프롬프트 간의 관계를 확률적으로 모델링한다. 학습에는 예측 손실과 다양성 손실을 함께 사용한다. 예측 손실은 입력과 프롬프트의 적합도를 높이기 위한 항이며, 다양성 손실은 일부 프롬프트에만 집중되지 않도록 전체적인 분포의 다양성을 유지하도록 돕는다. 본 연구는 제안하는 손실 구조가 프롬프트의 전달 가능성을 높이고, 전체 모델의 일반화 능력을 향상시키는 방향으로 작동함을 이론적으로 분석하였다. 다양한 도메인 일반화 벤치마크에서 TRIP은 CoOp, CoCoOp, MaPLe, ProGrad, StyLIP 등 기존 최신 방법보다 높은 성능을 기록했다. 특히 Terra Incognita 데이터셋에서 가장 큰 성능 향상을 보였으며, 전체적으로 균형 잡힌 일반화 성능을 보여주었다. 또한 프롬프트의 개수를 조정한 실험에서는 개수를 늘릴수록 성능이 향상되지만, 너무 많을 경우 중복되는 정보를 학습해 효율성이 떨어질 수 있음을 확인하였다. 시각화 결과에서도 TRIP이 학습한 프롬프트들은 서로 명확히 구분되고, 더 풍부한 의미적 표현을 담고 있는 것으로 나타났다. 결론적으로 TRIP은 입력마다 가장 적절한 프롬프트를 확률적으로 선택하는 방식으로 CLIP 기반 모델의 도메인 일반화 성능을 향상시킨다. 향후 연구에서는 테스트 단계에서도 새로운 프롬프트를 생성하거나 라벨이 없는 환경에서도 적응할 수 있는 방향으로 발전시킬 수 있을 것으로 기대된다.