Research of few-Shot learning technology for improving the accuracy of deep learning model based on small learning data

이준목 동아대학교 대학원 2020 국내석사

과거 인공 지능이라는 용어가 처음 사용된 이래 과거의 인공지능과 현재의 인공지능이 가리키는 바는 큰 차이가 있다. 전문가 시스템, 신경망 모델, 딥러닝 모델을 거치면서 현재에는 3세대 인공지능 분야의 연구가 활발하다. 현재의 딥러닝 모델은 많은 양의 데이터셋과 네트워크 깊이에 비례해 그 성능이 향상되는 경향성을 보임에 따라 학습데이터의 중요성이 부각되고 있다. 하지만 딥러닝 모델의 학습 방식은 인간의 학습 방식에 비해서 더 효율적이지는 않다. 3세대 인공지능 기술의 하나인 Few-Shot Learning은 '인공지능이 인간의 인지능력과 같이 단 몇 장의 사진을 보는 것만으로도 생애 처음으로 본 사물을 잘 구분할 수 있는 학습 능력을 갖출 수 있는가'에 대한 의문으로 진행하는 연구이다. 본 논문에서는 학습데이터 수집이 용이하지 않아 발생하는 데이터 사이의 불균형 문제를 해결하고자 한다. Generative Adversarial Network를 이용한 데이터 증강모델을 거쳐 부족한 양의 학습데이터의 분포에 따라 새로운 데이터를 생성하는 방식을 제안함으로써 불균형 문제를 해결하고자 한다. 이때 데이터 생성에 소요되는 오버헤드 타임을 줄이기 위해 데이터 증강 모델의 전처리 단에 Base Data Region Proposal이라는 네트워크를 추가하고, Generator의 구조 변화를 통해 데이터 생성 속도를 개선하였다. 또한, Transfer Learning을 통해 학습에 걸리는 시간을 줄일 수 있다. 앞으로 제안하는 알고리즘을 통해 정상 학습 데이터를 임의로 불균형 데이터로 만들어 모델의 정확도를 평가하는 1차 실험 후, 실제 데이터 수집이 제한적인 응용분야에도 제안하는 알고리즘을 적용하여 소량의 학습 데이터만으로 모델의 정확도 개선이 어느 수준까지 가능한지 실험하였다. Since the term artificial intelligence was first used, there are big differences between the meaning of past artificial intelligence and present artificial intelligence. After going through the expert system, neural network models, and deep learning model, research in the third generation artificial intelligence field are currently active. In the current deep learning model, the importance of the learning dataset stands out as the performance tends to increase in proportion to a large amount of dataset and deeper networks. But, the learning method of the deep learning model is not more efficient than the human learning method. Few-shot learning, one of the third generation artificial intelligence technologies, is a study that started with the question of whether artificial intelligence can have the learning ability to distinguish objects well for the first time just by looking at just a few pictures like human cognitive ability. In this thesis, we attempt to solve the problem of imbalance between dataset due to the difficulty in collecting the learning data by generating new data according to the distribution of the insufficient amount of learning data through a data augmentation model using the generative adversarial network. To reduce the overhead time for data generation, a network called BDRP is added to the pre-processing stage of the data augmentation model. Then the speed of data generation has improved by changing the architecture of the generator. Also, the time required for learning can be reduced through transfer learning. Through the proposed algorithms, a first experiment is performed to evaluate the accuracy of the model by randomly generating imbalanced data from normal learning data. After that, we applied the experimental results to applications where practical data collection was limited, and tested to what extent it was possible to improve the accuracy of the model with only a small amount of training data.

Maritime Data Analytics Using Explainable Artificial Intelligence for Energy-Efficient Shipping and Condition Monitoring of Marine Equipment

HANDAYANI MELIA PUTRI 국립부경대학교 대학원 2024 국내박사

Maritime transportation plays a vital role in global trade but faces urgent sustainability challenges related to reducing fossil fuel use and emissions. Despite being the most energy-efficient mode of transportation, maritime activities still contribute a significant amount of greenhouse gas (GHG) emissions worldwide due to their heavy reliance on oil as fuel, pressing regulatory bodies to curb this reliance. The urgency has advanced condition monitoring techniques that enable monitoring of energy efficiency and data collection for further improvements to support data-driven decision-making. The existence of big data in maritime operations, supported by technological advancements, has made this possible. While this data now facilitates more sophisticated modeling, challenges remain around fully leveraging insights and enhancing the interpretability of results. This dissertation therefore explores applying Explainable Artificial Intelligence (XAI) techniques to improve energy performance through optimized operations, predictive maintenance capabilities, and generating transparent explanations from complex algorithms used for analytics. Three major maritime tasks are explored to contribute to the industry's goals of improved energy efficiency and condition monitoring: anomaly detection modeling for vessel main engine fault diagnosis, shaft power prediction with voyage-based feature attribution analysis, and region- specific explanation of extreme high fuel oil consumption events. The research demonstrates how XAI approaches, such as model-agnostic SHAP values and localized interpretations, enable insightful and transparent machine learning solutions. These techniques provide explainability and interpretability that have become critically important as maritime operations increasingly rely on advanced analytics and black-box modeling. By unlocking the inner workings of complex algorithms, XAI paves the way for increased trust, reliability, and deployment of artificial intelligence systems in the maritime domain. This dissertation thus illuminates pathways toward more energy-efficient shipping and predictive maintenance through profound transparency into predictive model outcomes. While the three studies leveraged explainable AI techniques to provide novel insights into maritime operations, rigorous validation of the XAI outputs was also paramount. With no standardized evaluation methods established for this emerging field, tailored statistical-based approaches were developed for each part of the research item as post-analysis supplements. Focusing on two key axioms - dissimilarity and consistency - the validation sought to independently assess whether the feature attributions from XAI models reasonably distinguished important from unimportant features and whether the robustness of the proposed validation method could withstand small perturbations to the models or data. This self-designed evaluation process represents an important contribution, addressing the lack of consensus around XAI validation. Demonstrating explanatory robustness and reliability through rigorous testing represents an important methodological contribution. This work has therefore illuminated both practical challenges within shipping and pathways toward achieving more transparent, trustworthy maritime data analytics, and substantially advances maritime analytics through both the application and development of XAI techniques and evaluation practices. The explainable frameworks and customized validation approaches established herein offer a strong foundation to facilitate continued progress in predictive maintenance, optimization, and enhanced sustainability through data-driven insights. In summary, this dissertation significantly progresses maritime data science through Explainable Artificial Intelligence (XAI).

Explainable Artificial Intelligence for Spatiotemporal Data Analysis

박훈석 경희대학교 대학원 2022 국내박사

Explainable artificial intelligence (XAI) has arisen over the past years due to the expansion of applications based on machine learning (ML) and deep learning (DL) in many industries, such as neuroscience, healthcare, manufacturing, and logistics. For practical usage of XAI, characteristics of model behavior, data, and domain knowledge in those industries should be considered to deliver an informative explanation and insight to a user. With the advent of big data, analysis of spatiotemporal data collected across time with spatial information is arising as one of the important fields in industrial AI. However, many XAI methods and applications have focused on tabular, images, and text data because those data. However, there is still a lack of specialized XAI studies for spatiotemporal data analysis. With the advances of recent XAI methods on DL models, further expansions can be explored for spatiotemporal data analysis. This study addresses a framework to develop XAI methods for spatiotemporal data analysis using DL models. In the first part of this thesis, a framework including tasks, DL models, and XAI approaches is introduced according to three important domains in the spatiotemporal data such as space, time, and frequency. In the second and third parts of this thesis, example applications of XAI methods are proposed in two fields that use spatiotemporal data, such as brain-computer interface (BCI) and automated material handling system (AMHS). These XAI methods depend on each application due to the characteristics of data and domain knowledge in that application. An XAI method for BCI provides example-based explanations of motor imagery tasks using DL by combining influence estimation and input perturbations. In the AMHS application, model-specific explanations for travel time prediction are introduced with an embedding model for a railway network and a specialized DL model. These applications provide what should be considered for developing an effective XAI method for spatiotemporal data analysis. 설명가능한 인공지능(XAI: eXplainable Artificial intelligence)은 기계학습(machine learning)과 딥러닝(deep learning) 기반의 응용 사례들이 뇌과학, 의료, 제조, 물류 등 여러 산업군으로 확장되면서 지난 수년 동안 많은 주목을 받고 있다. XAI의 실제 적용을 위해서는 모형 작동, 데이터, 특정 산업 분야의 지식에 대한 특성을 고려하여 사용자에게 유용한 설명과 통찰을 제공해야 한다. 최근 빅데이터 분석기술이 발전함에 따라, 시간에 따른 공간 정보를 포함한 시공간 데이터의 분석이 산업인공지능에서 중요한 분야로 떠오르고 있다. 그러나 기존의 많은 XAI 기법들과 응용은 결과 해석과 이해가 용이한 정형 데이터, 이미지, 문자 데이터에 집중되어 있었다. 따라서 시공간 데이터 분석에 특화된 연구들은 부족한 실정이다. 딥러닝 모형에 대한 XAI 기법들의 많은 발전이 최근에 이루어지고 있다. 이들을 더욱 확장함으로써 시공간 데이터를 위한 XAI 기법의 개발이 가능할 것이다. 본 논문은 딥러닝 기반의 시공간 데이터 분석을 위한 XAI 기법들의 개발을 위한 체계들을 다룬다. 논문의 첫 번째 부분에서는 시공간 데이터의 중요한 세 가지 영역인 시간, 공간, 주파수에 따른 분석 과제, 딥러닝 모형, XAI 방법론들을 정리한 체계를 소개한다. 두 번째와 세 번째 부분에서는 시공간 데이터를 사용하는 뇌-컴퓨터 인터페이스(BCI: Brain-Computer Interface), 자동 자재관리 시스템(AMHS: Automated Material Handling System) 두 응용 분야에 대한 XAI 기법들을 제안한다. 제안된 XAI 기법들을 각 응용 분야의 전문지식과 데이터 특성에 의존한다. BCI를 위한 XAI 기법은 영향도 추정(influence estimation)와 입력 섭동(input perturbation)을 결합하여 운동 심상(motor imagery) 과제에 대한 예제 기반 설명을 제공한다. AMHS 사례에서는 반송 시간 예측을 위한 모형 종속 설명 기법을 소개한다. 해당 기법은 철도망에 대한 임베딩(embedding) 모형과 특화된 딥러닝 모형에 기반한다. 본 응용사례들을 통해 시공간 데이터 분석을 위한 효과적인 XAI 기법의 개발에서 고려해야 할 부분들을 제공한다.

한국판 디지털 뉴딜의 법제연구 : 데이터산업의 지식재산법적 쟁점을 중심으로

유영복 중앙대학교 법학전문대학원 2021 국내박사

우리는 55년 전 상상 속의 세상에서 살고 있다. 이와 같은 세상을 만들어 가는 것이 바로 4차 산업혁명의 데이터산업이다. 코로나19 팬데믹 이후 세계의 주요국들은 4차 산업혁명을 가속하기 위해 디지털 전환 정책을 추진하고 있다. 우리나라도 지난 2020년 7월 ‘한국판 뉴딜 종합계획’을 발표하고 주요 디지털 전환 정책으로 ‘디지털 뉴딜’을 추진하고 있다. ‘디지털 뉴딜’은 데이터와 인공지능을 근간으로 하는 ‘한국판 뉴딜 종합계획’에서 가장 중요한 국가전략이다. 본 연구는 ‘디지털 뉴딜’의 성공적인 추진을 위해 필요한 법제도의 현황에 대해서 지식재산법의 쟁점을 중심으로 고찰하였다. 데이터산업의 활성화를 위한 데이터 3법의 개정은 데이터 경제의 초석을 세우는 역할을 한다고 할 수 있다. 우리나라가 강점을 갖는 공공데이터와 개인정보가 결합한다면 우수한 품질의 데이터를 기반으로 신사업이 창출되고 빅데이터 플랫폼, 인공지능 학습데이터 등의 ‘디지털 뉴딜’ 정책과제를 뒷받침하는 원천이 될 것이다. 빅데이터 플랫폼은 4차 산업혁명의 사회간접자본이며 무한한 가치 창출의 원천이다. 빅데이터 플랫폼의 데이터세트와 빅데이터베이스로 저작권법의 보호를 받을 수 있을 것이다. 빅데이터 플랫폼을 구축하기 위해서는 데이터의 수집 및 TDM이 필요한데 이 과정에서 발생하는 저작권의 침해는 ‘공정이용’의 법리로 배제수 있다. 현재 입법절차 중인 저작권법 전부개정(안)도 ‘공정이용’의 법리를 반영하고 있는 것으로 보인다. 인공지능 학습데이터는 인공지능의 성능과 품질에 가장 큰 영향을 미치는 요소이며, 인공지능의 가치사슬에서 우리나라가 중추적인 역할을 하기 위한 수단이 될 것이다. 인공지능 학습데이터는 영국 저작권법의 ‘컴퓨터 산출 저작물의 법리’를 차용하여 저작물로 인정받을 수 있을 것이지만, 특허발명으로 보호받기에는 논란이 있다. 다만 부정경쟁방지법의 성과도용 행위와 영업비밀로는 보호받을 수 있을 것이다. ‘디지털 뉴딜’의 성공을 위한 법제도를 연구해 본 결과 지식재산법상 보호의 공백이 다수 보인다. 모쪼록 한국판 디지털 뉴딜을 추진하기 위한 지식재산법제도의 정비가 이루어져 우리나라가 4차 산업혁명의 선도국가가 되기를 소망한다. We live in a world that was imagined 55 years ago. Creating a world like this is the data industry of the 4th industrial revolution. After the Corona 19 pandemic, major countries around the world are pushing for digital transformation policies to accelerate the Fourth Industrial Revolution. Korea also announced the “Korean version of the New Deal Comprehensive Plan” in July 2020 and is promoting the “Digital New Deal” as a major digital transformation policy. The “Digital New Deal” is the most important national strategy in the “Korean version of the New Deal Comprehensive Plan” based on data and artificial intelligence. This study examines the current state of the legal system necessary for the successful promotion of the “Digital New Deal”, focusing on the issues of the Intellectual Property Law. It can be said that the revision of the Data 3 Act to revitalize the data industry serves to lay the foundation for the data economy. If Korea's strong public data and personal information are combined, new businesses will be created based on high-quality data, and will be a source of support for the “digital new deal” policy tasks such as big data platforms and artificial intelligence learning data. The big data platform is the social overhead capital of the 4th industrial revolution and the source of infinite value creation. The dataset and big data of the big data platform will be protected by copyright law as a database. In order to build a big data platform, data collection and TDM are required, and copyright infringement that occurs in this process can be exempted from the law of “fair use”. It seems that the entire amendment to the copyright law currently under legislative proceedings also reflects the law of “fair use”. Artificial intelligence learning data is the factor that has the greatest influence on the performance and quality of artificial intelligence, and will serve as a means for Korea to play a pivotal role in the value chain of artificial intelligence. Artificial intelligence learning data can be recognized as a work by borrowing the “law of computer-generated works” of the UK Copyright Act, but there is a controversy over being protected by a patented invention. However, performance theft and trade secrets of the Unfair Competition Prevention Act may be protected. As a result of studying the legal system for the success of the “Digital New Deal” there are many gaps in protection under the Intellectual Property Law. It is hoped that Korea will become a leading country in the 4th industrial revolution by reorganizing the intellectual property law system to promote the Korean version of the Digital New Deal.

A Data-Driven Approach for Safe Ship Operation of Berthing Phase Using Artificial Intelligence Technique

이형탁 한국해양대학교 해양과학기술전문대학원 2022 국내박사

Herein, a study was conducted to derive quantitative solutions by collecting ship operation-related data and constructing algorithms using artificial intelligence (AI) techniques, such as machine learning and deep learning, so that ships can safely operate in the ports. The Fourth Industrial Revolution expanded and increased research on unmanned autonomous ships in the fields of ships, maritime, and ports. The biggest advantage of the emergence of maritime autonomous surface ships (MASSs) is the possibility to operate safely. This can be accomplished by superseding the existing crew’s role with AI to reduce human errors and hence prevent accidents. The field of AI-based navigation technology required to manufacture MASSs needs continuous accumulation of maritime data and professional knowledge of navigation officers. However, most of the past studies have focused on navigation in the ocean-going and only a few studies have been conducted related to safe berthing and maneuvering in ports. Therefore, in this study, four algorithms for safe ship operation in port were proposed by applying AI techniques based on a ship’s berthing and trajectory data. The ship’s berthing data were collected from March 2017 to August 2021 for a tanker jetty in the Republic of Korea, while the ship trajectory data include the arrivals and departures of ships at the target pier of Busan New Port from January to April 2020. Ships with a gross tonnage of ≥10k are the target group. A ship’s berthing energy generated is calculated using the kinematic method, wherein the most influential factor is the berthing velocity. If a ship does not berth at an appropriate velocity, accidents could happen such as damage to port facilities and the hull. At this time, since the pilot’s voyage ends at the point when the ship completes berthing, the pilot and berthing velocity have a close relationship. Therefore, the maneuvering pattern for the pilot’s berthing velocity was analyzed with the k-means algorithm, an unsupervised machine learning method. Forty-seven pilots working at the target pier were classified into low risk, moderate risk, and high risk according to the analysis results. When a ship is berthing, accidents can be prevented if the danger range of the berthing velocity can be predicted. The operating range of the berthing velocity of the target pier for which data was collected is categorized into “Safety,” “Warning,” and “Critical,” and nine classification algorithms corresponding to supervised machine learning were used to predict this. The input parameters of the algorithm were factors affecting the berthing velocity, including the pilot’s maneuvering pattern. After evaluating the algorithms using the confusion matrix, gradient boosting, support vector machine, random forest, and bagging classifier were classified as four models with high performance. Water depth restrictions, marine structures, and the presence or absence of a designated route, such as a non-navigable area, affected the route planning and restricted the navigation speed of a ship maneuvering in the port, which is the preberthing stage. This is different from choosing the shortest path according to fuel consumption and time, like in the ocean-going. Therefore, the DBSCAN algorithm, an unsupervised machine learning, was used to analyze the maneuvering patterns of arriving and departing ships. Ship trajectory data based on the automatic identification system was divided into phases through DBSCAN, and changes in speed over the ground and course over the ground were analyzed in time series. The need for quantitative maneuvering guidelines was raised after a crane collision accident of a large container ship occurred in 2020 at Busan New Port. As per the analysis of ship maneuvering patterns in port, quantile regression using general additive models and deep learning algorithms to suggest guidelines for ship’s position changes, including operating guidelines for speed over the ground and course over the ground, was used. Quantile regression is suitable for analyzing ship trajectory data with uncertainty and variability. As a result of applying the algorithm of quantile regression, the performance of the quantile regression neural network was found to be higher than that of the general additive models, making it possible to suggest quantitative ship maneuvering guidelines in port. The practical aspects of this study can contribute to the safe operation of ships’ berthing phase. In other words, the algorithm derived from this study can make quantitative decisions based on data rather than empirical factors regarding the safety of ship operations. Moreover, this paper presented a basic application plan for the development of MASSs in the long term through the integration of AI techniques and ship data.

Predictive and Explainable Modeling for Multisensor Signal Data in Manufacturing Systems

Yoon Sang Cho 고려대학교 대학원 2022 국내박사

제조 시스템의 규모와 복잡성이 증가하며 데이터를 기반으로 한 예측 및 설명 가능한 모델링의 중요성이 대두되고 있다. 최근, 센서 기술의 발달로 많은 제조산업에서 공정 상태를 관측하기 위한 다량의 다중센서 신호 데이터를 획득하고 있다. 다양한 유형의 센서는 공정과 설비 상태를 모니터링하여 정상 및 비정상 상태의 특징 모두를 포함할 수 있도록 데이터를 생성한다. 이렇게 수집된 다중센서 신호 데이터는 머신러닝 알고리즘을 기반으로 하는 예측 및 설명 가능한 모델링을 위해 매우 중요한 자원으로 여겨진다. 예측 모델링은 설비 고장 신호를 조기에 감지하고, 설명 가능한 모델링은 제품 불량의 근본적인 원인을 파악하는 것을 목표한다. 이는 안정적인 제조 공정을 유지하기 위해 매우 중요한 과업이다. 본 논문에서는 기존에 수행된 예측 모델링 및 설명 가능한 모델링 기법에 대한 한계점을 각각 진단하고, 이를 극복하는 방법을 제안한다. 다중센서 신호를 예측모델링 하기 위한 가장 기본적인 접근법으로는 지도 학습(supervised learning)을 기반으로 한 딥러닝 모델이다. 딥러닝은 다중센서 신호를 이용하여 예측 대상을 구분할 수 있는 특징을 추출하는 대표적인 표현학습 기법이다. 최근에는 자가 지도학습(self-supervised learning)을 이용한 표현 학습이 분류 성능 향상 효과가 나타나면서 제조업에서의 다중 센서 신호 예측 모델링에도 널리 사용되고 있다. 자가 지도학습을 이용한 예측모델링은 데이터 증강기법을 통해 다양한 형태의 데이터 표현을 먼저 학습하는 사전학습(pre-training) 단계와 사전학습 된 모델에 예측 모델을 덧대어 학습하는 미세조정 학습(fine-tuning) 단계로 나뉜다. 하지만, 자가 지도학습 관련 연구 대부분은 레이블링 된 데이터를 확보할 수 없을 때 충분한 예측성능을 보장하기 위한 방법으로 고안됐다. 즉, 사전 학습 단계에서 레이블을 사용하지 않고 유사한 관측치와 그렇지 않은 관측치 특징 간 거리를 가깝고 멀게 하는 방식으로 학습하는데 이는 충분한 레이블을 확보한 상황에서는 효과적으로 활용하기 어렵다. 설명 가능한 모델링의 목적은 비정상적인 공정의 주요 원인을 식별하는 근본 원인 분석(root cause analysis, RCA)이다. 기존에 제안된 RCA 모델은 일반적으로 현장 관리자 경험과 전문 지식을 요구한다는 단점이 있다. 또한, 수 많은 공정과 설비로 이루어진 제조시스템에서 인과 관계를 나타내는 데이터가 없으면 RCA에 유용한 정보를 제공하기 어렵다. 최근, 다중센서 신호 데이터를 기반으로 하는 RCA 방법이 제안되었지만, 대부분은 분류 모델에 기반을 두고 있다. 하지만, 많은 제조업에서 제품 품질이 연속적인 변수로 정의된다는 점을 고려할 때, 분류 모델은 제품 품질 수준에 영향을 미치는 근본 원인을 도출하는 데 한계가 있다. 본 논문은 이러한 문제를 해결하기 다음과 같이 예측 모델링 및 설명 가능한 모델링 방법론을 제안한다. 첫째, 다중센서 신호 데이터를 이용한 지도 대조 학습(supervised contrastive learning, SCL) 기반 예측 모델링 제안한다. SCL은 시계열 데이터 증강기법을 통해 인코더 사전학습을 수행한다. 이 때, 레이블 정보를 전부 참조한다. 그런 다음 고정된 인코더를 사용하여 분류모델을 미세조정 학습한다. 본 논문에서는 제안방법론이 지도 학습 대비 높은 성능을 보여주는 지 확인하기 위해 벤치마크 실험을 진행한다. 또한, 자동차 엔진 제조 공정 장비에서 얻은 실제 센서 데이터를 이용한 실험에서 제안 방법론의 적용 가능성을 입증한다. 둘째, 다중센서 신호 데이터를 이용한 설명가능한 모델링으로써, 회귀 분석에서의 RCA 를 위해 합성곱신경망과 활성화 매핑(activation mapping)으로 구성된 품질 차별적 로컬라이제이션(quality-discriminative localization) 방법을 제안한다. 제안 방법론에서 CNN은 연속형 변수로 이루어진 제품 품질을 예측한다. 그런 다음 활성화 매핑은 각 제품에 대한 중요한 센서 데이터를 강조하는 원인 맵(causal map)을 추출한다. 근본 원인을 파악하기 위해 품질 및 원인 맵을 가중합하여 근본 원인 맵(root cause map)을 생성한다. 본 논문에서는 근본 원인 맵에서 높은 활성화 점수를 보이는 공정과 공정 시간대를 품질 불량에 대한 근본적인 원인으로 간주한다. 또한, 제안방법론의 유용성을 시뮬레이션 데이터와 실제 철강 제조 공정 데이터로 실험적으로 입증한다. 실험 결과는 제안방법론이 뚜렷한 센서 신호 패턴을 탐지하여 근본 원인을 성공적으로 식별한다는 것을 보여준다. 본 논문에서 제안하는 예측 및 설명 가능한 모델링 기법은 이상 공정을 조기에 탐지하고, 불량 품질 원인을 파악하여 제조 시스템 내 효율적인 공정운영에 효과적으로 기여할 것으로 본다. The importance of predictive and explainable modeling methods is emerging as modern manufacturing systems have grown in scale and complexity. Recently, with the development of sensor technology, a large amount of multisensor signal data for monitoring process conditions has been acquired in many manufacturing industries. Various types of sensors monitor the state of the process and the status of the machinery, producing signal data that contain features of both normal and abnormal states. Multisensor signals are thus considered valuable resources for predictive and explainable modeling based on machine learning algorithms. Predictive modeling aims to detect equipment failure early, and explainable modeling aims to identify the root causes of abnormal products. They are important and challenging tasks to maintain stable manufacturing processes. The most well-known approach for predictive modeling of multisensor signals is the deep learning model based on supervised learning. Deep learning is a representative method for a representation learning method that can extract distinctive features of the sensor signal. In recent, as the effectiveness of representation learning emerged, self-supervised deep learning has become widely used for predictive modeling multisensor signals in manufacturing industries. Predictive modeling using self-supervised learning can be divided into the following two stages: (1) the encoder pre-training stage for representation learning the various data patterns through data augmentation techniques. It is performed by minimizing loss that pulls together the features of the augmented (positive) samples in embedding space while simultaneously pushing apart features of different (negative) samples. However, most works of literature have focused on overcoming the lack of labeled data. Moreover, the self-supervised approach cannot effectively leverage fully labeled data. The purpose of explainable modeling is root cause analysis (RCA) that identifies the critical causes of abnormal processes. However, existing methods for building automatic RCA models suffer from the disadvantage of typically requiring expert knowledge. In addition, without a dataset representing the causal relationship of multivariate processes, it is difficult to provide useful information for RCA. Although data-driven RCA methods have been proposed, most are based on classification models. Given that product quality is defined as a continuous variable in many manufacturing industries, classification models are limited in deriving root causes affecting product quality levels. This dissertation proposes advanced predictive and explainable modeling methodology to address these issues as follows: First, I propose a supervised contrastive learning (SCL) method for multisensor signals classification. The SCL first performs encoder pre-training with time-series data augmentation by referring labels. Fine-tuning is then performed for classifier training with a frozen encoder. I investigated the power of SCL, and the results show that the proposed method outperforms supervised learning by a large margin. Furthermore, I demonstrate the applicability of my method in experiments with real-process data obtained from process equipment in the manufacture of automobile engines. Second, I propose a regression model-based RCA method called quality-discriminative localization, consisting of a convolutional neural network (CNN)-based activation mapping of multisensor signal data. In my proposed method, the CNN predicts the product quality of a continuous variable. Activation mapping then extracts causal maps that highlight significant sensor signals for each product. To identify the root causes, I generate a root cause map from the weighted sum of quality and causal maps. I consider root causes as locations of abnormal processes and processing times from localized activation scores on the root cause map. I experimentally demonstrate the usefulness of the proposed method with simulated data and real-process data from a steel manufacturing process. My results show that the proposed method successfully identifies root causes with distinct sensor signal patterns. I expect it effectively contributes to efficient process operation in the manufacturing system by detecting abnormal processes early and identifying the cause of defective quality with the predictive and explainable modeling techniques proposed in this dissertation.

생성형 인공지능을 위한 대용량 학습용 데이터의 사용에 관한 저작권법상 쟁점

김정숙 연세대학교 법무대학원 2024 국내석사

생성형 인공지능은 이용자가 원하는 성능 좋은 결과물을 생성하기 위해서 막대한 양의 텍스트, 영상, 음악, 제스처, 시선, 표정 데이터 등의 학습용 데이터를 이용하여 사전에 학습이 진행되어야 한다. 그리고 사회에서 새롭게 생성된 데이터와 변경된 지식과 정보를 지속적으로 적용하여 성능 향상을 도모하기 위해서도 생성형 인공지능은 학습이 진행되어야 한다. 생성형 인공지능의 성능은 학습하는 데이터의 질이 우수하고, 양이 많으면 많을수록 좋아진다. 따라서 대용량의 학습용 데이터를 수집하고 이를 사용하여 학습을 수행한 초거대 인공지능이 개발되고 있다. 이러한 막대한 대용량의 학습용 데이터에는 저작물을 포함하고 있을 가능성이 있다. 현재 대부분의 생성형 인공지능 학습용 데이터들은 다양한 방식으로 수집되고 있다. 웹 페이지에 있는 데이터들을 자동화된 크롤링 방식을 이용하여 수집하는 경우가 많이 있고 공개된 소스나 자료를 수집하는 경우도 있다. 그리고 생성형 인공지능 사용자에 의해 입력되는 지시문의 명령을 학습용 데이터로 이용하고 있다. 또한 생성형 인공지능 등 컴퓨터를 이용해 생성된 텍스트, 음악 및 영상 등의 결과물을 학습용 데이터로 이용할 수 있다. 웹 페이지에 있는 대규모의 데이터를 기계적인 크롤링 방식으로 수집하는 경우 등에 저작물 침해가 면제되는 공정이용을 적용할 수도 있겠으나 저작물이 포함되어 있다면 현행 우리나라 저작권법에 따라 저작자 모두에게 사용 동의를 얻어 사용하여야 한다. 그러나 대용량의 학습용 데이터를 수집하면서 저작자 모두에게 사용 동의를 얻기에는 시간과 비용이 많이 소요 될 수 있어 어려움이 많다. 따라서 저작자의 동의를 얻지 못하면 저작물에 대한 저작권 침해가 발생할 수 있다. 학습용 데이터가 필요한 만큼 데이터의 가치가 증가하고 있고 또한 저작물 등이 법률에 의한 보호 필요성이 증가하고 있어 저작권법 등으로 보호할 수 있을 것으로 판단된다. 현재 입법이 진행되고 있는 저작권법이 저작자의 저작권을 보호하고 점차 기술이 고도화되고 발전하고 있는 생성형 인공지능 개발자가 함께 상생할 수 있도록 개정 방안을 모색할 필요가 있다고 사료 된다. 본 논문에서는 생성형 인공지능이 개발되면서 필요한 선행 학습과 생성형 인공지능이 사용되면서 데이터 변경을 적용하기 위해 지속적인 학습을 하는데 사용되는 학습용 데이터에서 저작물 침해와 같은 저작권에서 발생할 수 있는 법적 쟁점을 살펴 본다. 선행과 지속 학습에서 사용하는 학습용 데이터가 수집되는 출처에 따라 크게 3가지로 분류하여 쟁점을 살펴 보고 이에 대한 대응 방안을 기술한다. (i) 대용량의 학습용 데이터가 현재 운영중인 웹 상에서나 공개된 장소에서 수집되어 사용되는 경우의 저작물 침해가 발생할 수 있는 쟁점과 이러한 쟁점에 대해 대응 방안을 살펴본다. 생성형 인공지능을 포함한 다양한 인공지능 기술이 발전하면서 인류와 사회에 많은 좋은 영향을 미치고 있으나 악영향도 많이 발생하고 있다. 학습용 데이터 사용에서 발생할 수 있는 저작권 침해와 개인정보보호 문제 발생 및 윤리 문제와 편향된 결과를 초래할 수 있다. 따라서 세계 주요 국가들이 인공지능 발전에 따른 역기능을 규제하기 위해 제정하고 있는 법적 규율을 살펴본다. 그리고 대용량 학습 데이터 사용을 공정이용으로 간주할 수 있는지와 같은 저작권법의 쟁점과 대응방안을 기술한다. (ii) 학습용 데이터가 생성형 인공지능에서 생성한 산출물을 이용하는 경우 발생할 수 있는 저작물 침해와 같은 저작권의 쟁점과 대응 방안을 살펴본다. 생성형 인공지능과 같은 기술 발전을 위해 주요 국가들이 TDM(Text & Data Mining) 시 저작물 침해 면제 조항에 대한 입법 내용을 제정하고 있다. 우리 저작권법도 TDM과 유사한 내용을 개정안에 포함하고 있다. 그러나 생성형 인공지능의 산출물에서 저작물을 그대로 기억하고 있다가 생성하는 저작물 침해 사례가 발생하고 있다. 따라서 자연인이 생성물을 제작하는데 개입이나 관여를 하지 않아 인공지능 산출물은 저작물로 인정되지 않고 있으나 1차 생성형 인공지능이 저작물을 사용하여 비용을 지불한 경우 저작권 사용에 대한 비용 일부를 지불하는 방안을 제안한다. (iii) 마지막으로 창작자가 창작활동을 하면서 여러 가지 이유로 생성형 인공지능을 사용하여 나온 생성물을 참고하여 공동 협업에 의한 창작물이 완성된 경우 그 창작물이 저작물로 인정될 수 있는지 여부의 쟁점을 살펴본다. 창작물의 일부만 생성형 인공지능의 도움을 받은 경우 저작물로 인정이 가능한지에 대해 살펴본다. 영국의 ‘CDPA(Copyright, Designs and Patents Acts 1988)’에서는 컴퓨터에 의한 생성물도 저작물로 인정하고 있으나 우리나라와 미국은 현재 자연인에 의한 저작물이 아니면 저작물로 인정하고 있지 않다. 따라서 미국에서는 ‘고용저작물(The work made for hire)’에 관한 저작권법을 ‘인공지능 고용 저작물(AI Work Made for Hire)’로 개정하고자 하는 의견들이 제시되고 있다. 우리도 미국의 ‘인공지능 고용 저작물’ 개정안을 받아들여 협업생성물이 자연인에 의해 창조된 부분이 일정 부분을 넘으면 저작물로 인정하는 방안을 제안한다. 저작물을 공정이용이나 TDM의 저작물 면책 조항으로 인정하면 저작자의 창의적인 작품 활동을 크게 축소할 수 있을 것이다. 그리고 현재의 저작권에 따라 저작물 이용을 허락하면 인공지능 개발자는 막대한 저작물 사용 비용을 지불해야 하고 시간도 많이 소요되는 어려움이 있다. 특히 자금이 많지 않은 인공지능 관련 산업체나 초기 사업자들은 인공지능 신기술 개발에 따른 투자에 어려움이 많아 신기술을 개발할 수 있는 기회조차도 가질 수 없는 불평등이 발생할 수 있다. 향후 인공지능의 기술은 지속적으로 발전할 것으로 예상되며 따라서 현재 우리 저작권법을 개정하여 저작자와 인공지능 개발자와 사회구성원 모두가 상생할 수 있는 발전 방안을 협의와 논의를 통해 모색할 필요가 있다고 사료 된다. 본 논문에서 제시한 대응 방안의 핵심은 생성형 인공지능에서 필요한 학습용 데이터 및 인공지능 기술 개발에 필요한 저작물 사용에 대한 저작권 보호를 현재 보다는 다소 완화하는 방안을 제안한다. 우리 저작권법 목적인 저작자의 권리만을 보호하는 것이 아니라 ‘이용자의 공정한 이용을 도모’함으로써 궁극적으로는 문화 및 관련 산업의 향상 발전에 이바지함을 목적으로 한다. 를 살린 대응방안을 제안한다. 사회적 권리에 적합하게 저작물에 대한 저작권 보호 정책과 기술 개발 정책을 함께 고려하여 저작물에 대한 저작권 보호를 현행 보다는 다소 완화하고 인공지능 개발자들도 저작물 사용료를 비교적 저렴하게 지불하고 사용할 수 있도록 하는 방안을 제안한다. 저렴한 저작물 사용료에 대한 혜택을 저작자들에게 다시 환원해 줄 수 있도록 인공지능 개발자 등 저작물 사용을 통해 창출되는 이익의 일부를 환원해 주어 이 기금을 통해 저작자들의 창작 활동을 도모할 수 있도록 지원을 해 주는 방안이다. 이러한 대응방안을 실현하기 위해 (가칭) ’인공지능을 위한 저작물 전문 관리기관‘을 운영하는 방안을 제안한다. (가칭) ’인공지능을 위한 저작물 전문 관리기관‘에서는 저작물 등록과 관리를 편리하게 할 수 있도록 (가칭) ’저작물 통합 관리 시스템‘ 을 운영한다. 그리고 저작물성을 판단하는 (가칭) ’저작물 통합 관리 시스템‘에 되어 있는 (가칭) ’지능형 저작물 판별 시스템‘ 기능을 통해 나온 결과를 기반으로 최종적으로 저작물을 의결하고 승인하는 ’심의위원회‘와 같은 심의· 의결 기구도 보유하고 있어야 한다. (가칭) ’저작물 전문 관리기관‘에서 운영하는 (가칭) ’저작물 통합 관리 시스템‘에서 제공하는 주요 핵심 기능은 (i) 저작물을 판별할 수 있는 지능형 저작물 판별 시스템 기능, (ii) 모든 창작자 및 저작자가 등록할 수 있는 기능, (iii) 저작물 등록 기능, (iv) 저작물 사용에 필요한 저작자의 동의나 승인을 구할 수 있는 기능, (v) 저작물 사용에 따른 기금을 합리적으로 운용할 수 있는 기능이 있다. 이런 시스템을 운영하게 되면 저작물 사용에 필요한 저작자의 동의를 구하는데 따른 비용과 시간이 많이 소요되어 저작물 침해가 발생할 수 있는 여지를 많이 줄일 수 있다. 새롭게 생성되고 제작되는 창작물이 저작물인지 아닌지 판단도 자동화되고 저작물 검색도 지능형 시스템을 통해 신속하고 편리하게 다 확인할 수 있다. 따라서 인공지능 개발자 등 사용자가 학습용 데이터에 저작물이 포함되어 있는지 확인하는 과정도 간단하고 신속하게 처리할 수 있다. 또한 저작자에게 동의를 구하는 방법도 시스템을 통해서 할 수 있으므로 저작물을 사용하는데 반드시 필요한 저작자 동의 구하는 시간과 비용이 많이 절약되며 특히 저작물에 대한 출처를 밝히는 일도 더불어 간단해진다. 이렇게 (가칭) ’인공지능을 위한 저작물 전문 관리 기관‘을 운영하여 저작권자와 인공지능 개발자 모두에게 상생할 수 있는 공간을 제공할 수 있다면 저작권도 보호받고 인공지능 기술 개발에도 도움이 될 것으로 사료된다. Generative AI should learn in advance using a huge amount of learning data such as text, video, music, gestures, gaze, and facial expression data in order to generate good performance results desired by users. In order to improve performance by continuously applying newly created data and changed knowledge and information in society, generative AI needs to learn. The performance of generative AI gets better when the quality of learning data is excellent and the quantity is increasing. Accordingly, ultra-large AI is being developed by collecting and utilizing learning data to perform learning. This enormous amount of learning data might contain copyrighted works. Currently, most of generative AI learning data is collected in various ways. In most cases, data on web pages is collected using automated crawling methods, and open sources or data are collected in some cases. And the instructions entered by the generative AI user are being used as learning data. In addition, the results such as text, music, and video created using computers including generative AI can be used as learning data. When collecting large-scale data on web pages by mechanical crawling, it is possible to apply fair use which is exempt from copyright infringement. If, however, copyrighted works are included, consent must be obtained from all authors in accordance with the Korean copyright law. It is, however, difficult to obtain consent for use from all authors while collecting large amounts of learning data because it might take a lot of time and money. Fail in obtaining author’s consent might result in copyright infringement. As the value of data is increasing as learning data is needed, and the need for legal protection of copyrighted works is also increasing, copyright law, etc. might be helpful. It is considered that the amendment of the copyright law, which is in the process of being enacted, might be required so that authors and generative AI developers can coexist, whose technology is gradually getting more sophisticated and developing. This paper examines the legal issues that might arise from copyright infringement, in the process of the prior learning required for development of generative AI, as well as learning data used for continuous learning to apply data changes as using generative AI. The issues are classified into three categories depending on the sources from which the learning data used in prior and continuous learning, and countermeasures are described; (i) Copyright infringement and countermeasures in case of collecting and using large amounts of learning data from the currently operating web or public places. As various AI technologies including generative AI develop, they have many positive effects on humanity and society, but a lot of negative effects are also generated, such as copyright infringement, privacy issues, ethical issues, and biased results from the use of learning data. Accordingly, this paper examines the legal regulations that major countries around the world are enacting to regulate adverse effects caused by the development of AI. It also describes copyright law issues and countermeasures, whether the use of large amounts of learning data might be considered fair use. (ii) Copyright infringement and countermeasures in case of utilizing output that learning data created from generative AI. For the purpose of technical development including generative AI, major countries are enacting legislation on copyright disclaimer in TDM (Text & Data Mining). Our copyright law also includes similar contents to TDM in the amendment. There are, however, cases of copyright infringement in the output of generative AI that remembers and makes the copyrighted works. Accordingly, AI output is not recognized as a copyrighted work because an individual does not intervene or participate in the creation of the work. In cases where primary generative AI uses copyrighted work and pays for it, a plan to pay a portion of the cost for the copyright use is proposed. (iii) Lastly, this paper examines whether a creative work can be recognized as a copyrighted work if it is made through joint collaboration by referring to the output made by generative AI for various reasons during the creator’s activity, as well as the case where only part of the work was assisted by generative AI. The UK's CDPA (Copyright, Designs and Patents Acts 1988) recognizes computer-generated works as copyrighted works, while Korea and the United States currently do not recognize works unless they are created by natural persons. In the US, therefore, opinions to revise the copyright law on ‘The work made for hire’ to ‘AI Work Made for Hire’ are being presented. This paper also proposes a plan to accept the US amendment to ‘AI Work Made for Hire’ and recognize collaborative works as copyrighted ones if a part created by natural person goes beyond a certain portion of works. If copyrighted work is recognized as fair use or copyright disclaimer of TDM, authors’ creative works might be significantly reduced. In addition, if the use of copyrighted works is permitted according to the current copyright law, AI developers will have to pay huge fees and take a lot of time for using them. In particular, AI-related industries or early-stage businesses without a lot of funds have difficulty in investing in the development of new AI technologies, which might lead to inequality where they cannot even have the opportunity to develop new technology. Since AI technology is expected to continuously develop in the future, it is required to revise our current copyright law and discuss development plans so that authors, AI developers, and members of society can all coexist. The point of the countermeasure presented in this paper is to somewhat ease copyright protection for the use of learning data required for generative AI and copyrighted works required for AI technology development. The purpose of the countermeasure proposed in this paper is not only to protect the rights of authors, which is the purpose of the copyright law, but to ultimately contribute to the improvement and development of cultural and related industries by ‘promoting fair use by users.’. This paper proposes a plan to ease copyright protection more than present level and to allow AI developers to pay for use of copyrighted works in a relatively low cost by considering both copyright protection policies and technical development policies appropriate for social rights. This plan is to support authors to promote their creation by returning some of the profits generated through the use of copyrighted works by AI developers, so that the benefits of low copyright royalties can be returned to authors. In order to realize these countermeasures, this paper proposes a plan to operate a (tentative name) ‘copyrighted works management agency for AI.’. This organization operates a (tentative name) ‘integrated copyright management system’ to facilitate registration and management of copyrighted works. In addition, this organization needs to have a decision-making body such as ‘Review Committee’ that ultimately decides and approves the work based on the results from the (tentative name) ‘Intelligent Work Judgment System’ function of the (tentative name) ‘integrated copyright management system’. The core functions provided by the (tentative name) ‘integrated copyright management system’ operated by the ‘copyrighted works management agency for AI’ are (i) an intelligent work identification system function that can identify copyrighted works, (ii) function that all creators and authors can register; (iii) function to register works; (iv) function to obtain consent or approval from authors necessary for use of works; (v) function to reasonably manage funds based on use of works. Operating such a system can greatly reduce the possibility of copyright infringement due to the high cost and time required to obtain the author's consent to use the copyrighted work. The judgment process of whether newly created and produced creative works are copyrighted works is automated, and copyrighted works can be searched quickly and conveniently through an intelligent system. Therefore, users including AI developers can simply and quickly check whether the learning data contains copyrighted works. Since the consent from the author might be also obtained through the system, the time and cost of getting the author’s consent essential for using the work is greatly saved, and it becomes simpler to disclose the source of the work. If it is possible to operate a (tentative name) ‘copyrighted works management agency for AI’ and provide a space where both copyright holders and AI developers can coexist, copyright will be protected and it will also be helpful to develop AI technology.

이미지 기반 강화학습의 일반화 성능 향상을 위한 자기지도학습 및 강한 데이터 증강 방법

박상훈 국민대학교 자동차공학전문대학원 2023 국내석사

딥러닝 네트워크와 강화학습의 결합은 알파고를 시작으로 그 가능성이 입증됨에 따라 자율주행, 자율 비행, 자동화 로봇 등 다양한 분야에 활용되고 있다. 딥러닝 네트워크 기반의 강화학습에서 이미지를 그대로 입력 데이터로 사용하는 경우, 저 차원의 상태 벡터를 정의하기 위해 고비용의 센서들을 사용할 필요가 없다는 장점 이 있다. 하지만, 이미지의 고차원적 특성으로 인해 저차원의 상태 벡터에 비해 데 이터 효율성이 낮고, 다양한 환경 변화에 강건하지 못한 일반화 문제가 존재한다. 이러한 문제들은 기존 강화학습 아키텍처에 데이터 증강 기반 자기지도학습 프레 임워크를 추가하여 어느 정도 해결할 수 있다. 그러나 입력 이미지를 지나치게 강 하게 증강하는 경우, 강화학습 자체를 방해할 수 있다는 문제가 존재한다. 따라서 본 논문에서는 입력 이미지 증강 강도에 따른 데이터 효율성과 일반화 성능 사이에 존재하는 상충 관계를 극복할 수 있는 Self-pretraining 학습 방법을 제안한다. 학 습 초기에는 원본 이미지만을 사용하여 강화학습과 대조학습을 동시에 진행시켜 Query Encoder를 학습시키고, 일정 step 후부터 입력 이미지에 Random Convolution과 같은 강한 증강을 적용한 채 강화학습 및 대조학습을 계속 진행한 다. 제안한 방법을 통해 강력한 데이터 증강이 강화학습 성능을 저해하지 않음과 동시에 일반화 성능을 위한 보조 효과를 극대화할 수 있다. 실험은 학습 환경과 같은 환경이지만 전반적인 색감과 뒷배경이 정적 및 동적으 로 변화하는 테스트 환경을 제공해주는 이미지 기반 강화학습 환경인 Google Deepmind Control(DMControl)에서 진행되었다. 학습 환경에서 50만개의 frame 을 사용하여 학습한 강화학습 에이전트가 학습 환경과 유사하지만 다른 여러 테스 트 환경에서 강건하게 강화학습을 진행하는지 기존 SOTA(State-Of-The-Art) 알고리즘들과의 비교를 통해 검증하였다. 실험 결과, 정적 및 동적으로 변화하는 테 스트 환경 모두에서 제안한 방법이 기존 SOTA 방법보다 다양한 환경에 강건하게 입력 이미지 데이터를 효율적으로 사용함을 입증했다. The combination of deep learning networks and reinforcement learning is being used in various fields such as autonomous driving, autonomous flight, and automation robots as the possibility has been proven, starting with AlphaGo. When image is used as input data in reinforcement learning, there is an advantage that it is not necessary to use expensive sensors to define low-dimensional state vectors. However, due to the high-dimensional nature of the image, there is a generalization problem that is less data efficient than low-dimensional state vectors and is not robust to various environmental changes. These problems can be solved to some extent by adding a data augmentation-based self-supervised learning framework to the existing image-based reinforcement learning architecture. However, there is a problem that excessive strong augmentation of the input image can interfere with reinforcement learning itself. Therefore, in this paper, we propose a self-preraining learning method that can overcome the trade-offs that exist between data efficiency and generalization according to data augmentation intensity. At the beginning of training, reinforcement learning and contrastive learning are conducted simultaneously using only the original image to train query encoder, and after a certain step, the training is continued with strong augmentation such as random convolution applied to the input image. The proposed method allows robust data augmentation to maximize the ancillary effect for generalization performance while not hindering reinforcement learning performance. The experiment was conducted in Google Deepmind Control (DMCcontrol), an image-based reinforcement learning environment that provides a test environment in which overall colors and backgrounds change statically and dynamically. The reinforcement learning agent learned using 500,000 frames in the training environment was verified by comparing it with other existing SOTA (State-Of-The-Art) algorithms to see if the reinforcement learning agent is similar to the learning environment but robust in several other test environments. Experiments demonstrate that our proposed methods in both static and dynamically changing test environments use input image data more efficiently than conventional SOTA methods.

DEEP LEARNING ON GRAPHS

이재구 서울대학교 대학원 2018 국내박사

In this dissertation, deep learning on graph is proposed theoretically and experimentally as a new research approach that applies machine learning, deep learning in particular, on complex and dynamic relational data that can be expressed properly by a graph. Social network services that are closely related to our lives, such as Facebook, and organisms that comprise numerous proteins with various structures, indicate the importance of graph representation and its analysis, including not only individual entity information but also comprehensive structural information among entity relationships. Unlike traditional data representation and its analysis, graph-based representation and analysis that include intrinsic geometric information will be able to facilitate further analysis through an interdisciplinary approach with deep learning, which has recently achieved remarkable results in various fields. This new approach also provides research diversity, assisting in the ultimate goal of achieving true artificial intelligence. Along these lines, proposed new approaches of machine learning to extract data-driven features more effectively and to discover new facts from complex and dynamic relational data. Throughout this dissertation, four approaches to apply machine learning are presented, specifically deep learning to graphs, spatial learning, spatial-temporal learning, and efficient learning and sampling. These approaches are described in detail in their corresponding chapters. First, a spatial learning approach is proposed to quantitatively extract the structural features of a graph and measure the similarity between graphs. The spatial learning approach is extended to a spatial-temporal learning approach that learns and predicts not only the data-driven structural features but also the dynamically changing features of graphs through deep learning. In order to improve the graph learning approaches described above, an efficiency learning approach attempts to advance deep learning for graphs by incorporating a transfer learning and sampling approach that identifies the possibility of efficient learning for large scale data having graph representation. The proposed deep learning on graph provides a comprehensive data analysis tool that is differentiated from existing data representation and analysis methods, and is validated through experimental results. It also embraces diversity of research by expanding the leverage of deep learning, which has produced remarkable results in various fields such as image, speech, and text, and is potentially of value in other unexplored domains.

Optimal Bayesian Transfer Learning for Classification and Regression

Karbalayghareh, Alireza Texas A&M University ProQuest Dissertations & Thes 2019 해외박사(DDOD)

Machine learning methods and algorithms working under the assumption of identically and independently distributed (i.i.d.) data cannot be applicable when dealing with massive data collected from different sources or by various technologies, where heterogeneity of data is inevitable. In such scenarios where we are far from simple homogeneous and uni-modal distributions, we should address the data heterogeneity in a smart way in order to take the best advantages of data coming from different sources. In this dissertation we study two main sources of data heterogeneity, time and domain. We address the time by modeling the dynamics of data and the domain difference by transfer learning. Gene expression data have been used for many years for phenotype classification, for instance, classification of healthy versus cancerous tissues or classification of various types of diseases. The traditional methods use static gene expression data measured in one time point. We propose to take into account the dynamics of gene interactions through time, which can be governed by gene regulatory networks (GRN), and design the classifiers using gene expression trajectories instead of static data. Thanks to recent advanced sequencing technologies such as single-cell, we are now able to look inside a single cell and capture the dynamics of gene expressions. As a result, we design optimal classifiers using single-cell gene expression trajectories, whose dynamics are modeled via Boolean networks with perturbation (BNp). We solve this problem using both expectation maximization (EM) and Bayesian framework and show the great efficacy of these methods over classification via bulk RNA-Seq data. Transfer learning (TL) has recently attracted significant research attention, as it simultaneously learns from different source domains, which have plenty of labeled data, and transfers the relevant knowledge to the target domain with limited labeled data to improve the prediction performance. We study transfer learning with a novel Bayesian viewpoint. Transfer learning appears where we do not have enough data in our target domain to train the machine learning algorithms well but have good amount of data in other relevant source domains. The probability distributions of the source and target domains might be totally different but they share some knowledge underlying the similar tasks between the domains and are related to each other in some sense.The ultimate goal of transfer learning is to find the amount of relatedness between the domains and then transfer the amount of knowledge to the target domain which can help improve the classification task in the data-poor target domain. Negative transfer is the most vital issue in transfer learning and happens when the TL algorithm is not able to detect that the source domain is not related to the target domain for a specific task. For addressing all these issues with a solid theoretical backbone, we propose a novel transfer learning method based on a Bayesian framework. We propose a Bayesian transfer learning framework, where the source and target domains are related through the joint prior distribution of the model parameters. The modeling of joint prior densities enables better understanding of the transferability between domains. Using such an idea, we propose optimal Bayesian transfer learning (OBTL) for both continuous and count data as well as optimal Bayesian transfer regression (OBTR), which are able to optimally transfer the relevant knowledge from a data-rich source domain to a data-poor target domain, whereby improving the classification accuracy in the target domain with limited data.