小流域河川에 대한 單位流量圖의 合成

崔東脘 건국대학교 1977 論文集 Vol.6 No.1

In many cases hydrographs are required for points where no observations of discharge are available. Hence some means of deriving unit graph for ungaged basin is necessary. Some authors in Korea are attempt to derive the synthetic unit hydrographs for the Han, Nakdong and Geum River Basin. Those study results are the products of relating hydrographs to basin characteristics especially basin lag presented by Synder. The purposes of this study are to develop the synthetic unit hydrograph for the YEONG-SAN RIVER BASIN and to extend to applicability of the unit graph to other streams less than 1,000 km2 of catchment area in Korea. The results of this study are concluded as follows. 1.The basin lag time in hoers was given by tp= 1.2561(L.Lc)0.3047. It found that the basin lag time is closely related with the drainage basin characteristics such as stream length, L, distance to the centroid of each watershed, Lc. 2.The peak discharge per unit area of unit hydrograph in cubic meter per seconds was given by ◁수식삽입▷ (원문을 참조하세요) 3.The duration of surface runoff, or the base length of unit hydrograph in days was given by ◁수식삽입▷ (원문을 참조하세요) 4.The width W75 of the unit hydrograph at discharge equal to 75% of the peak discharge in hours and the width W50 at discharge equal to 50% of the peak discharge in hours may be computated to ◁수식삽입▷ (원문을 참조하세요) and ◁수식삽입▷ (원문을 참조하세요) respectively. This Provides supplementary guide for sketching the unit hydrograph. 5.A recommendation is made for the further study.

86대회와 사진취재

崔東完 관훈클럽 1986 관훈저널 Vol.- No.42

AI 로봇융합교육 방법론 (AI SW + Robotics + Actuator)

최동완 대한기계학회 2023 대한기계학회 춘추학술대회 Vol.2023 No.6

인공지능 교육용 로봇 융합 교육 프로그램의 실제사례와 효과

최동완(Dong Wan Choi),김재효(Jae Hyo Kim) 대한기계학회 2024 대한기계학회 춘추학술대회 Vol.2024 No.6

태스크 점진 학습에서의 적대적 생성 신경망과 베이지안 신경망을 활용한 모델 재생성

강한얼,최동완 한국정보과학회 2022 정보과학회논문지 Vol.49 No.12

In contrast to the human ability of continual learning, deep learning models have considerable difficulty maintaining their original performance when the model learns a series of incrementally arriving tasks. In this paper, we propose ParameterGAN, a novel task-incremental learning approach based on model synthesis. The proposed method leverages adversarial generative learning to regenerate neural networks themselves which have a parameter distribution similar to that of a pre-trained Bayesian network. Also, using pseudo-rehearsal methods, ParameterGAN enables continual learning by regenerating the networks of all previous tasks without catastrophic forgetting. Our experiment showed that the accuracy of the synthetic model composed of regenerated parameters was comparable to that of the pre-trained model, and the proposed method outperformed the other SOTA methods in the comparative experiments using the popular task-incremental learning benchmarks Split-MNIST and Permuted-MNIST. 지속적인 학습이 가능한 인간과는 대조적으로 딥러닝 모델은 학습하는 태스크가 점진적으로 들어오는 상황에서 기존의 성능을 유지하는데 상당한 어려움을 갖는다. 본 논문에서는 신경망 재생성 기반의 새로운 태스크 점진 학습 방법인 ParameterGAN을 제안한다. 제안된 방법은 적대적 생성 학습을 활용하여 사전 학습한 베이지안 신경망의 파라미터와 유사한 분포를 가지는 신경망 자체를 재생성하고, 유사 리허설(pseudo-rehearsal) 방식을 통해 치명적 망각 없이 과거 모든 시점의 신경망을 재생성하여 지속학습을 가능하게 한다. 다양한 실험을 통해 재생성한 파라미터로 구성된 합성 모델의 성능이 사전 학습된 모델의 성능에 준함을 확인하고, 태스크 점진 학습 상황인 Split-MNIST, Permuted-MNIST 벤치마크 실험에서 제안 방법이 기존의 다른 방법보다 더욱 우수한 성능을 보임을 확인한다.

데이터 없이 사전학습된 태스크 모델 기반 생성형 모델의 지속학습

신현준,최동완 한국차세대컴퓨팅학회 2023 한국차세대컴퓨팅학회 논문지 Vol.19 No.4

Research on continual learning to prevent catastrophic forgetting problem of deep learning has recently expanded from classification models to generative models. However, the continual learning of generative models relies on task-specific input data, which poses constraints on pivacy issues and limited memory resources in the real world. In other words, considering the black-box property of neural networks and their relatively small memory size, there is a need to replace inaccessible data. In this paper, we propose the first model, called Data-Free Continual Learning of Generative Network (DF-CLG), which receives pre-trained inference model as input instead of directly accessing task-specific data. Specifically, the generative model is trained to synthesize the data used in the training by constraining the statistics of batch normalization layers stored in the pre-trained inference network. Subsequently, by applying representative continual learning methods, namely regularization-based and rehearsal-based approaches, it is demonstrated that the proposed generative model can alleviate catastrophic forgetting. It is worth noting that regularization-based methods, which are known for their relatively poor performance in continual learning, show comparable or superior performance to rehearsal-based methods in the proposed generative model. 딥러닝의 치명적 망각 현상(Catastrophic forgetting)을 방지하기 위한 지속 학습 연구는 최근 분류모델에서 생성형 모델로 확장되고 있다. 하지만 생성형 모델의 지속 학습은 태스크별 입력 데이터에 의존하며, 이는 현실 세계에서 프라이버시 문제와 한정된 메모리 자원에 따른 제약이 존재한다. 즉, 신경망의 블랙박스 특성과 상대적으로 작은 메모리 크기를 고려하여, 접근 불가능한 데이터를 대체할 필요가 있다. 이에 본 논문에서는 태스크별 데이터에 직접 접근하는 대신, 해당 데이터를 사전 학습한 추론형 신경망만을 입력으로 받아 생성형 모델을 지속 학습하는 모델(Data-Free Continual Learning of Generative Network, DF-CLG)을 처음으로 제안한다. 구체적으로, 사전 학습된 추론형 신경망에 저장된 배치 정규화 계층의 통곗값을 제약하여 학습에 사용된 데이터를 역으로 합성하는 생성형 신경망을 학습한다. 이후, 대표적인 지속 학습 기법인 규제 기반 방법과 리허설 기반 방법을 적용하여, 제안된 생성형 신경망의 치명적 망각 현상이 완화될 수 있음을 보인다. 주목할 점은, 지속 학습에서 상대적으로 저조한 성능으로 알려진 규제 기반 방법이 제안된 생성형 모델에서 리허설 기반 방법에 준하거나 우수한 성능을 보인다는 것이다.

PGB: BERT 프루닝을 위한 순서 변경 규칙 및 그룹화

임혜민,최동완 한국정보과학회 2023 정보과학회논문지 Vol.50 No.6

최근 사전 학습된 트랜스포머 계열의 모델은 자연어 처리, 이미지 인식 등 다양한 인공지능 분야에서 활발히 사용되고 있다. 그러나 해당 모델들은 수십억 개의 파라미터를 가지고 있어 추론 시에 상당한 연산량을 필요로 하며 자원이 제한된 환경에서 사용하기에는 많은 제약이 따른다. 이러한 문제들을 해결하기 위해 본 논문은 트랜스포머 모델에 대한 그룹화 기반의 새로운 구조화된 프루닝 방법인 PGB(Permutation Grouped BERT pruning)를 제안한다. 제안된 방법은 자원 제약 조건에 따라 최적의 어텐션 순서를 변경하는 방법을 찾고, 모델의 정보 손실을 최소화하기 위해 헤드의 중요도를 기반으로 불필요한 헤드에 대해 프루닝한다. 다양한 비교 실험을 통해 사전 학습된 BERT 모델에 대한 기존의 구조화된 프루닝 방법보다 본 논문에서 제안한 방법이 추론 속도 및 정확도 손실 측면에서 더 우수한 성능을 보임을 확인한다.

Blurry 클래스 증분 학습 환경에서의 효율적인 프롬프트 학습 방법

오윤석,최동완 한국정보과학회 2024 정보과학회논문지 Vol.51 No.7

연속 학습은 일련의 태스크로 구성된 데이터를 연속적으로 학습하면서 성능을 유지하는 것을 목표로 한다. 보편적 시나리오인 태스크 간 클래스가 겹치지 않는 disjoint 연속 학습과는 달리, blurry 연속 학습은 태스크 간 클래스가 겹치는 보다 현실적인 시나리오를 다룬다. 기존 대부분의 연속 학습 연구는 disjoint 시나리오에 초점을 맞추어 진행되어 왔고, 최근에는 ViT(Vision Transformer) 모델에 프롬프트 메커니즘을 적용하는 프롬프트 기반 연속 학습이 많은 관심을 받고 있다. 본 논문에서는 프롬프트 기반 연속 학습 방법을 기반으로 blurry 클래스 증분 학습에 적합한 유사도 함수를 적용시킴으로써 실험을 통해 그 성능을 분석한다. 이를 통해 우리의 방법이 더 효율적으로 blurry 데이터를 학습하는 것을 입증하면서 우수성을 확인한다. Continual learning is the process of continuously integrating new knowledge to maintain performance across a sequence of tasks. While disjoint continual learning, which assumes no overlap between classes across tasks, blurry continual learning addresses more realistic scenarios where overlaps do exist. Traditionally, most related works have predominantly focused on disjoint scenarios and recent attention has shifted towards prompt-based continual learning. This approach uses prompt mechanism within a Vision Transformer (ViT) model to improve adaptability. In this study, we analyze the effectiveness of a similarity function designed for blurry class incremental learning, applied within a prompt-based continual learning framework. Our experiments demonstrate the success of this method, particularly in its superior ability to learn from and interpret blurry data.

GAN에서의 점진학습을 위한 잠재벡터 저장 기반 리허설 방법

정혜민,최동완 한국정보과학회 2023 정보과학회논문지 Vol.50 No.4

Unlike humans, sequential learning of multiple tasks is a difficult problem in a deep learning model. This problem is not only for discriminative models, but also for generative models, such as GAN. The Generative Replay method, which is frequently used in GAN continual learning, uses images generated by GAN provided in the previous task together for learning new tasks, but does not generate good images for CIFAR10, which is a relatively challenging task. Therefore, we can consider a rehearsal-based method that stores a portion of the real data, which cannot store a huge amount of images in limited memory because of large dimension of the real image. In this paper, we propose LactoGAN and LactoGAN+, continual learning methods that store latent vectors that are the inputs of GANs rather than storing real images, as the existing rehearsal-based approaches. As a result, more image knowledge can be stored in the same memory; thus, showing better results than the existing GAN continual learning methods. 인간과 달리 딥러닝 모델에게 다수의 태스크에 대한 순차적 학습은 어려운 문제이다. 이는 비단 분류모델뿐만 아니라 GAN과 같은 생성모델도 해당한다. GAN 지속학습 연구에서 주로 사용하는 Generative Replay 방식은 직전 태스크까지 학습된 GAN이 생성한 이미지를 새로운 태스크 학습 시 함께 사용하는데, 비교적 어려운 태스크에 속하는 CIFAR10에 대해서 좋은 품질의 이미지를 생성하지 못한다. 따라서 실제 이미지의 일부를 저장하는 리허설 기반 방법을 고려해볼 수 있는데, 실제 이미지는 큰 차원을 가지기 때문에 제한된 메모리에 많은 양을 저장할 수 없다. 본 논문에서는 기존 리허설 기반 방식에서 이미지를 저장하는 대신에 GAN의 입력이 되는 잠재벡터를 저장하는 지속학습 방법 LactoGAN과 LactoGAN+를 제안한다. 그 결과 같은 메모리에 더 많은 이미지 정보의 저장이 가능하게 되어 기존 GAN 지속학습 방법들에 비해 더 우수한 결과를 보임을 확인하였다.

FedGC: 준지도 연합학습을 위한 글로벌 일관성 정규화

정구본,최동완 한국정보과학회 2022 정보과학회논문지 Vol.49 No.12

Recently, in the field of artificial intelligence, methods of learning neural network models in distributed environments that use sufficient data and hardware have been actively studied. Among them, federated learning, which guarantees privacy preservation without sharing data, has been a dominant scheme. However, existing federated learning methods assume supervised learning using only labeled data. Since labeling costs are incurred for supervised learning, the assumption that only label data exists in the clients is unrealistic. Therefore, this study proposes a federated semi-supervised learning method using both labeled data and unlabeled data, considering a more realistic situation where only labeled data exists on the server and unlabeled data on the client. We designed a loss function considering consistency regularization between the output distributions of the server and client models and analyzed how to adjust the influence of consistency regularization. The proposed method improved the performance of existing semi-supervised learning methods in federated learning settings, and through additional experiments, we analyzed the influence of the loss term and verified the validity of the proposed method. 최근 인공지능 분야에서는 충분한 데이터와 하드웨어를 이용하기 위해 분산 환경에서의 신경망 모델 학습 방법이 활발히 연구되어지고 있다. 그중 데이터 공유 없이 프라이버시를 보장하는 연합학습이 대두되고 있지만, 기존 연합학습 방법들은 레이블 데이터만 이용하는 지도학습을 가정한다. 지도학습을 위해서는 레이블 비용이 발생한다는 점에서 클라이언트에 레이블 데이터만 존재하는 가정은 비현실적이다. 따라서 본 논문은 서버에 레이블 데이터가 있고 클라이언트에 레이블이 없는 데이터만 존재하는 현실적인 상황을 가정하여, 레이블 데이터와 레이블이 없는 데이터 모두를 사용한 준지도 연합학습 방법을 제안한다. 논문에서는 서버와 클라이언트 모델의 일관성 정규화를 고려한 손실함수를 설계하며, 일관성 정규화의 영향력을 조절하는 방안에 대해 분석한다. 제안된 방법은 연합학습 환경에서 기존 준지도 학습 방법의 성능을 개선하였으며, 추가적인 실험을 통해 손실항의 영향력을 분석하고 제안된 방법의 타당성을 검증한다.