생성예술 계보 속 생성형 인공지능 기반 예술에 관한 연구 - 생성예술의 시스템적 관점으로 본 디퓨전 모델

신종천 중앙대학교 인문콘텐츠연구소 2023 인공지능인문학연구 Vol.15 No.-

본 연구는 최근 주목받고 있는 생성형 인공지능 기반 예술의 정체성을 밝히기 위해 생성예술의 핵심요소인 시스템을 분석하고 인공지능 이미지 생성 모델을 생성예술의 계보와 이론 속에서 논의한다. 생성예술가이자 이론가인 필립 갈란터 (Philip Galanter)는 생성예술을 예술가가 일련의 자연스러운 언어 규칙, 컴퓨터 프로그램 또는 다른 절차적 고안물과 같은 어느 정도의 자율적인 움직임을 가지 는 시스템을 사용하는 예술 실천으로 정의한다. 이러한 생성예술의 핵심은 시스 템의 사용이고, 컴퓨터와 프로그램을 활용하는 생성예술의 미적 지향점은 복잡시 스템이다. 유전시스템이나 인공생명과 같은 복잡시스템을 활용하는 생성예술이 드러내고자 하는 미적 가치는 질서도를 높이는 요소와 무질서도를 높이는 요소 를 동시에 사용하면서 예측하지 못한 자기고유성을 드러내는 것에 있다. 그것은 그 시스템이 돌연변이나 노이즈를 얼마나 확장적으로 수용할 수 있느냐와 연관 된 것으로 다양성과 복잡성을 확보할 수 있는 관건이 된다. 흥미롭게도, 인공지 능을 이용한 이미지 생성기술들 중 최근에 등장한 디퓨전 모델(Diffusion Model, DM)의 경우 생성예술이 지향하는 복잡시스템의 미적 활용에 가깝다. 열역학에 서 아이디어를 가져온 디퓨전 모델은 노이즈를 의도적으로 주입하는 정방향 확 산과 학습을 통해 노이즈를 제거하는 역방향 복원 과정을 통해 예상하지 못한 다양한 이미지를 생성시킬 수 있다. 결과적으로, 예술가의 직관을 뛰어넘으면서도 예술가가 바라던 결과물에 근접하도록 만드는 디퓨전 모델은 생성예술의 매력적 인 도구가 될 수 있다. This study analyzes the system, which is a key element of generative art, and discusses the AI image generative model in the genealogy and theory of generative art, in order to reveal the identity of generative AI-based art. Philip Galanter, a generative artist and theorist, defines generative art as any art practice where the artist uses a system, which is set into motion with some degree of autonomy, such as a computer program or procedural invention. The core of generative art is the use of systems, and the aesthetic goal of generative art that uses computers and programs is to create a “complex” system such as a genetic system or artificial life. The aesthetic value that generative art seeks to reveal lies in creating unexpected uniqueness while simultaneously using elements that increase from the highly ordered to the highly disordered. It is related to how extensively the system can accommodate mutations and noise, and secure diversity and complexity. Interestingly, the Diffusion Model(DM), which has recently appeared among generative artificial intelligence, is a case of the aesthetic use of complex systems, which generative art aims for. The diffusion model, which takes ideas from thermodynamics, can create a variety of unexpected images through forward diffusion, which intentionally injects noise, and a reverse restoration process, which removes noise through learning. As a result, the diffusion model, which exceeds the artist’s intuition while also bringing it closer to the artist’s desired result, can be an attractive tool for generative art.

생성예술 계보 속 생성형 인공지능 기반 예술에 관한 연구 - 생성예술의 시스템적 관점으로 본 디퓨전 모델

신종천 ( Jongcheon Shin ) 중앙대학교 인문콘텐츠연구소 2023 인공지능인문학연구 Vol.15 No.-

본 연구는 최근 주목받고 있는 생성형 인공지능 기반 예술의 정체성을 밝히기 위해 생성예술의 핵심요소인 시스템을 분석하고 인공지능 이미지 생성 모델을 생성예술의 계보와 이론 속에서 논의한다. 생성예술가이자 이론가인 필립 갈란터(Philip Galanter)는 생성예술을 예술가가 일련의 자연스러운 언어 규칙, 컴퓨터 프로그램 또는 다른 절차적 고안물과 같은 어느 정도의 자율적인 움직임을 가지는 시스템을 사용하는 예술 실천으로 정의한다. 이러한 생성예술의 핵심은 시스템의 사용이고, 컴퓨터와 프로그램을 활용하는 생성예술의 미적 지향점은 복잡시스템이다. 유전시스템이나 인공생명과 같은 복잡시스템을 활용하는 생성예술이 드러내고자 하는 미적 가치는 질서도를 높이는 요소와 무질서도를 높이는 요소를 동시에 사용하면서 예측하지 못한 자기고유성을 드러내는 것에 있다. 그것은 그 시스템이 돌연변이나 노이즈를 얼마나 확장적으로 수용할 수 있느냐와 연관된 것으로 다양성과 복잡성을 확보할 수 있는 관건이 된다. 흥미롭게도, 인공지능을 이용한 이미지 생성기술들 중 최근에 등장한 디퓨전 모델(Diffusion Model, DM)의 경우 생성예술이 지향하는 복잡시스템의 미적 활용에 가깝다. 열역학에서 아이디어를 가져온 디퓨전 모델은 노이즈를 의도적으로 주입하는 정방향 확산과 학습을 통해 노이즈를 제거하는 역방향 복원 과정을 통해 예상하지 못한 다양한 이미지를 생성시킬 수 있다. 결과적으로, 예술가의 직관을 뛰어넘으면서도 예술가가 바라던 결과물에 근접하도록 만드는 디퓨전 모델은 생성예술의 매력적인 도구가 될 수 있다. This study analyzes the system, which is a key element of generative art, and discusses the AI image generative model in the genealogy and theory of generative art, in order to reveal the identity of generative AI-based art. Philip Galanter, a generative artist and theorist, defines generative art as any art practice where the artist uses a system, which is set into motion with some degree of autonomy, such as a computer program or procedural invention. The core of generative art is the use of systems, and the aesthetic goal of generative art that uses computers and programs is to create a “complex” system such as a genetic system or artificial life. The aesthetic value that generative art seeks to reveal lies in creating unexpected uniqueness while simultaneously using elements that increase from the highly ordered to the highly disordered. It is related to how extensively the system can accommodate mutations and noise, and secure diversity and complexity. Interestingly, the Diffusion Model(DM), which has recently appeared among generative artificial intelligence, is a case of the aesthetic use of complex systems, which generative art aims for. The diffusion model, which takes ideas from thermodynamics, can create a variety of unexpected images through forward diffusion, which intentionally injects noise, and a reverse restoration process, which removes noise through learning. As a result, the diffusion model, which exceeds the artist’s intuition while also bringing it closer to the artist’s desired result, can be an attractive tool for generative art.

생성 모델과 검색 모델을 이용한 한국어 멀티턴 응답 생성 연구

이호동,이종민,서재형,장윤나,임희석 한국융합학회 2022 한국융합학회논문지 Vol.13 No.1

최근 딥러닝 기반의 자연어처리 연구는 사전 훈련된 언어 모델을 통해 대부분의 자연어처리 분야에서 우수한 성능을 보인다. 특히 오토인코더 (auto-encoder) 기반의 언어 모델은 다양한 한국어 이해 분야에서 뛰어난 성능과 쓰임을 증명하고 있다. 그러나 여전히 디코더 (decoder) 기반의 한국어 생성 모델은 간단한 문장 생성 과제에도 어려움을 겪고 있으며, 생성 모델이 가장 일반적으로 쓰이는 대화 분야에서의 세부 연구와 학습 가능한 데이터가 부족한 상황이다. 따라서 본 논문은 한국어 생성 모델을 위한 멀티턴 대화 데이터를 구축하고 전이 학습을 통해 생성 모델의 대화 능력을 개선하여 성능을 비교 분석한다. 또한, 검색 모델을 통해 외부 지식 정보에서 추천 응답 후보군을 추출하여 모델의 부족한 대화 생성 능력을 보완하는 방법을 제안한다. Recent deep learning-based research shows excellent performance in most natural language processing (NLP) fields with pre-trained language models. In particular, the auto-encoder-based language model proves its excellent performance and usefulness in various fields of Korean language understanding. However, the decoder-based Korean generative model even suffers from generating simple sentences. Also, there is few detailed research and data for the field of conversation where generative models are most commonly utilized. Therefore, this paper constructs multi-turn dialogue data for a Korean generative model. In addition, we compare and analyze the performance by improving the dialogue ability of the generative model through transfer learning. In addition, we propose a method of supplementing the insufficient dialogue generation ability of the model by extracting recommended response candidates from external knowledge information through a retrival model.

사용자 건강 상태알림 서비스의 상황인지를 위한 기계학습 모델의 학습 데이터 생성 방법

문종혁,최종선,최재영 한국정보처리학회 2020 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.9 No.1

In the context-aware system, rule-based AI technology has been used in the abstraction process for getting context information. However, the rules are complicated by the diversification of user requirements for the service and also data usage is increased. Therefore, there are some technical limitations to maintain rule-based models and to process unstructured data. To overcome these limitations, many studies have applied machine learning techniques to Context-aware systems. In order to utilize this machine learning-based model in the context-aware system, a management process of periodically injecting training data is required. In the previous study on the machine learning based context awareness system, a series of management processes such as the generation and provision of learning data for operating several machine learning models were considered, but the method was limited to the applied system. In this paper, we propose a training data generating method of a machine learning model to extend the machine learning based context-aware system. The proposed method define the training data generating model that can reflect the requirements of the machine learning models and generate the training data for each machine learning model. In the experiment, the training data generating model is defined based on the training data generating schema of the cardiac status analysis model for older in health status notification service, and the training data is generated by applying the model defined in the real environment of the software. In addition, it shows the process of comparing the accuracy by learning the training data generated in the machine learning model, and applied to verify the validity of the generated learning data. 다양한 분야에서 활용되는 상황인지 시스템은 상황정보를 획득하기 위한 추상화 과정에서 규칙 기반의 인공기능 기술이 기존에 사용되었다. 그러나 서비스에 대한 사용자의 요구사항이 다양해지고 사용되는 데이터의 증대로 규칙이 복잡해지면서 규칙 기반 모델의 유지보수와 비정형 데이터를 처리하는데 어려움이 있다. 이러한 한계점을 극복하기 위해 많은 연구들에서는 상황인지 시스템에 기계학습 기술을 적용하였으며, 이러한 기계학습 기반의 모델을 상황인지 시스템에 사용하기 위해서는 주기적으로 학습 데이터를 제공해야 한다. 이에 기계학습 기반 상황인지 시스템에 대한 선행연구에서는 여러 개의 기계학습 모델을 적용하기 위한 학습 데이터 생성, 제공 등의 과정을 보였으나 제한된 종류의 기계학습 모델만을 적용 가능하여 확장성이 고려되어야 한다. 본 논문은 기계학습 기반의 상황인지 시스템의 확장성을 고려한 기계학습 모델의 학습 데이터 생성 방법을 제안한다. 제안하는 방법은 시스템의 확장성을 고려하여 기계학습 모델의 요구사항을 반영할 수 있는 학습 데이터 생성 모델을 정의하고 학습 데이터 생성 모듈을 바탕으로 각각의 기계학습 모델의 학습 데이터를 생성하는 것이다. 시스템의 확장성의 검증을 위해 실험에서는 노인의 건강 상태 알림 서비스를 위한 심박상태 분석 모델을 대상으로 한 학습데이터 생성 스키마를 기반으로 학습데이터 생성 모델을 정의하고 실환경에서 정의된 모델을 S/W에 적용하여 학습데이터를 생성한다. 또한 생성된 학습데이터의 유효성을 검증하기 위해 사용되는 기계학습 모델에 생성한 학습데이터를 학습시켜 정확도를 비교하는 과정을 보인다.

시각화 오토인코더를 사용한 학습된 심층신경망의 잠재공간 조작 시스템

고영민,이은주,민정익,고선우 한국EA학회 2023 정보기술아키텍처연구 Vol.20 No.4

최근에 생성모델, 특히 ChatGPT와 DALLE-3과 같은 생성모델들은 사회에 큰 영향을 미치며, 이러한 모델들의 잠재공간을 정교하게 조작하고 이해하는 기술이 중요해지고 있다. 본 논문에서는 학 습된 생성모델의 잠재공간을 시각화하여 조작하는 새로운 방법인 “시각화 오토인코더” 방법을 제안한 다. 이 방법은 생성모델의 잠재벡터를 입력으로 하여 3차원 이하의 시각화 가능한 차원으로 축소하여 조작하는 것을 목표로 한다. 본 연구에서는 생성모델의 잠재공간 조작을 “관심 있는 샘플 생성”과 “샘 플 간 변환 과정 시각화” 두 가지로 정의하고, 이를 위해 필요한 수학적 성질 “일대일 대응”과 “locally smoothness”를 가정한 심층신경망 기반의 생성모델로 제한한다. MNIST 데이터셋을 사용하여 실험 한 결과 이러한 성질을 만족하는 심층신경망 모델에 대해 제안된 시각화 오토인코더 방법으로 관심 있는 샘플을 생성, 변환 과정을 시각화할 수 있음을 확인하였다. Recent generative models, especially generative models such as ChatGPT and DALLE- 3, have had a great impact on society, and technology to intricately manipulate and understand the latent space of these models is becoming important. In this paper, we propose the “Visualization Autoencoder” method, a new method that visualizes and manipulates the latent space of the learned generative model. This method aims to manipulate the latent vectors of the generative model by reducing them to three or less dimensions that can be visualized. In this study, the latent space manipulation of the generative model is defined as two types: “generating samples of interest” and “visualizing the transformation process between samples”. For this purpose, we limit our-selves to a deep neural network-based generative model that assumes the necessary mathematical properties “one-to-one correspondence” and “locally smoothness”. As a result of experiments using the MNIST dataset, we confirmed that the proposed visualization autoencoder method for a deep neural network model that satisfies these properties can generate samples of interest and visualize the conversion process.

인공지능의 법적 규율 Ⅰ: 범용모델과 생성모델

박상철 ( Park Sangchul ) 서울대학교 법학연구소 2024 서울대학교 法學 Vol.65 No.1

트랜스포머(Transformer) 기반 디코더(decoder)들이 범용모델(general-purpose model)[기반모델(foundation model)로도 칭함]이면서 별도의 미세조정(fine-tuning) 등 없이 바로 생성적 작업(task)을 위해 활용될 수 있다는 점으로 인해, 범용모델과 생성모델(generative model)의 개념은 흔히 혼용된다. 그러나 양자는 위해의 유형이 다르니 분별하여 이하의 법적 대응을 강구해야 한다. 첫째, 최근의 고성능 범용모델 안보·안전성 통제론은 새로운 국제통제체제로 이어질 수 있으나 섣부른 국내 규제법 창설의 근거로 전용하기보다는 경제안보의 관점(국제공급망에 대한 접근, 상호운용성유지, 산업 보호)에서 신중히 접근해야 한다. 둘째, 범용모델이든 특정 작업을 위한 모델이든 개발자 등의 훈련 과정에서 저작권자·정보주체 등 이해관계자들의 권리조정이 요구된다. 데이터 접근과 모델 연구·개발은 편익과 “지식의 수집”으로서의 특성을 고려하여 과도하고 중복적인 데이터셋 보호 법제를 정비하면서 허용 범위를 넓혀야 한다. 다만 모델의 제공자는 저작물이나 (데이터 접근은 적법하나 이용 동의가 없는) 개인정보를 처리하여 모델을 훈련함에 있어 판별·생성 등 의도된 작업 수행 과정에서의 침해 리스크를 예견하여 가용한 경감조치를 취하도록 요구받아야 한다. 특히 생성 작업의 경우, (1) (시퀀스의) 검색(retrieval) 방식은 전통적 유형의 복제와 유사한 침해 리스크가 있으므로 개인정보는 익명처리, 저작권은 집단적 보상체계[집단권리관리(CRM), 사적복제부담금(PCV) 등]로 해결하되, (2) (토큰 등의) 생성(generation) 방식은 암기(memorization) 문제의 특성을 고려하여 일률적 가명처리나 이용허락을 요하기보다는 경감조치의 합리적 요구수준을 정하여 달성 시 안전지대(safe harbor)를 허여하는 것이 합리적이다. 셋째, 딥페이크 등 합성매체의 오용 문제는 범용모델 개발상의 문제가 아닌 생성모델 실행상의 문제로서 오용자에 대한 기존의 금지·제재 체계의 집행을 강화하되 제공자·배포자의 오용 경감 협력조치의 범위를 명확히 하여 가치망 전체 차원의 효율적 대응을 강구해야 한다. 넷째, 생성모델의 조력을 받은 발명과 창작에 대한 권리는 약화시키면서 균형을 상실한 지식 재산권의 재조정의 계기로 삼아야 한다. 다섯째, 범용/생성모델의 정확성·공정성·투명성 문제는 판별모델(discriminative model)에 비해 즉각적인 규제의 필요는 적으며, 측정 및 경감기술의 개발 촉진 및 표준화로 대응해야 한다. Transformer-based decoders offer generative capabilities without requiring fine-tuning, blurring the distinction between general-purpose and generative models. Given their disparate risk profiles, however, tailored legal oversight should be devised for each category. First, safety and security control over high-impact general-purpose models must be crafted to ensure alignment with international standards and national security objectives. Second, to broaden the scope of lawful data access, nebulous dataset protection legislation should be refined, with developers and providers tasked with mitigation measures based on infringement risk assessment. Particularly, developers of models intended for use in generative tasks should be mandated, (i) for retrieval-based models: to anonymize publicly unavailable personal data and compensate rightsholders through collective rights management (CRM) or private copying levies (PCV); and (ii) for generation-based models: to adopt reasonable mitigation measures to qualify for a safe harbor. Third, the misuse of synthetic media should be addressed by not only reinforced enforcement against misusers but also clear allocation of responsibilities across the value chain. Fourth, machine-assisted creation should be granted weaker legal protections. Finally, accuracy, fairness, and transparency concerns in general-purpose/generative models should be addressed by developing and standardizing measurement and mitigation technologies instead of immediate legal interventions.

Deep Convolution Neural Networks 이용하여 결함 검출을 위한 결함이 있는 철도선로표면 디지털영상 재 생성

김현호 ( Hyeonho Kim ),한석민 ( Seokmin Han ) 한국인터넷정보학회 2020 인터넷정보학회논문지 Vol.21 No.6

본 연구는 철도표면상에 발생하는 노후 현상 중 하나인 결함 검출을 위해 학습데이터를 생성함으로써 결함 검출 모델에서 더 높은 점수를 얻기 위해 진행되었다. 철도표면에서 결함은 선로결속장치 및 선로와 차량의 마찰 등 다양한 원인에 의해 발생하고 선로 파손[14] 등의 사고를 유발할 수 있기 때문에 결함에 대한 철도 유지관리가 필요 하다. 그래서 철도 유지관리의 자동화 및 비용절감을 위해 철도 표면 영상에 영상처리 또는 기계학습을 활용한 결함 검출 및 검사에 대한 다양한 연구가 진행되고 있다. 일반적으로 영상처리 분석기법 및 기계학습 기술의 성능은 데이터의 수량과 품질에 의존한다. 그렇기 때문에 일부 연구는 일반적이고 다양한 철도표면영상의 데이터베이스를 확보하기위해 등간격으로 선로표면을 촬영하는 장치 또는 탑재된 차량이 필요로 하였다[15, 16]. 본연구는 이러한 기계적인 영상획득 장치의 운용비용을 감소시키고 보완하기 위해 대표적인 영상생성관련 딥러닝 모델인 생성적 적대적 네트워크[1]의 기본 구성에서 여러 관련연구에서 제시된 방법을 응용, 결함이 있는 철도 표면 재생성모델을 구성하여, 전용 데이터베이스가 구축되지 않은 철도 표면 영상에 대해서도 결함 검출을 진행할 수 있도록 하였다. 구성한 모델은 상이한 철도 표면 텍스처들을 반영한 철도 표면 생성을 학습하고 여러 임의의 결함의 위치에 대한 Ground-Truth들을 만족하는 다양한 결함을 재 생성하도록 설계하였다. 재생성된 철도 표면의 영상들을 결함 검출 딥러닝 모델[2]에 학습데이터로 사용한다. 재생성모델의 유효성을 검증하기 위해 철도표면데이터를 3가지의 하위집합으로 군집화 하여 하나의 집합세트를 원본 영상으로 정의하고, 다른 두개의 나머지 하위집합들의 몇가지의 선로표면영상을 텍스처 영상으로 사용하여 새로운 철도 표면 영상을 생성한다. 그리고 결함 검출 모델에서 학습데이터로 생성된 새로운 철도 표면 영상을 사용하였을 때와, 생성된 철도 표면 영상이 없는 원본 영상을 사용하였을 때를 나누어 검증한다. 앞서 분류했던 하위집합들 중에서 원본영상으로 사용된 집합세트를 제외한 두 개의 하위집합들은 각각의 환경에서 학습된 결함 검출 모델에서 검증하여 출력인 픽셀단위 분류지도 영상을 얻는다. 이 픽셀단위 분류지도영상들과 실제 결함의 위치에 대한 원본결함지도(Ground-Truth)들의 IoU(Intersection over Union) 및 F1-score로 평가하여 성능을 계산하였다. 결과적으로 두개의 하위집합의 텍스처 영상을 이용한 재생성된 학습데이터를 학습한 결함 검출모델의 점수는 원본 영상만을 학습하였을 때의 점수보다 약 IoU 및 F1-score가 10~15% 증가하였다. 이는 전용 학습 데이터가 구축되지 않은 철도표면 영상에 대해서도 기존 데이터를 이용하여 결함 검출이 상당히 가능함을 증명하는 것이다. This study was carried out to generate various images of railroad surfaces with random defects as training data to be better at the detection of defects. Defects on the surface of railroads are caused by various factors such as friction between track binding devices and adjacent tracks and can cause accidents such as broken rails [14], so railroad maintenance for defects is necessary. Therefore, various researches on defect detection and inspection using image processing or machine learning on railway surface images have been conducted to automate railroad inspection and to reduce railroad maintenance costs. In general, the performance of the image processing analysis method and machine learning technology is affected by the quantity and quality of data. For this reason, some researches require specific devices or vehicles to acquire images of the track surface at regular intervals to obtain a database of various railway surface images [15, 16]. On the contrary, in this study, in order to reduce and improve the operating cost of image acquisition, we constructed the 'Defective Railroad Surface Regeneration Model' by applying the methods presented in the related studies of the Generative Adversarial Network (GAN) [1]. Thus, we aimed to detect defects on railroad surface even without a dedicated database. This constructed model is designed to learn to generate the railroad surface combining the different railroad surface textures and the original surface, considering the ground truth of the railroad defects. The generated images of the railroad surface were used as training data in defect detection network [2], which is based on Fully Convolutional Network (FCN) [3]. To validate its performance, we clustered and divided the railroad data into three subsets, one subset as original railroad texture images and the remaining two subsets as another railroad surface texture images. In the first experiment, we used only original texture images for training sets in the defect detection model. And in the second experiment, we trained the generated images that were generated by combining the original images with a few railroad textures of the other images. Each defect detection model was evaluated in terms of 'intersection of union(IoU)' and F1-score measures with ground truths. As a result, the scores increased by about 10~15% when the generated images were used, compared to the case that only the original images were used. This proves that it is possible to detect defects by using the existing data and a few different texture images, even for the railroad surface images in which dedicated training database is not constructed.

톰슨 샘플링 기반의 신약 후보 물질 디자인을 위한 심층 생성 모델

최건우,장효순,서상민,최종환,김병주,박상현,최상민,박치현 한국정보과학회 2022 데이타베이스 연구 Vol.38 No.3

De novo drug design approach, which aims to create a completely novel molecules non-existent in the previous compound library, adopts various machine learning methods such as generative model, reinforcement learning and optimization algorithm. Most of the existing studies suggest the generative model which controls one property. Along with creating a generator, one of the most important factors to be considered in designing an algorithm is an optimization method which can simultaneously guarantee various properties that the molecules must have. One way to implement it on a deep generative model is to estimate the posterior distribution through sampling and then optimize the generator in a direction to satisfy multiple purposes. In this manner, we propose a novel method which optimizes the posterior distribution of the generative model with the generated data which satisfy multiple objectives through self-data augmentation and learning by incorporating the Thomson sampling technique into VAE (Variational Auto-Encoder). To demonstrate the feasibility of the proposed method, we aimed at generating molecules for BCL2 family proteins and compared the binding affinity of the proposed method with several baseline models. The practical usability of the proposed method was confirmed by measuring the various chemical properties and synthesizability of the molecules. 심층 생성 모델, 강화학습, 최적화 알고리즘 기반으로 새로운 신약 후보 물질을 생성하는 약물 디자인 연구는 대부분 단백질 한 개의 기능을 조절할 수 있는 저분자화합물 디자인 모델을 제시하고 있지만, 목적하는 적응증의 메커니즘에 따라 여러 단백질의 기능을 조절하고, 단백질 외에 화학적 특성을 고려할 수 있는 다중 목적 최적화 기반의 약물 디자인 방법론이 요구되고 있다. 심층 생성 모델로 이를 구현할 수 있는 한 가지 방법은 샘플링을 통해 사후 확률 분포를 추정한 후 다중 목적을 만족하는 방향으로 생성 모델을 최적화하는 것이다. 이를 위해 본 연구에선 심층 생성 모델인 Variational Auto Encoder에 톰슨 샘플링 기법을 접목하여, 자체 데이터 증강과 학습을 통해 다중 목적을 만족하는 데이터를 생성하고, 이를 통해 생성 모델의 사후 분포를 최적화하는 방법을 제안한다. 본 연구에서는 BCL2 패밀리 단백질들을 표적으로 약물 생성을 제안하는 모델과 여러 베이스라인 모델이 생성한 화합물들의 결합 친화도를 비교하였으며, 생성된 물질에 대한 화학적인 특성 지표와 물질의 합성 가능성 스코어를 통해 제안하는 방법의 실제 활용 가능성을 제시하였다.

데이터 없이 사전학습된 태스크 모델 기반 생성형 모델의 지속학습

신현준,최동완 한국차세대컴퓨팅학회 2023 한국차세대컴퓨팅학회 논문지 Vol.19 No.4

Research on continual learning to prevent catastrophic forgetting problem of deep learning has recently expanded from classification models to generative models. However, the continual learning of generative models relies on task-specific input data, which poses constraints on pivacy issues and limited memory resources in the real world. In other words, considering the black-box property of neural networks and their relatively small memory size, there is a need to replace inaccessible data. In this paper, we propose the first model, called Data-Free Continual Learning of Generative Network (DF-CLG), which receives pre-trained inference model as input instead of directly accessing task-specific data. Specifically, the generative model is trained to synthesize the data used in the training by constraining the statistics of batch normalization layers stored in the pre-trained inference network. Subsequently, by applying representative continual learning methods, namely regularization-based and rehearsal-based approaches, it is demonstrated that the proposed generative model can alleviate catastrophic forgetting. It is worth noting that regularization-based methods, which are known for their relatively poor performance in continual learning, show comparable or superior performance to rehearsal-based methods in the proposed generative model. 딥러닝의 치명적 망각 현상(Catastrophic forgetting)을 방지하기 위한 지속 학습 연구는 최근 분류모델에서 생성형 모델로 확장되고 있다. 하지만 생성형 모델의 지속 학습은 태스크별 입력 데이터에 의존하며, 이는 현실 세계에서 프라이버시 문제와 한정된 메모리 자원에 따른 제약이 존재한다. 즉, 신경망의 블랙박스 특성과 상대적으로 작은 메모리 크기를 고려하여, 접근 불가능한 데이터를 대체할 필요가 있다. 이에 본 논문에서는 태스크별 데이터에 직접 접근하는 대신, 해당 데이터를 사전 학습한 추론형 신경망만을 입력으로 받아 생성형 모델을 지속 학습하는 모델(Data-Free Continual Learning of Generative Network, DF-CLG)을 처음으로 제안한다. 구체적으로, 사전 학습된 추론형 신경망에 저장된 배치 정규화 계층의 통곗값을 제약하여 학습에 사용된 데이터를 역으로 합성하는 생성형 신경망을 학습한다. 이후, 대표적인 지속 학습 기법인 규제 기반 방법과 리허설 기반 방법을 적용하여, 제안된 생성형 신경망의 치명적 망각 현상이 완화될 수 있음을 보인다. 주목할 점은, 지속 학습에서 상대적으로 저조한 성능으로 알려진 규제 기반 방법이 제안된 생성형 모델에서 리허설 기반 방법에 준하거나 우수한 성능을 보인다는 것이다.

휴리스틱 입력 분석을 이용한 RRT 기반의 Simulink/Stateflow 모델 테스트 케이스 생성 기법

박현상 ( Hyeon Sang Park ),최경희 ( Kyung Hee Choi ),정기현 ( Ki Hyun Chung ) 한국정보처리학회 2013 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.2 No.12

본 논문은 Simulink/Stateflow 모델 기반의 테스트 케이스를 자동으로 생성하기 위하여, 휴리스틱 입력 분석을 이용한 Rapidly-exploring Random Tree(RRT) 기법을 제안한다. RRT는 모델 기반 블랙박스 테스트 케이스 생성 시 반드시 해결해야 되는 도달 가능성 문제를 효율적으로 해결할 수 있는 방법이지만, 모델의 내부 상태와 테스트 목표를 고려하지 않고 무작위로 모델의 입력을 생성하기 때문에 테스트 케이스 생 성 효율이 떨어지는 단점이 있다. 제안하는 기법에서는 RRT를 확장해나갈 때 필요한 입력을, 모델의 현재 상태에서 만족 할 수 있는 테스트 목표를 분석하고 이를 달성할 수 있는 모델의 입력을 분석 결과에 따라 휴리스틱하게 결정함으로써, RRT의 장점을 보존하면서, 테스트 케이스 생성 효율을 높일 수 있다. 제안된 기법은 자동차에 사용되는 실 부품 ECU의 Simulink/Stateflow 모델을 대상으로 한 실험을 통해 성능이 평가되었으며, 기존 RRT와 비교하여 테스트 케이스 생성 효율이 높은 것을 보였다. This paper proposes a modified RRT (Rapidly exploring Random Tree) algorithm utilizing a heuristic input analysis and suggests a test case generation method from Simulink/Stateflow model using the proposed RRT algorithm. Though the typical RRT algorithm is an efficient method to solve the reachability problem to definitely be resolved for generating test cases of model in a black box manner, it has a drawback, an inefficiency of test case generation that comes from generating random inputs without considering the internal states and the test targets of model. The proposed test case generation method increases efficiency of test case generation by analyzing the test targets to be satisfied at the current state and heuristically deciding the inputs of model based on the analysis during expanding an RRT, while maintaining the merit of RRT algorithm. The proposed method is evaluated with the models of ECUs embedded in a commercial passenger`s car. The performance is compared with that of the typical RRT algorithm.