R&D 집약적 기업의 탐색적 혁신 전략과 혁신 성과 간의 관계 및 내부 혁신역량의 조절효과에 관한 연구

박수현 과학기술연합대학원대학교 한국과학기술정보연구원(KISTI) 2024 국내박사

본 논문은 불확실성과 위험을 감수하면서도 새로움의 추구를 통해 혁신 성과를 이끌어 내는 기업의 탐색적 혁신 전략이 국가 및 지역 경제의 성장을 견인하는 R&D 집약적 기업의 혁신 성과에 어떠한 영향을 미치는가에 대해, 기업 내부의 혁신역량의 조절효과를 중심으로 실증 분석하는 것을 그 목적으로 한다. 본 연구에서는 외부 지식과의 결합과 다양한 기술 분야로의 확장이라는 탐색적 혁신의 주요 특성을 토대로, 탐색적 혁신 전략을 크게 개방형 혁신 전략과, 기술다각화 전략으로 구분하여 조사함으로써 탐색적 혁신과 혁신 성과 간의 관계를 보다 잘 이해하는 구조적 틀을 제시한다는 점에서 기존 연구를 확장한다. 구체적으로 먼저 3 장에서는 자원이 제한된 R&D 집약적 중소기업의 탐색적 혁신 전략을 살펴봄에 있어, 외부 지식의 활용과 내부 지식 공유를 통해 내부 자원의 한계를 극복하는 개방형 혁신 전략을 중점적으로 살펴보았다. 이를 위해 국내 정부 지원 R&D 프로젝트 2,339 개를 대상으로 로지스틱 회귀분석을 수행하였으며, 연구 결과 과학 기반 파트너와 내부 흡수역량 간의 상호 작용이 제품 혁신 성공에 긍정적인 영향을 미친 반면, 시장 기반 파트너와 내부 흡수역량 간의 상호작용은 유의한 영향을 미치지 않는 것으로 나타났다. 이는 혁신 전략을 수립함에 있어 협력 파트너의 특성을 고려하고, 특히 과학 기반 파트너와의 상호보완성을 강조함으로써 외부 지식 소스 채택 전략의 중요성을 입증했다는 데에 의의가 있다. 이후 4 장에서는 높은 비율의 R&D 지출을 지속적으로 집행할 수 있는 R&D 집약적 대기업의 탐색적 혁신 전략에 초점을 맞춰, 이질적 지식을 재조합하고 결합 및 확장하는 비관련 및 관련 기술다각화 전략과 내부 핵심기술역량의 조절효과를 중심으로 살펴보았다. 본 연구는 기술다각화가 복잡하고 지속적인 지식 통합 과정을 필요로 한다는 점에 주목하여 전 세계 상위 R&D 투자기업 516 개의 패널 데이터를 사용하여 분석을 수행하였다. 결과적으로 비관련 기술다각화 전략은 R&D 효율성과 역 U자형 관계를 나타내며, 내부 핵심기술역량은 비관련 기술다각화와 R&D 효율성 간의 역 U 자형 관계가 갖는 변동성 폭을 완화함으로써 기술다각화와 R&D 효율성 간의 관계를 유의하게 조절하는 것으로 확인되었다. 이는 기술다각화의 동기와 전략적 목표가 다양하게 나타날 수 있음을 감안하여 다양한 유형의 기술다각화를 구분하고 각각의 기술다각화 전략의 유형이 R&D 효율성에 미치는 영향을 보다 심층적으로 이해할 수 있다는 점에서 의의를 갖는다. 본 논문은 위의 두 가지 연구 결과를 바탕으로 다음과 같은 학술적 의미와 정책적 시사점을 갖는다. 첫째, 기존의 탐색적 혁신 연구를 확장함으로써 혁신의 구조적 틀을 제시한다. March(1991)가 제안한 탐색적 혁신의 추상적이고 다의적인 성격을 해소하기 위해 외부 지식과의 결합, 다양한 기술 분야로의 확장이라는 특성을 기반으로 이를 개방형 혁신 전략과 기술다각화 전략으로 구분함으로써 선행연구들에서 다뤄지지 않았거나 모호했던 부분을 보완하면서, 탐색적 혁신에 대한 보다 명확한 구조적 틀을 제시한다. 둘째, 본 논문은 탐색적 혁신 활동과 혁신 성과 사이의 역학을 깊이 파악하기 위해, 혁신의 투입과 산출이 분명한 관계를 보이는 R&D 집약적 기업을 연구 범위로 설정함에 따라 탐색적 혁신 활동과 혁신 성과 간의 관계에 대해 깊이 있는 이해를 제공했다는데 의의가 있다. 셋째, 본 논문은 탐색적 혁신 전략이 혁신성과에 미치는 영향을 조사함에 있어, 선행연구에서 활발히 다루지 않았던 R&D 집약적 기업의 자원 규모에 따른 적합한 탐색적 혁신전략의 유형을 이론적 근거를 바탕으로 제시하였다는 점에서 기존 연구와 차별성을 갖는다. 마지막으로, 본 연구는 다양한 탐색적 혁신 전략과 혁신 성과 간의 관계 조사에서 상대적으로 간과되어 왔던 내부 혁신역량의 조건부 효과를 다루는 문헌 내 실증적 연구 확장에 기여한다. 따라서 본 논문은 기업의 내부 혁신 역량을 종합적으로 고려함으로써 탐색적 혁신 프로세스의 역학에 대한 심층적인 통찰력을 제공한다는 데에 학술적 의의가 있으며, 탐색적 혁신 전략 수립에 있어 필요한 다각도의 판단 기준을 제공하는 데에 큰 의의가 있다. Keywords: 탐색적 혁신, R&D 집약적 기업, 개방형 혁신, 기술다각화, 내부 혁신역량, 흡수역량, 핵심기술역량 The purpose of this dissertation is to empirically analyze how a firm's exploratory innovation strategy, which has been found to contribute to deriving innovation through the pursuit of newness while taking uncertainty and risk, affects the innovation performance of R&D-intensive firms known to drive national and economic growth. Based on the main characteristics of exploratory innovation, which combines external knowledge and expands to various technological fields, this dissertation expands existing research in that it presents a structural framework to better understand the relationship between exploratory innovation strategies and innovation performance by dividing exploratory innovation strategies into open innovation strategies and technological diversification strategies. Specifically, Chapter 3 focuses on open innovation strategies that overcome the limitations of internal resources through the use of external knowledge and sharing internal knowledge in examining the exploratory innovation strategies of R&D-intensive SMEs with limited resources. To this end, a logistic regression analysis was performed on 2,339 government-supported R&D projects in Korea, and the study found that the interaction between science-based partners and internal absorptive capacities had a positive effect on the success of product innovation, while the interaction between market-based partners and internal absorptive capacities had no significant effect. This is significant in that it has demonstrated the importance of external knowledge source adoption strategies by considering the characteristics of cooperative partners in establishing innovation strategies and emphasizing complementarity, especially with science-based partners. Chapter 4 focused on the exploratory innovation strategies of R&D-intensive large firms that can continuously execute a high percentage of R&D expenditures, focusing on technological diversification strategies that recombine, combine, and expand heterogeneous knowledge, and the moderating effect of internal core technology competencies. This study conducted an analysis using panel data of 516 top R&D investors around the world, noting that technological diversification requires a complex and continuous knowledge integration process. As a result, it was confirmed that the unrelated technological diversification strategy shows an inverted U-shaped relationship with R&D efficiency. In addition, internal core technology competencies were confirmed to significantly moderate the relationship between unrelated technological diversification and R&D efficiency by alleviating the volatility of the inverted U-shaped relationship between unrelated technological diversification and R&D efficiency. This is meaningful in that it allows us to distinguish between various types of technological diversification and understand more in-depth the impact of each type of technological diversification strategy on R&D efficiency, considering that the motivation and strategic goals of technological diversification can appear in various ways. Based on the results of two studies, this dissertation has the following academic meanings and policy implications. First, it presents a structural framework for innovation by expanding existing exploratory innovation research. To address the abstract and multifaceted nature of exploratory innovation proposed by March (1991) by dividing it into open innovation strategies and technological diversification strategies based on the characteristics of combining external knowledge and expanding it to various technology fields, complementing areas that were not covered or ambiguous in previous studies, it presents a clearer structural framework for exploratory innovation. Second, this dissertation provided an in-depth understanding of the relationship between exploratory innovation activities and innovation performance by setting R&D-intensive firms with a clear relationship between innovation input and output as the scope of research. Accordingly, this paper contributes to deeply understanding the dynamics between exploratory innovation activities and innovation performance. Third, this dissertation is different from existing research in that it presents, based on theoretical grounds, the type of exploratory innovation strategy appropriate for the resource size of R&D-intensive firms, which was not actively covered in previous research. Finally, this dissertation contributes to the expansion of empirical research in literature that deals with the conditional effects of internal innovation capabilities that have been relatively overlooked in investigating the relationship between various exploratory innovation strategies and innovation performance. Therefore, this dissertation is of academic significance in providing in-depth insight into the dynamics of the exploratory innovation process by comprehensively considering the firm's internal innovation capabilities, and it is of great significance in providing the criteria for various judgments necessary for establishing exploratory innovation strategies. Keywords: Exploratory innovation, R&D intensive firm, Open innovation, Technological diversification, Internal innovation capabilities, Absorptive capacities, Core technology competencies

A Study of Dark Matter at Electron-Positron Colliders using High Performance Computing

박기홍 과학기술연합대학원대학교 (UST) 한국과학기술정보연구원 (KISTI) 2021 국내석사

우주를 구성하는 물질과 그 상호작용을 기술하는 표준모형은 잘 확립되었지만 암흑물질에 대하여 설명할 수 없다. 따라서 암흑물질에 관하여 알려진 바는 적고 여러 가지 수단으로 탐색 중에 있다. 본 학위논문에서는 입자충돌실험 연구에 활용되는 여러 가지 툴킷을 활용하여 전자-양전자 충돌실험에서 암흑물질을 연구한다. 신호사건은 e^+ e^-→μ^+ μ^- A' with A'→μ^+ μ^- 이고 이론적 모델은 simplified model이다. 여러 가지 매개변수에 따른 산란단면적을 조사하였다. 궁극적으로 현재 및 미래의 전자-양전자 충돌실험에서의 신호사건에 대한 검출기 수용율을 구하였다. 또한 KISTI슈퍼컴퓨터5호기 및 로컬머신을 활용하여 모의시늉의 중앙처리장치(CPU) 시간을 비교하였다. 슈퍼컴퓨터의 높은 병렬처리효율과 많은 코어 수를 활용하여 암흑물질 연구 효율을 높일 수 있음을 확인할 수 있었다. 이 연구의 결과는 Belle II, FCC-ee, CEPC 그리고 ILC 등의 현재 및 미래의 전자-양전자 충돌실험에서 본 연구의 신호사건에 대한 암흑물질 신호를 찾는데 도움이 될 것이다. Even if the Standard Model (SM) describing particles that constitutes the universe and its interactions is well established, the SM cannot explain dark matter. Therefore, little is known about dark matter and is being explored by various means. In this thesis, we study dark matter at electron-positron collider experiments using toolkits utilized in particle collider experiments. The signal channel is e^+ e^-→μ^+ μ^- A' with A'→μ^+ μ^- and the theoretical model is the simplified model. We investigated the dependence of cross-section according to various parameters. Ultimately, we obtained detector acceptance for the signal channel in present and/or future electron-positron collision experiments. In addition, we used the KISTI-5 supercomputer and a local machine to compare central processing unit time of simulation. It has been confirmed that the high efficiency of parallel processing of supercomputers and the many number of cores can be utilized to increase the efficiency of dark matter research. The results of this study will help to find dark matter signals for the signal channel in present and/or future electron-positron collider experiments such as Belle II, Future Circular Collider (FCC)-ee, Circular Electron-Positron Collider (CEPC), and International Linear Collider (ILC).

Optimal Network-Aware Cloud Scheduling Over High Performance Network

이상권 과학기술연합대학원대학교 한국과학기술정보연구원(KISTI) 2024 국내박사

대규모의 과학 장비가 등장하면서 과학 데이터의 크기는 이전에 비해 거대 해졌다. 과학 연구의 협업을 위해 이러한 데이터를 상용 네트워크 망을 통해 전송하게 되면 낮은 대역폭과 잦은 패킷로스로 인해 성능이 저하되는 문제가 있다. 이러한 점을 해결하기 위해 과학데이터 전송의 고속도로 역할을 하는 전용망을 만들어 사용하고 있다. 전용망은 상용 네트워크와 망분리를 하고 고성능의 네트워크 카드가 장착된 데이터 전송 전용 노드를 사용한다. 최근에는 데이터 전송 전용 노드의 컴퓨팅 자원을 계산 작업에도 활용하고자 컨테이너 오케스트레이션을 통해 클라우드로 구성하였다. 컨테이너 오케스트레이션을 통해 큰 규모의 공유 컴퓨팅 자원을 활용할 수 있고 자원의 확장이 용이하다는 장점이 있다. 다만 네트워크 성능으로 인한 문제점이 생겨날 수 있다. 예를 들어, 분산 딥러닝에서 학습 데이터 셋의 크기가 증가되거나 잦은 연산과 전송을 요구하는 복잡한 모델을 사용하게 되면 네트워크 성능이 학습 시간에 필요한 시간을 증가시킬 수 있다. 또한 IoT 기술 및 과학 장비의 발전으로 이전에 비해 데이터의 크기가 증가되었는데 이러한 데이터를 서로 다른 데이터 센터간 전송 시 단일 노드로 전송하는 것이 아닌 다수의 노드를 클러스터로 구성해 보다 빠르게 전송하는 방법을 사용한다. 이 방법은 노드들 간의 네트워크 성능이 전송 시간에 영향을 주기 때문에 네트워크는 중요한 요소가 된다. 본 논문에서는 앞에서 언급한 컨테이너 오케스트레이션으로 구성된 클러스터의 네트워크에 대한 연구를 하였다. 사용자가 작업을 생성하면 컨테이너 오케스트레이션은 스케줄러를 통해 이미지 지역성, 사용가능한 CPU 그리고 메모리의 비율을 점수화 하여 적합한 노드들을 선발하여 작업이 실행되도록 한다. 현재의 스케줄러는 네트워크 성능을 고려하지 않기 때문에 본 논문에서는 네트워크 모니터링 도구를 통해 수집된 네트워크 성능 데이터를 바탕으로 점수화 하여 노드를 선발하는 스케줄러를 적용하여 성능을 실험하였다. 클러스터간 데이터 전송과 분산 딥러닝 모델에 제안한 스케줄러 적용하여 노드간 네트워크 성능으로 인한 문제를 해결하였다. 주요단어(Key words): 분산 딥러닝, 데이터 전송, 클라우드, 컨테이너 오케스트레이션 The size of scientific data has become larger than before with the advent of large-scale scientific equipment. When such data is transmitted through a commercial network for collaboration in scientific research, performance is degraded due to low bandwidth and frequent packet loss. To solve this problem, a dedicated network is being created and used to serve as a highway for scientific data transmission. The dedicated data transmission nodes equipped with high- performance network interface card. Recently, it was configured as a cloud through container orchestration to utilize the computing resources of nodes dedicated to data transmission for calculation tasks. Container orchestration has the advantage of being able to utilize large-scale shared computing resources and making it easy to expand resources. However, problems may arise due to the network performance. For example, in distributed deep learning, when the size of a training data set increases or a complex model requiring frequent computation and transmission is used, the time required for training may increase depending on network performance. In addition, with the development of IoT technology and scientific equipment, the size of data has increased compared to before. When transmitting such data between different data centers, instead of transmitting it to a single node, multiple nodes are clustered to make it faster. In this method, the network becomes an important factor because network performance between nodes affects transmission time. In this thesis, we studied the network of clusters composed of the orchestration mentioned above. When a user creates a task, container orchestration scores image locality, available CPU, and memory ratio through the scheduler and selects appropriate nodes to execute the task. Since the current scheduler does not consider network performance, this thesis tested the performance by applying a scheduler that selects nodes by scoring them based on network performance data collected through a network monitoring tool. By applying the proposed scheduler to cluster- to-cluster data transmission and distributed deep learning model, problems caused by network performance between nodes were solved. Key words: Distributed deep learning, Data transmission, Cloud, Container orchestration

A Study of Anomaly Sound Detection of Automotive Motors Using Machine Learning Techniques

윤은선 과학기술연합대학원대학교 한국과학기술정보연구원(KISTI) 2024 국내석사

비정상적인 소리 감지(ASD)는 산업 분야에 심각한 영향을 미치는 비정상적인 소리 패턴을 식별하는 데 중요하다. 그러나 기존 딥러닝 방법을 기반으로 하는 ASD 는 몇 가지 과제에 직면해 있다. 예를 들어, 딥 러닝 모델에는 대량의 레이블이 지정된 데이터가 필요하다. 또한 이상값의 다양성은 딥 러닝 모델의 성능에 영향을 미치며 일부 이상값은 감지하기 어렵다. 본 연구에서는 기계학습(ML) 기술을 결합하여 ASD 의 새로운 진단 방법을 제안한다. 이를 위하여 평활화, 주성분 분석(PCA) 및 K-means 알고리즘을 사용하여 음향 모터 이상을 탐지하기 위해 제안된 ML 방법의 효율성을 조사했다. 이 방법을 심층 합성곱 신경망을 사용하는 기존 접근 방식과 비교하여 그 장점이 강조되었다. 또한 소리 데이터의 차원성을 줄이면서 정보 손실을 최소화하고 이상의 종류와 이상의 정도에 따라 나누어 분류했다. 따라서 데이터의 양과 이상치의 다양성에 관계없이 데이터 진단을 수행하였다. 또한, 제안된 방법은 99.4%의 분류 정확도를 보였으며, 이 결과는 모터 소리 기반 고장 진단 시스템에 적용할 수 있는 우수한 가능성을 보여주었다. Anomalous sound detection (ASD) is crucial in identifying anomalous sound patterns significantly affecting industrial areas. However, ASD based on conventional deep learning methods faces several challenges. For instance, deep learning models require large amounts of labeled data. Additionally, the diversity of anomalies affects the performance of deep learning models, with a few anomalies being difficult to detect. In this study, a novel diagnostic method for detecting motor anomalies using sound signals has been proposed by combining Machine Learning (ML) techniques. The effectiveness of the proposed machine learning method for detecting acoustic motor anomalies was investigated in this study, employing techniques such as smoothing, Principal Component Analysis (PCA), and K-means algorithms. The method was compared with current approaches using deep convolutional neural networks, and its advantages were highlighted. Furthermore, it minimized information loss whereas reducing the dimensionality of sound data, and further classified motor anomalies and outliers. Therefore, the data diagnosis was performed independent of the amount of data and the diversity of outliers. Additionally, the proposed method exhibited a classification accuracy of 99.4%, and the results showed significant potential for its application in motor sound-based fault diagnosis systems.

Developing a conceptual model of Open Science Policy Design and Implementation Process

Hanna Shmagun 과학기술연합대학원대학교 한국과학기술정보연구원(KISTI) 2024 국내박사

Several phenomena, such as the Digital Revolution and the so-called ‘replication crisis’, influenced the emergence of the Open Science (OS) movement, emphasising the necessity of collaborative co-production of scientific knowledge and its open sharing via the Internet within and beyond research communities. While various OS initiatives, like Open Access to publications and open research data, have surfaced over the past decades and the value of OS has been underscored by various stakeholders, especially during the coronavirus pandemic, numerous issues related to the adoption of OS practices still arise largely because of the fragmentation and lack of structured holistic approaches in developing and implementing related policy interventions at different levels. The aim of this doctoral research was to develop a conceptual model of OS Policy Design and Implementation Process that can be used as a basic framework for formulating, evaluating, improving and/or analysing (inter)national and institutional OS policies and strategies in a systematic way. To achieve this aim, a mixed methods research methodology was employed. This included policy document analysis of various legal and quasi-legal instruments at international, European Union and country levels; semi-structured interviews; a questionnaire survey; a virtual participatory workshop with subject matter experts. The core output of this doctoral dissertation is a conceptual model of OS Policy Design and Implementation Process. This model, anchored by a generic flowchart adapted from Ostrom’s Institutional Analysis and Development (IAD) framework, is structured as an iterative cycle. It encompasses five interdependent components or stages: enabling or inhibiting factors for OS development; deliberate actions taken in response to these OS factors; interaction and coordination mechanisms among stakeholders within and across action situations, capturing power relations and role dependences; OS outcomes derived from collective actions; evaluative criteria and associated performance measures, applied to outcomes and interaction patterns, which can invigorate feedback loops iterating the entire cycle. Delving into this model, the dissertation offers a typology of possible OS factors, ranked by significance, and proposes a guide of detailed actions for relevant stakeholders, complemented by real-world examples. It also suggests evaluative criteria alongside associated performance measures for assessing potential OS outcomes. The conceptual model can assist various stakeholders in the research and innovation sector – including policy-making governments, funding agencies and research institutions – in adopting a structured and comprehensive approach to OS policy development and implementation, emphasising continuous improvement. Moreover, it can be used as a tool in case study research, providing scholars a systematic method to analyse and describe national or institutional-level OS policy landscapes. Keywords: Open Science, policy design and implementation, enabling and inhibiting factors and recommended actions, Ostrom’s Institutional Analysis and Development (IAD) framework 세계적으로 디지털 혁명과 재현성 위기와 같은 현상들이 나타났으며, 이를 통하여 과학적 성과를 만들기 위해서는 협업을 통한 공동작업의 중요성을 인식하였고 인터넷을 통한 연구자 커뮤니티 안밖에서의 공유와 개방의 중요성을 알게 되었으며, 이것이 오픈사이언스(Open Science; OS)의 출현에 깊은 영향을 주었다. 지난 수십 년 동안 학술 출판물에 대한 오픈액세스와 공개된 연구데이터와 같은 다양한 OS 이니셔티브가 표면화되었으며, 특히 코로나바이러스 팬데믹 기간 동안 다양한 이해관계자들에 의해 OS의 가치가 강조되었지만, 다양한 수준의 관련 정책을 개발하고 구현하는 데 있어 구조화된 총체적 접근 방식의 부족과 구조화되지 않은 단편화된 문제로 인해OS 도입과 관련해서는 여전히 수많은 문제가 존재하고 있다. 본 박사과정 연구의 목적은 국제·국가·기관의 OS 정책 및 전략을 체계적으로 수립하고 평가하며 개선하고 분석하기 위한 기본 틀로 활용될 수 있는 ‘OS 정책 설계 및 구현 프로세스의 개념적 모델’을 개발하는 것이다. 이러한 목적을 달성하기 위해 ‘혼합적 방법의 연구 방법론’을 사용하였다. 이 방법론에는 국제, 유럽연합, 국가 차원의 다양한 법적·준법적 수단에 대한 정책 문서 분석과 반 구조화된 인터뷰 조사, 설문 조사, 해당 전문가들의 가상 참여형 워크숍이 포함되었다. 이 논문 연구의 핵심 결과물은 ‘OS 정책 설계 및 구현 프로세스의 개념적 모델’이다. Ostrom의 IAD(Institutional Analysis and Development) 프레임워크에서 채택한 일반적인 흐름도를 기반으로 하는 이 모델은 반복 주기로 구조화되어 있다. 이 모델은 5개의 상호 의존적인 구성요소 또는 단계가 포함되어 있다. 즉, (1) OS 개발을 활성화하거나 저해하는 요인; (2) 이러한 OS 요인에 대응하여 취해지는 의도적인 조치; (3) 조치 상황 내외에서 이해관계자 간의 상호 작용 및 조정 메커니즘이 거버넌스 관계와 역할 의존성을 포착하는 것; (4) 집단 조치에서 파생된 OS 성과; (5) ‘(3)’과 ‘(4)’에 적용되는 평가 기준 및 관련 성능 측정이다. 본 박사과정 연구에서 제시한 개념적 모델은 가능한 OS 요인의 유형을 중요도에 따라 순위를 매기고 실제 사례를 통해 보완된 관련 이해관계자를 위한 세부 행동 지침을 제안한다. 또한 잠재적인 OS 성과를 평가하기 위한 관련 성능 측정과 함께 평가 기준을 제안한다. 이 개념적 모델은 정책을 입안하는 정부, 자금 지원 기관 및 연구 기관을 포함하여 연구 및 혁신 분야의 다양한 이해관계자가 OS 정책 개발 및 구현에 대한 체계적이고 포괄적인 접근 방식을 채택하고 지속적인 개선을 시행하도록 지원할 수 있다. 또한 이 모델은 사례 연구의 도구로 사용될 수 있으며, 학자들에게 국가 또는 기관 수준의 OS 정책 환경을 분석하고 설명할 수 있는 체계적인 방법을 제공한다. 주요단어: 오픈사이언스(Open Science; OS), 정책 기획∙실행, 촉진∙저해 요인 및 권장 활동, 엘리너 오스트롬(Elinor Ostrom)의 제도분석(Institutional Analysis and Development; IAD) 프레임워크

Pipeline Parallelism for Efficient Compute-Intensive Neural Network Training

유찬희 과학기술연합대학원대학교 한국과학기술정보연구원(KISTI) 2024 국내박사

Enhancing Mathematical Word Problem Solving with Numerical Masking Strategy in Pre-trained Encoder-Decoder Language Models

Nilesh Kumar Srivastava 과학기술연합대학원대학교 한국과학기술정보연구원(KISTI) 2024 국내석사

Enhancing Mathematical Word Problem Solving with Numerical Masking Strategy in Pre-trained Encoder-Decoder Language Models Addressing Mathematical Word Problems (MWPs) within the domain of Natural Language Processing (NLP) is a challenging task. While decoder-based Large Language Models (LLMs) have demonstrated potential in MWP solving, their substantial size can be a hindrance. MWPs demand a unique fusion of language understanding and generation, making encoder-decoder models an enticing solution. However, these models grapple with specific complexities, especially the intricate handling of numerical values and mathematical relationships entwined within the context. In response, this study introduces a novel masking approach explicitly tailored for MWP solving, departing from the limitations of random masking. This approach trains the encoder-decoder framework to better predict essential numerical components and mathematical relationships within MWPs. This research endeavors to comprehensively explore the efficacy of the proposed masking approach in comparison to the conventional random masking methodology. Additionally, the study delves into the nuanced effects of varying masking percentages and span lengths during continual training on the performance of MWPs. By conducting a series of extensive experiments, this investigation un- ravels valuable insights, shedding light on the optimal configurations that contribute to an enhanced mathematical reasoning capacity within the realm of MWPs. The outcomes of this research present a promising narrative, showcasing substantial en- hancements in performance across a diverse range of datasets, including GSM8K, SVAMP, and MultiArith. Particularly noteworthy is the remarkable surge in accu- racy observed in the SVAMP dataset, soaring from an initial 12.90% to an impres- sive 43%. Similarly, the MultiArith dataset demonstrates a significant performance boost, with accuracy ascending from 26.88% to an elevated 49.53%. These findings underscore the effectiveness of our innovative masking approach in elevating the mathematical proficiency of encoder-decoder models dedicated to MWP solving. This study not only establishes the superiority of the proposed masking ap- proach but also provides valuable insights into the intricate dynamics of continual training, the impact of loss functions, and their combined influence on the pro- ficiency of encoder-decoder models in MWP solving. The nuanced variations ob- served in the results of different loss function combinations add depth to the research, contributing to the broader comprehension of optimizing models for MWP-solving tasks. Keywords: Mathematical Word Problems (MWPs); Language Models (LM); Masking Numerical Tokens: Random Masking; Mathematical Reasoning; Encoder- Decoder Models; Continual Training. 수치마스킹전략을이용한사전학습인코더-디코더언어모델의 수학문제풀이성능개선 자연어처리(NLP)태스크에서수학문제풀이태스크를(MWP)를해결하는 것은 어려운 태스크이다. 디코더 기반 LLM(거대 언어 모델)은 MWP 해결의 잠 재력을 입증했지만 이에 필요한 모델의 크기가 상당한 수준이어야 한다는 것이 한계이다. MWP는언어이해와생성의고유한융합을요구하므로인코더-디코더 모델이 대안이 될 수 있다. 그러나 이러한 모델은 특정 복잡성, 특히 컨텍스트 내에 얽혀 있는 수치 값 및 수학적 관계를 학습하여 추론하는 능력을 필요로 한 다. 이를 효과적으로 해결하기 위해, 이 연구에서는 무작위 마스킹의 한계에서 벗어나 MWP 해결을 위한 명시적으로 맞춤화된 새로운 마스킹 접근방식을 소 개하고 적용한다. 이 접근방식은 인코더-디코더 프레임워크가 MWP 내의 필수 수치구성요소와수학적관계를더잘예측하도록설계되었다. 본 연구에서는 기존의 무작위 마스킹 방법과 비교하여 제안된 마스킹 접 근방식의효율성을포괄적으로탐색하고결과를제시한다.또한이연구에서는 MWP성능에대한지속적인학습중다양한마스킹비율과스팬길이의미묘한 효과를조사하였다.일련의광범위한실험을수행함으로써이연구는귀중한통 찰력을밝혀내고MWP영역내에서향상된수학적추론능력에기여하는최적의 구성을 제안한다. 이 연구는 GSM8K, SVAMP 및 MultiArith를 포함한 다양한 NWP 데이터셋을 사용한 실험에서 성능이 크게 향상되었음을 보인다. 특히 주 목할 만한 점은 SVAMP 데이터셋에서 관찰된 정확도의 놀라운 상승으로, 초기 12.90%에서 43%까지성능향상을보였다.마찬가지로 MultiArith데이터셋에서 정확도가 26.88%에서 49.53%로증가함을보였다.이러한결과는MWP해결전 용인코더-디코더모델의수학적추론성능을높이는데있어제안한마스킹접근 방식이효과적이라는것을증명하였다. 이 연구는 제안된 마스킹 접근 방식의 우수성을입증할 뿐만 아니라 지속 적인 훈련의 복잡한 역학, 손실 함수의 영향 및 MWP 해결에서 인코더-디코더 모델의숙련도에대한결합된영향에대한통찰력을제공하였다.다양한손실함 수조합의결과에서관찰된미묘한변화는연구에깊이를더해MWP해결을위한 모델최적화에기여하였다. Keywords:수학단어예측(NWP);언어모델(LM);숫자토큰마스킹:무작위 마스킹;수학적추론;인코더-디코더모델;지속적인훈련.

Efficiency Enhanced Super Resolution Generative Adversarial Network via Advanced Knowledge Distillation Sajid Hussain Applied AI

Sajid Hussain 과학기술연합대학원대학교 한국과학기술정보연구원(KISTI) 2024 국내석사

압축모델을이용한지식증류기반효율적인 SR-GAN기법 고해상도 이미지는 가장 널리 알려진 컴퓨터 비전 분야의 대표적 이슈 중 하나이며 의료 영상부터 감시 시스템까지 다양한 응용 분야에서 중요한 역 할을 한다. GAN(Generative Adversarial Networks)의 등장으로 저해상도 입력 이미지로부터 고품질의 사실적인 이미지를 생성할 수 있게 되면서 이 분야는 혁신적으로발전하게되었다.그러나 GAN을활용한단일고해상도이미지(SR) 생성에는여전히많은어려움이존재한다. GAN기반 SR기술활용의주요어려움은고성능생성자네트워크로인한 높은 메모리와 계산 요구에 있다. 이러한 요구사항은 성능을 저해하고 많은 에 너지를소비하여자원이제한적인기기에 GAN기반 SR을활용하는것을어렵게 한다. 본 연구는 이 문제점을 해결하기 위한 단일 이미지의 고해상도를 위한 혁신적이고 효율적인 SR-GAN 구조를 제안한다. 제안하는 방법은 지식 증류 (knowledge distillation) 개념을 전략적으로 활용하여 메모리 요구 사항을 최대 58%까지획기적으로감소시키면서도성능향상을얻을수있었다. 본 연구에서 제안하는 방법의 핵심은 고성능 모델로부터 특징 맵들을 추 출하여 연산 및 메모리 오버헤드를 최소화하는 경량 모델을 개발하는 데 있다. 다양한 벤치마크 데이터셋에 대한 x4 고해상도 태스크 실험 결과, 우리의 압축 모델이 기존 지식 증류 기반 기술과 기반 모델의 성능을 SSIM, PSNR, LPIPS, DISTS측면에서모두뛰어넘는것을확인할수있었다. Keywords:지식증류;생성적적대네트워크;감독자-해결;모델경량. Efficiency Enhanced Super Resolution Generative Adversarial Network via Advanced Knowledge Distillation Image super-resolution is a widely popular computer vision problem that plays a pivotal role in numerous real-world applications, ranging from medical imaging to surveillance systems. The field has been revolutionized by the emergence of Generative Adversarial Networks (GANs), which enable the generation of high- quality, photorealistic images from low-resolution inputs. However, the utilization of GANs for single-image super-resolution (SISR) is not without its challenges. The main obstacle to the adoption of GAN-based SR lies in its high memory and computational demands, primarily attributed to the resource-intensive genera- tor networks. These demands hinder performance and exacerbate energy consump- tion, making the deployment of GAN-based SR on resource-constrained devices a formidable task. In response to this challenge, our research endeavors to introduce an innova- tive and efficient solution: a novel SR-GAN architecture optimized for the demands of SISR. Our approach leverages the concept of knowledge distillation strategically, resulting in a remarkable reduction in storage requirements by up to 58%, while enhancing performance. The core of our methodology involves the extraction of feature maps from a resource-intensive model to craft a lightweight, yet powerful model with minimal computational and memory overhead. Through extensive experimentation across diverse benchmark datasets, our proposed compressed model outperforms existing knowledge distillation-based techniques and the base model, particularly in regard to SSIM, PSNR, LPIPS, DISTS, and overall image quality in 4x super-resolution tasks. Keywords: Knowledge Distillation; Generative Adversarial Network; Super-Resolution; Model Lightweight.