A Study on the Proposal of Software Cost Estimation Model Based on Machine Learning

Kim, Min Sun Graduate School, Eulji University 2020 국내박사

Since the fourth industrial revolution, artificial intelligence has been used in various fields. Accordingly, there is an increasing demand for calculating software costs in a systematic and standard manner through the application of artificial intelligence. Currently, software development is increasing in complexity due to universalization of service delivery methods using various devices such as mobile devices. In addition, the scale and complexity of software has grown in response to increasing demand for an environment in which work can be done anytime, anywhere. This has made it difficult for experts to guarantee the reliability of cost calculations, as differences arise in the results of cost estimates. In general, calculating software cost estimation, including software development and operation, is common in FP (Function Point) and M/M (Man/Month) methods for calculating input personnel based on workload. Among them, this paper discusses the FP method, which is relatively more reliable. Currently, it is recommended that public agencies' software cost estimates be calculated using the KOSA (Korea Software Industry Association) "Software Cost Estimation Guide" model. However, the subjective criteria used by cost estimators can lead to over- or underestimation. There are several cases in which there have been discrepancies between cost-assessment and the actual costs of a project due to the vague criteria used by cost-estimation experts. First, this paper proposes cost estimation modeling based on artificial intelligence. Second, the K-Means clustering algorithm is applied to the "Software Cost Estimation Guide" model, which is the application standard for public institutions. Third, the attributes needed for the model are defined based on the analyzed modeling results and orthodoxy, which is the FP calculation method. Finally, the proposed modeling is evaluated by applying a linear regression algorithm. The evaluation result shows 80% accuracy, which indicates that the prediction model works well. If AI learning is carried out by continuously acquiring a large amount of data in the future, it is expected that it can be effectively and efficiently applied to calculating cost estimations at industrial sites. The proposed model for predicting software costs is expected to enable the calculation of more standardized and reliable cost estimations than the "Software Cost Estimating Guide" model. 최근 4차 산업혁명 이후 인공지능은 다양한 분야에 활용되고 있다. 이에, 복잡한 소프트웨어의 적정한 대가를 산정하여 예산을 편성하는 업무에도 인공지능을 적용하여 체계적이고 표준적인 방식으로 소프트웨어 원가를 산정하는 시대적 요구가 증대되고 있다. 현재 소프트웨어 개발은 모바일 등 다양한 디바이스를 이용한 서비스 제공 방식의 보편화 등으로 인해 복잡도가 증가하고 있다. 또한, 언제 어디서나 업무를 처리할 수 있는 환경을 지향하는 사용자 요구에 따라 소프트웨어의 규모가 커지고, 소프트웨어의 복잡도가 증가하게 되어 전문가 조차 원가산정 결과에 차이가 발생하고 있게 현실이며, 점점 더 대가 산정의 신뢰성을 보장하기 어려워지고 있다. 일반적으로, 소프트웨어 개발과 운영을 포함한 소프트웨어 대가 산정 방법으로는 개발 규모를 FP (Function Point)로 환산해 점수로 산정하는 FP 방식과 업무량에 따른 투입 인력을 산정하는 M/M (Man/Month) 방식이 보편화 되어 있다. 그중 본 논문은 조금 더 신뢰성이 보장된 FP방식에 대해 논하였다. 현재 공공기관의 소프트웨어 대가 산정은 KOSA (Korea Software Industry Association)의 "Software Cost Estimation Guide" 모형을 활용하여 대가를 산정하도록 권고되고 있다. 하지만, 이 모형은 원가산정 전문가의 숙련도에 따라 소프트웨어 대가를 산정한 결과가 과대 또는 과소 산정 되고 있는 실정이다. 아울러, 현재의 원가산정 기준은 모호한 부분이 많아 실제 사업이 종료된 후에 정산된 투입 비용과 차이가 발생하는 경우가 많다. 본 논문은 첫번째, 인공지능을 기반으로 하는 원가산정 모델링을 제안하였다. 두번째, K-Means Clustering Algorithm을 적용하여 공공기관의 적용기준이 되는 "Software Cost Estimation Guide" 모형에 대해 인공지능을 적용하여 분석하였다. 세번째, 분석한 모델링 결과와 FP 산정 방식인 정통법을 토대로 모델에 필요한 속성을 정의하였다. 마지막으로, 제안한 모델링을 Linear Regression 알고리즘을 적용하여 검증하였다. 검증 결과는 80%이상의 accuracy를 보였고, 이는 인공지능을 적용한 예측 모델이 잘 작동하는 것을 보여준다. 향후, 지속적으로 많은 데이터를 확보하여 인공지능 학습을 진행한다면 산업 현장에서 효과적이고 효율적으로 대가 산정에 적용될 것으로 예상된다. 소프트웨어 원가 산정을 위해 제안된 인공지능 모델을 활용한다면 현재 적용되고 있는 "Software Cost Estimation Guide" 모형보다는 표준화되고 신뢰성 있는 대가 산정이 가능할 것으로 기대한다.

가치기반 SW유지관리 대가산정 모델에 기반한 SW운영 IT아웃소싱 비용산정에 관한 실험적 연구

변응수 연세대학교 공학대학원 2016 국내석사

급변하는 경영환경 속에서 생산성과 이윤 극대화의 전략적 수단으로 기업은 IT아웃소싱을 채택하고 있다. 하지만, 기업의 어플리케이션에 대한 아웃소싱 비용산정 방법은 투입공수 방식에서 벗어나지 못하고 있으며, 발주자와 공급사간 상호 납득할 수 있는 현실적인 대가로 거래되지 못하고 있어 항상 시장의 논란이 되어 왔다. 한국소프트웨어산업협회는 기존 대가체계를 개선하여 원가보전 방식에서 가치중심 개념을 도입하고 SW운영 아웃소싱 서비스의 규모산정 시 고객특성과 제공되는 역량수준을 고려하고 이를 대가에 반영하여“가치기반의 IT아웃소싱(ITO) 서비스 대가 모델”을 2015년 공표하였다. 가치기반 대가산정은 고객중심으로 투입공수(원가) 중심에서 사용자(고객) 특성과 고객관점의 서비스의 가치(기본/특성/역량 규모)를 기반으로 측정된 서비스 규모와 단가를 토대로 대가를 산정한다. 하지만, 시장에서 적용한 사례가 극히 일부에 지나지 않으며, 실제 사례를 중심으로 투입공수 체계와의 차이 및 요인 분석, 도입 시 고려사항, 타당성과 적정성 등에 대한 검토와 연구가 부족하여 관련연구를 통해 실제 적용사례를 정착시킬 필요가 있다. 본 논문에서는 “가치기반의 IT 아웃소싱(ITO) 서비스 대가 모델” 산정방법에 대한 실험적 연구를 수행하고 다음과 같은 네 가지 연구결과를 제시 하였다. 첫째, 15년 한국소프트웨어산업협회가 공표한 SW사업 대가산정 체계인 “SW사업 대가산정 가이드 2015년 개정판”에서 제시하는 “가치기반 SW운영 ITO 서비스 대가 산정방식”의 기본 개념에 대해 소개한다. 특히, 비용산정의 기본단위로서 가장 중요한 소프트웨어의 운영·유지관리 서비스의 종류, 규모측정, 가치기반 대가산정의 기본개념에 대해 설명한다. 둘째, 기존 SW운영 및 유지관리 사업대가, 유지보수 비용산정 기법의 장단점과 가치기반 대가체계와의 차이점에 대해 알아보고 본 논문의 연구 방향설정에 필요한 시사점을 도출하여 제시 하였다. 셋째, “가치기반 방식 ITO서비스 유지관리 및 운영비 산정”모델에 따라 실제 기업의 사례 데이터를 수집하여 同 기업의 정보시스템 ITO사업의 SW 운영 및 유지관리 비용을 산정하였고, 실제 투입된 공수, 운영 및 유지관리 시간 등을 측정하여 기존 방식에 따라 비용을 산출하였다. 두 사례의 운영 비용간의 차이를 비교하여 가치기반 산정 방법에 대한 적정성과 발생되는 차이 값에 대한 원인과 개선방안, 시사점을 제안하였다. 마지막으로, 본 논문은 연간 실제 투입인력 공수가 300 M/M (Man/Months) 이상이며 어플리케이션 운영예산이 40억 정도 소요되는 규모가 큰 기업사례를 기반으로 가치기반 사업대가 산정방식을 통한 운영비 산출과정을 상세히 기술하였다. 가치기반의 사업대가 체계가 현장에 정착하기 위해 다양한 검토와 실험이 필요한 만큼, 이와 유사한 규모의 ITO 사업에 가치기반 대가체계를 도입하고자 하는 조직의 도입 타당성 및 고려사항 검토, 운영비 예측 과정 등에 본 연구결과가 참고로 활용되기를 기대한다. The most of modern companies are adopting IT outsourcing as a strategic means of maximizing their profit and productivity under the rapidly changing business environment. However, there always has been long-running debate about the estimation of IT outsourcing cost in the market, because most enterprises adhere to the existing man-months based calculation and the relevant contractions cannot be made with the mutually reasonable prices. Korea Software Industry Association has announced “The Value-based SW ITO Cost estimation model” to improve the existing SW maintenance cost calculation model based on the expense protective methods and introduce the value-oriented concepts in 2015. The value-based SW ITO cost estimation model is the customer-oriented method, which estimates its costs using ITO service scale and its unit price measured based on the user (customer) characteristics and customer’s perspective. However, there is little application cases of the value-oriented ITO cost estimation model and the most of enterprises have little experiences in introduction of the new methodology and thus we need additional case study of comparing the existing method with the value-based model, analyzing feasibility, considerations and differences between these cost models. Therefore, this study suggests following 4 aspects with empirical study of “The Value-based IT Outsourcing Cost Estimation Model” based on the actual enterprises cases. Firstly, it introduces the basic concepts of “The Value-based SW IT Outsourcing Cost Estimation Model” of Korea Software Industry Association. Especially, it explains software maintenance service categories and scales of each service which is one of the most important things as a basic unit for the software ITO cost estimation. Secondly, it analyzes pros and cons of the existing software maintenance cost calculation methodologies based on man-months, and then suggest the implication which is necessary to establish the direction of this study. Thirdly, it estimates the software maintenance cost based on the actual enterprise cases in accordance with “The Value-based SW IT Outsourcing Cost Estimation Model”, and then calculates the real operation expenses of the above relevant company using the existing man/months methodology. Consequently, it compares the differences between these two cases, and then proposes the root causes of those differences and the propriety of “The Value-based SW IT Outsourcing Cost Estimation Model”. Finally, this research describes the detailed process of the value-based software maintenance cost estimation for the largest cooperate that its annual IT system operation budget is about 40 billion and the actual manpower is more than 300 man/months. It is necessary for the various experiment and verification to settle “The Value-based SW IT Outsourcing Cost Estimation Model” on the actual business environment. Therefore it is expected that this research will be used in the similar scale ITO contraction of the organizations which consider the introduction of the above value-based cost estimation methodology.

(A)Return-On-Investment Based Approach to Plat-formalizing DTV Device Drivers Using Embedded Functional points

허소희 고려대학교 대학원 2008 국내석사

Embedded Software 산업 부문에서는 개발 시 드는 비용이 제품 출시 시 판매 비용에 직결되므로, 개발 비용의 절감이 늘 큰 이슈가 되고 있다. Hardware의 경우는 부품 재료비의 산정을 통해 재료비 절감의 효과를 미리 알 수 있지만, 눈으로 보이는 부품을 사용하지 않고 programmer의 노력과 시간, 개인적인 skill 등을 통해 산출되는 software의 개발 비용 산정에는 많은 어려움이 따른다. 또한 잘못 된 추정은 자원 예측의 부정확성을 초래하고 이로 인하여 일정에 차질이 오거나 품질의 저하와 같은 문제점이 따를 수 있다. 기존에는 Digital TV의 software 개발 시 software의 표준화를 통해서 개발 일정이나, 인적 자원의 절감 등과 같은 성과에 대해서 오로지 심증적인 추정만이 가능 한 경우가 많았다. 물론 이미 많은 분야에서 software 추정의 기법이 쓰이고 있고 보이지 않는 software 부품의 특성을 극복하고 좀 더 객관적인 기준을 마련하기 위한 노력이 진행되고 있다. 하지만 아직까지 digital TV를 개발하고 있는 산업체에서는 이러한 소프트웨어 추정 기법을 digital TV의 개발 project에 도입하고자 하는 시도가 널리 이루어지지 못하고 있는 실정이다. 이것은 최초에 TV를 개발할 때는 Analog 방송 수신용으로 어셈블리어를 사용하는 작은 규모의 program 만으로도 CRT TV의 개발이 가능했었고, 그러한 시기에는 경력 많고 자질 있는 senior engineer에 의한 소프트웨어 자원의 추정이 가능하였다. 그러나 그 이후에 digital TV 방송이 도입되고, 방송 수신을 위한 SOC chip들의 발전이 급격하게 진행되면서 digital software의 규모와 복잡성이 날이 다르게 커져갔다. 그리고 이렇게 software의 발전이 진행됨에 따라, project를 시작하기 전에 software team의 목표 설정을 하는 경우나 개발 완료 시의 성과 측정이 필요한 경우에는 적당한 기준을 찾지 못해 곤란을 겪어왔다. 또한, 대부분의 embedded 산업에서는 제품을 개발 할 때, 기존에 개발 되어왔던 과거 project에서 software의 일부만을 변경을 하여 다양한 modify model을 개발하는 경우가 많은데, 이 경우에는 변경 되는 부분을 작업할 programmer를 몇 명을 투입 할 것 인지, 예상 개발 비용과 기간에 대해서는 더욱 가늠하기 힘들다. 본 논문에서는 실제로 개발 중인 Digital TV의 일부 code만을 변경하는 경우를 고려하여, 표준화 작업을 수행 할 경우 작은 module의 변경만을 COCOMO II 모델링 기법을 적용하여, 예측 비용을 추산해 보았다. 이 방법을 통하여 소단위의 software의 변경이나 기능의 추가 시에 기대되는 비용의 효과를 예측 할 수 있고, 필요한 인원 선정에도 도움이 될 수 있다. 그 변경 될 module의 대상은 device driver level에 위치하고 있어, 매번 새로운 device가 개발 될 때마다, 추가로 작성되어야 하는 code 였다. 그러나, 이 code를 표준화 할 수 있는 부분과 device에 전적으로 의존적인 부분을 고려하여 표준화가 가능한 부분은 refactoring과 module 화를 통하여 Plat-formalization 을 시켜서, 표준 code 영역으로 옮겨서, device 추가 시 마다 다시 개발 되는 일이 없도록 하는 것을 본 논문의 목표로 삼았다. 또한 이때 code size를 추정하기 위하여 기존의 function points 기법을 사용 할 경우, 이 기법 자체가 대규모의 team project를 수행할 때 적합하도록 고안이 되어서, 소규모의 program을 변경할 경우에는 적용하기에 부적합하다는 것을 발견하였다. 이에 기존의 function points 기법을 소규모 embedded 환경에서 사용하기 적합하도록 parameter를 수정하여, 새로운 ‘Embedded functional point” 기법을 고안하여 이 기법을 사용하여 좀 더 정확한 추정이 이루어질 수 있도록 하였다. 이때 얻어지는 cost는 향후 새로운 device 를 이용하여 개발되는 모델의 개발 비용까지 고려될 수 있다. 본 논문에서는 기존의 software 측정 기법으로 잘 알려진 COCOMO(Constructive Cost Model) II 를 사용하여 가시적인 비용을 추정하였으며, 그 결과는 해당 모듈을 위하여는 programmer 한 명이 full 로 지원이 되었을 경우 약 9개월 정도 걸리는 것으로 나왔다. 따라서, 이 모듈을 표준화 했을 경우에는 이에 해당하는 비용의 절감 효과를 기대할 수 있다. 이러한 방법은 다른 모듈로의 확대가 가능하며 향후 Digital TV software project의 개발 할 경우, 계획을 세우거나, 성과 측정에 도움을 줄 수 있을 것이다. In this paper, we apply COCOMO II modeling method to digital TV by considering the modification of the partial code in case of the software standard and estimate a cost. Through the proposed method, we can estimate the cost and when the partial software code or additional function is modified. We also can estimate the number of the works to modify the code. When new devices are added or developed, the code has to be modified because the modified target module is located in device driver level. The focus of the paper is the decrease of the development costs by considering the partial code that is able to standardize and the other that is device dependant. Additionally, we discover that an existing method (functional points) is not suitable for the small team project to estimate a code size. Accordingly, we modify a parameter that is used in the existing method “Functional points” and propose a new method that is a suitable developing environment in embedded system. In section 4 (Estimation), we show that the proposed method is better than the existing method in terms of the estimated cost.

Towards Understanding Electric Charge Quantization : Search for Sub-millicharged Particles at J-PARC

Hoyong Jeong 고려대학교 대학원 2024 국내박사

The exploration of the dark sector, which constitutes the majority of the universe, and the quantization of electric charge are yet unsolved enigmas in modern physics. The SUB-Millicharge ExperimenT (SUBMET) experiment, going to be carried out at Japan Proton Accelerator Research Complex (J-PARC), endeavors to uncover clues to these mysteries by attempting to detect millicharged particles (mCPs). It represents one of the challenges aimed at understanding the realms beyond the Standard Model of particle physics. The SUBMET experiment is slated to be conducted on the second basement floor of J-PARC's neutrino monitor (NM) building. It employs modules composed of photomultiplier tubes (PMTs) and scintillators. These modules are designed to directly detect mCPs as they pass through the detector by sensing scintillation light. Four modules are bundled together to form a supermodule. The supermodules are integrated within mechanics that consist of tables and cages, and the entire detector is organized into two layers to facilitate background control. Also discussed in this dissertation are the high voltage (HV) power supply for the PMTs and monitoring system for the detector's slow control, and the DQM monitoring software. The design and fabrication of a custom data acquisition (DAQ) system based on Domino Ring Sampler 4 (DRS4), dedicated to the SUBMET detector, are further deliberated. The software developed for data analysis is comprehensive, including algorithms for baseline estimation and pulse detection of the PMT signals. The anticipated backgrounds for the SUBMET experiment include intrinsic PMT dark count rate (DCR) and ambient radiation, as well as backgrounds resulting from cosmic muons and beam-induced events. These backgrounds are predicted through module testing within the laboratory or via computer simulations such as GEANT4. This dissertation also discusses background measurements conducted during a beam-off period at J-PARC, providing real-world observational data. The SUBMET experiment conducted at J-PARC marks a substantial advance in the quest for mCPs, which are hypothesized components of the dark sector and could shed light on the characteristics of dark matter. The outcomes of this research are poised to lay down a solid foundation for forthcoming explorations into the scarcely charted domain of fractional electric charges, thus enhancing our comprehension of the elemental forces and particles that compose the cosmos, which provides sensitivity to χs (mCPs) with the charge down to $8\times 10^{-5}e$ in $m_\chi < 0.2~\mathrm{GeV/c}^2$ and $10^{-3}e$ in $m_\chi>1.6~\mathrm{GeV/c}^2$. This is the regime largely uncovered by the previous experiments. 우주의 대부분을 구성하는 암흑 세계의 탐험과 전기 전하의 양자화는 현대 물리학에서 아직 해결되지 않은 수수께끼이다. SUB-Millicharge ExperimenT (SUBMET) 실험은 일본의 Japan Proton Accelerator Research Complex (J-PARC)에서 수행될 예정이며, 미세 전하 입자를 탐지하려는 시도를 통해 이러한 미스터리에 대한 단서를 밝히고자 한다. 이 실험은 입자 물리학의 표준 모델을 넘어서는 영역을 이해하기 위한 도전 중 하나이다. SUBMET 실험은 J-PARC의 neutrino monitor (NM) 빌딩 지하2층에서 진행될 예정이다. 이 실험은 photomultiplier tube (PMT)와 신틸레이터로 구성된 모듈을 사용한다. 이러한 모듈은 신틸레이터를 통과하는 미세 전하 입자를 직접 검출하기 위해 설계되었다. 네 개의 모듈은 서로 묶여서 슈퍼모듈을 형성한다. 슈퍼모듈은 테이블과 케이지로 구성된 기계 장치에 결합되어 있으며, 전체 검출기는 백그라운드 제어를 용이하게 하기 위해 두 레이어로 구성된다. 이 박사 학위 논문에서는 PMT용 고전압 공급장치와 검출기의 설정 제어 및 DQM 모니터링 소프트웨어를 위한 모니터링 시스템도 논의된다. SUBMET 검출기 전용으로 Domino Ring Sampler 4 (DRS4)를 기반으로 한 맞춤형 data acquisition (DAQ) 시스템의 설계 및 제작에 대해서도 자세히 설명된다. 데이터 분석을 위해 개발된 소프트웨어는 PMT 신호의 기준선 추정과 펄스 탐지를 위한 알고리즘을 포함한다. SUBMET 실험의 예상 백그라운드에는 내재적인 PMT의 dark count rate (DCR)과 주변 방사선뿐만 아니라 우주선 및 빔에 의한 이벤트로 인한 백그라운드도 포함된다. 이러한 백그라운드는 실험실 내 모듈 테스트 또는 GEANT4와 같은 컴퓨터 시뮬레이션을 통해 예측된다. 이 논문에서는 J-PARC에서 양성자 빔이 켜지지 않은 기간 동안 수행된 백그라운드 측정에 대해서도 논의하며, 실제 관측 데이터를 제공한다. J-PARC에서 수행될 SBUMET 실험은 미세 전하 입자의 질량 $m_\chi < 0.2~\mathrm{GeV/c}^2$ 영역에서 전하량 $8\times 10^{-5}e$ 부근 및 $m_\chi>1.6~\mathrm{GeV/c}^2$ 영역에서 전하량 $10^{-3}e$ 부근까지 민감도를 확보하여 암흑 세계의 가설적 구성 요소이며 암흑 물질의 특성을 밝힐 수 있는 미세 전하 입자에 대한 탐구에서 중요한 진전을 이룰 것이다. 이 연구의 결과는 미세 전하의 거의 탐험되지 않은 영역으로의 향후 탐험을 위한 견고한 기반을 마련할 것이며, 우주를 구성하는 기본적인 힘과 입자에 대한 우리의 이해를 향상시킬 것이다.

The Architecture Design and Hardware Implementation of Communications and High-precision Positioning System

Yu, Hanguang ProQuest Dissertations & Theses Arizona State Univ 2020 해외박사(DDOD)

Within the near future, a vast demand for autonomous vehicular techniques can be forecast on both aviation and ground platforms, including autonomous driving, automatic landing, air traffic management. These techniques usually rely on the positioning system and the communication system independently, where it potentially causes spectrum congestion. Inspired by the spectrum sharing technique, Communications and High-Precision Positioning (CHP2) system is invented to provide a high precision position service (precision ~1cm) while performing the communication task simultaneously under the same spectrum. CHP2 system is implemented on the consumer-off-the-shelf (COTS) software-defined radio (SDR) platform with customized hardware. Taking the advantages of the SDR platform, the completed baseband processing chain, time-of-arrival estimation (ToA), time-of-flight estimation (ToF) are mathematically modeled and then implemented onto the system-on-chip (SoC) system. Due to the compact size and cost economy, the CHP2 system can be installed on different aerial or ground platforms enabling a high-mobile and reconfigurable network. In this dissertation report, the implementation procedure of the CHP2 system is discussed in detail. It mainly focuses on the system construction on the Xilinx Ultrascale+ SoC platform. The CHP2 waveform design, ToA solution, and timing exchanging algorithms are also introduced. Finally, several in-lab tests and over-the-air demonstrations are conducted. The demonstration shows the best ranging performance achieves the ~1 cm standard deviation and 10Hz refreshing rate of estimation by using a 10MHz narrow-band signal over 915MHz (US ISM) or 783MHz (EU Licensed) carrier frequency.

Resource-Efficient Machine Learning Systems: From Natural Behavior to Natural Language

Biderman, Dan Columbia University ProQuest Dissertations & These 2024 해외박사(DDOD)

Contemporary machine learning models exhibit unprecedented performance in the text, vision, and time-series domains, but at the cost of significant computational and human resources. Applying these technologies for science requires balancing accuracy and resource allocation, which I investigate here via three unique case studies.In Chapter 1, I present a deep learning system for animal pose estimation from video. Existing approaches rely on frame-by-frame supervised deep learning, which requires extensive manual labeling, fails to generalize to data far outside of its training set, and occasionally produces scientifically-critical errors that are hard to detect. The solution proposed here includes semi-supervised learning on unlabeled videos, video-centric network architectures, and a post-processing step that combines network ensembling and state-space modeling. These methods improve performance both with scarce and abundant labels, and are implemented in an easy-to-use software package and cloud application. In Chapter 2, I turn to the Gaussian process, a canonical nonparametric model, known for its poor scaling with dataset size. Existing methods accelerate Gaussian processes at the cost of modeling biases. I analyze two common techniques -- early truncated conjugate gradients and random Fourier features -- showing that they find hyperparameters that underfit and overfit the data, respectively. I then propose to eliminate these biases in exchange of increased variance, via randomized truncation estimators. In In Chapter 3, I investigate continual learning, or "finetuning", in large language models (LLMs) with billions of weights. Training these models requires more memory than typically available in academic clusters. Low-Rank Adaptation (LoRA) is a widely-used technique that saves memory by training only low rank perturbations to selected weight matrices in a so-called "base model'". I compare the performance of LoRA and full finetuning on two target domains, programming and mathematics, across different data regimes. I find that in most common settings, LoRA underperforms full finetuning, but it nevertheless exhibits a desirable form of regularization: it better maintains the base model's performance on tasks outside the target domain. I then propose best practices for finetuning with LoRA.In summary, applying state-of-the-art models to large scientific datasets necessitates taking computational shortcuts. This thesis highlights the implications of these shortcuts and emphasizes the need for careful empirical and theoretical investigation to find favorable trade-offs between accuracy and resource allocation.

Information-Theoretic Approach for Upscaling

Belivanis, Dimitrios Ioannis ProQuest Dissertations & Theses Stanford Universit 2022 해외박사(DDOD)

Recent advances in hardware, algorithms, and scientific computing open new possibilities to revisit long-standing problems with additional tools in our arsenal. Examples of such problems, which are explored in this study, are inverse problems and upscaling of dynamic models. Both problems include nonlinear and functional minimization of the discrepancy between data and model predictions. This study develops an information-theoretic approach for upscaling of dynamic models affected by uncertainty. An optimal, time-dependent, probabilistic characterization of the macroscale model is obtained to yield minimum discrepancy with respect to assigned quantities of interest provided by the microscale solution. Hard data forming a training set are obtained at the fine scale from repeated synthetic simulations or from observations. Fine-scale information is transferred to the coarse scale via minimization of a loss function that consists of the cumulative average discrepancy, regularized by the cumulative exchange of information measured via mutual information. This general procedure is applied to transient flow processes in heterogeneous media. Upscaling of the mean uniform transient flow in heterogeneous formations yields a time-dependent effective conductivity. As a result, the corresponding optimization of the aforementioned loss function is not trivial and, therefore, a flow simulator is developed with machine-learning software that uses state-of-the-art optimization methods. This methodology provides results that coincide with results obtained with traditional methods and further expands them in two major ways. First, it yields a probabilistic distribution of the upscaled parameter rather than a single value (the ensemble mean); this allows one to quantify prediction uncertainty of the upscaling procedure. Second, our methodology does not impose any physical constraints and limitations, such as the assumption of mild heterogeneity of a porous medium that underpins the perturbation-based strategies for conductivity scaling. In addition, our information-theoretic methodology is further expanded to tackle multi-dimensional transient flows. The change of direction of the mean flow induces anisotropy in the upscaled conductivity tensor, whose full effects cannot be captured with a two-point flux-approximation simulator. For this reason, a multi-point flux-approximation simulator is developed using the machine learning software. This allows us to predict the temporal evolution of all the components of the upscaled conductivity tensor. Finally, this study examines the use of neural networks as a surrogate model for Markov chain Monte Carlo (MCMC). For this purpose, a two-dimensional encoder-decoder convolutional neural network (CNN), which has been previously developed for inverse problems, is modified. The specific application considered in this thesis is a thermal-hydrologic-chemical model. The main challenges that arise in this setting are the large number of inputs and outputs needed to describe the problem. We show that the CNN surrogate is able to capture all the complex physical processes and is accurate enough to be used for MCMC. In addition, since all the gradient information is known, it enables the use of more evolved MCMC algorithms such as Hamiltonian Monte Carlo.

AFP 모델 : 소프트웨어 규모 산정을 위한 개선된 function point 모델

우덕제 高麗大學校 工學大學院 2009 국내석사

소프트웨어 규모 추정은 소프트웨어 Life-Cycle 초기에 분석되어 규모와 비용의 예측에 도움을 주어야 한다. 2004년 소프트웨어 사업대가 기준에 국제표준에 기반한 기능점수 방식이 도입된 후 사용자 입장에서 소프트웨어의 규모를 바라보고 비용을 산정하는 기반이 마련되었다. 그러나 현재의 기능 점수 측정 방식은 익숙하지 않은 일반 사용자가 접근하기 쉽지 않고, 모든 시스템 및 기능의 복잡도 가중치가 획일화 되어 있어 내부 계산 로직이 복잡한 공학용 소프트웨어나 과학계산용, 시뮬레이션 소프트웨어에 대한 산정 방식에서 그 규모를 적절히 산정하지 못하는 문제점을 안고 있다. 또한 산정 과정에서의 주관적 개입 요소와 모호성은 기능점수 산정에 있어 지속적인 문제가 되어왔다. 본 논문에서는 기존의 기능점수 측정 절차를 간략화하여 RET 측정에서 야기되는 모호성을 제거하고 프로젝트 초기에 규모의 추정을 쉽고 빠르게 수행할 수 있는 모델을 제시한다. 또한 특정 조직의 특성을 반영할 수 있는 수학적 가중치 산출 모형을 제시함으로써 고정된 복잡도 가중치에 대한 논란의 여지를 없애고 조직의 데이터가 쌓일수록 해당 조직의 특성을 반영해 나갈 수 있는 측정 모형을 제시한다. 제시한 모델은 평가 결과 기존의 FPA 방식보다 빠르게 규모를 측정할 수 있고 LOC와의 상관관계도 더 높은 장점이 있다. A software size estimation has to be analyzed in the beginning of the software life-cycle and helpful to the prediction of its size and cost. The software cost has been calculated by estimating software size from the user's point of view since the function point method based on international standards was introduced for the estimation of software size in 2004. However, the current function point method is not easy to be exploited for unfamiliar user, and has a problem that it cannot estimate the proper size for software such as engineering software, scientific calculations and simulation with complicated internal computational logic. This paper presents an improved model which can simplify the existing function point measurement procedure, and perform the estimation of software size in easy and fast way at the initial stage of project. Moreover, it presents a mathematical weighted value calculation model which can solve the problem of the fixed complexity weighted value and reflect the characteristics of organization as its data is pilled up. Our evaluation shows that the presented model has advantage that it can measure the size more rapidly than the existing FPA methods and has more correlation with LOC.

Strategies in Software Development Effort Estimation

Roark, Kevin Walden University ProQuest Dissertations & Theses 2020 해외박사(DDOD)

Software development effort estimating has notoriously been the Achilles heel of the software planning process. Accurately evaluating the effort required to accomplish a software change continues to be problematic, especially in Agile software development. IT organizations and project managers depend on estimation accuracy for planning software deliveries and cost determination. The purpose of this multiple case qualitative study was to identify strategies used by software development professionals in providing accurate effort estimations to stakeholders. The planning fallacy served as the study’s conceptual framework. The participants were 10 software development professionals who were actively engaged in delivering estimates of effort on software development requests in South Texas in the United States. Data were collected from 10 software development professionals in 5 different organizations. Additionally, 23 organizational documents were gathered and reviewed. Thematic analysis was used to identify codes and themes. Prominent themes were (a) defining and decomposing requirements, (b) referencing historical data, (c) identifying risks and unknowns, and (d) fostering communication, collaboration, and a consensus. A key recommendation is for software developers to ensure requirements are defined and decomposed by evaluating the request and breaking the request into manageable pieces to understand the effort required to complete the task. Implications for positive social change include improving morale, work-life balance, alignment of expectations, and software quality.

Software reliability growth modeling and estimation for multiple errors debugging

정혜정 Kyungpook National Univ. 1994 국내박사