국가연구개발사업 성과평가제도의 효과 분석 연구: 과학기술지식생산함수 활용

배정회 ( Junghoe Bae ),황두희 ( Doohee Hwang ),정선양 ( Sunyang Chung ) 중앙대학교 국가정책연구소 2017 국가정책연구 Vol.31 No.4

본 연구는 ‘성과평가법’을 통해 성과평가제도가 도입된 지 10년이 지난 시점에서 동 제도도입 효과를 과학기술지식생산함수를 적용하여 실증하기 위한 연구이다. 과학기술지식 생산함수를 적용하여 대표적인 연구 성과인 논문과 특허를 대상으로 성과평가정책이 미친 영향을 분석한다. 생산함수의 투입지표로는 연구원의 수, 논문스톡, 연구인프라스톡 등을 선별하고 주성분회귀분석모형을 이용하여 과학기술지식 생산함수를 제도 도입 전후 시기별로 추정한다. 분석 자료의 제한성으로 인해 정부연구개발사업의 성과만을 분리할 수 없어 국가 전체의 성과 자료를 사용하여 시행 전후의 변화를 분석했다. 성과평가제도 도입 이전의 생산함수로 도입 이후의 산출 예측치(기저)를 도출하고 실제 산출 자료와 비교한 결과 제도 시행 이후 모든 연도에서 부가효과를 확인할 수 없었다. 또 두 기간의 생산함수를 비교한 결과 모든 투입지표의 계수가 감소하였음을 확인할 수 있었다. 두 기간의 생산함수가 동일하다고 가정하고 분석한 결과이기 때문에 한계가 있을 수 있다. 본 연구의 분석결과는 정책적으로 성과평가정책의 영향을 여러 측면에서 검토하여 평가제도의 근본적인 재설계에 반영할 수 있다. This study estimates the effects of the 'Performance Evaluation Act' from 2006 to 2015. In this study, we analyze the influence of the evaluation system by applying the both Science and Technology Production Functions using two main indicators: academic articles (SCI) and patents. Also, we propose a knowledge function to the principle component regression model in order to consider the nature of R&D and its spill-over process. For testing S&T productivity, we apply input indicators such as the number of researchers, paper stock, and research infrastructure stock in the national R&D system. We extend the scope of analysis to the national R&D programs, because the effects of the governmental R&D programs are not able to separate from the R&D effects across the national-wide in terms of additionality. Based on the results of this study, we suggest the fundamental re-design of the national R&D evaluation system by reviewing the influence of the R&D evaluation policy in various aspects. We also propose the redirection of national R&D policy from post-catch up policy to innovation-oriented one.

저류함수모형의 매개변수 보정과 홍수예측 : (1) 보정 방법론과 모의 홍수수문곡선의 평가

송재현(Song Jae Hyun),김형수(Kim Hung Soo),홍일표(Hong Il Pyo),김상욱(Kim Sang Ug) 대한토목학회 2006 대한토목학회논문집 B Vol.26 No.1B

현재 국내의 홍수예보시스템의 예측 모형으로 저류함수모형을 사용하고 있다. 저류함수모형은 계산절차가 간편하고 홍수유출의 비선형성을 고려할 수 있는 방법이므로 선형모형보다 합리적이라고 알려져 있다. 그러나 저류함수모형을 실제 홍수사상에 적용하는데 있어 매개변수를 결정하는 것이 매우 어렵다. 저류함수모형의 매개변수 보정을 모형 운영자의 주관적인 판단 아래 시행착오에 의한 수동보정 방법을 사용하여 왔다. 본 논문에서는 홍수통제소에서 시용하고 있는 저류함수 모형의 대표(평균) 매개변수와 시행착오법(Trial & Error Method) 그리고 최적화기법(Optimization Technique)에 의해 보정된 매개변수를 비교 분석하였다. 또한 모의효율을 평가하기 위하여 목적함수별, 보정방법별로 평가지표들을 산정하고 비교 분석하였다. 분석 결과, 최적화기법의 하나인 유전자 알고리즘(Genetic Algorithm)이 목적함수에 따른 변동성이 가장 적었으며, 목적함수로는 SSR(Sum of Squared of Residual)이 가장 적합한 것으로 판단하였다. The storage function model (SFM) has been used for the flood forecasting in Korea. The SFM has a simple calculation process and it is known that the model is more reasonable than linear model because it considers non-linearity of flood runoff. However, the determination of parameters is very difficult. In general, the trial and error method which is an manual calibration by the decision of a model manager. This study calibrated the parameters by the trial and error method and optimization technique. The calibrated parameters were compared with the representative parameters which are used in the Flood Control Centers in Korea. Also, the evaluation indexes on objective functions and calibration methods for the comparative analysis of simulation efficiency. As a result, the Genetic Algorithm showed the smallest variation in objective functions and, in this study, it is known that the objective function of SSR (Sum of Squared of Residual) is the best one for the flood forecasting.

추천시스템에서 분류함수에 의한 선호도 예측 평가에 관한 연구

이희춘,박영서,정영준 한국자료분석학회 2008 Journal of the Korean Data Analysis Society Vol.10 No.3

This paper studies on the effect of pre-evaluation for the prediction accuracy using the rating patterns of each user in recommender system. This pre-evaluation process precedes the prediction steps through the collaborative filtering prediction algorithm. The classification function precursory suggested is defined by some conditions that are classifying the users who are expected to take low prediction accuracy. The difference of prediction accuracy from classified and non-classified groups are tested by statistical approach. In this study we propose another classification functions for classifying users who have the high prediction accuracy defined under some conditions from each user's rating pattern. for classifying users who have the high prediction accuracy and compare the classified results from each classification function. From the analysis of each function, we take statistically significant classification effects. There are close relationship between each user's rating pattern about items and prediction accuracy. it will expect that these functions will be the base on the improvement of prediction algorithm before applying prediction algorithm using each user's rating pattern. 본 연구는 협력적 필터링 알고리즘을 이용한 추천시스템에서 고객의 선호도 예측을 위한 알고리즘 적용 이전에 고객 선호도 평가치의 패턴을 이용하여 예측 정확도에 대한 사전평가 효과에 대하여 연구하였다. 기존 연구에서는 선호도 예측 정확도가 낮을 것으로 예상되는 고객들을 분류하기 위한 조건을 정의하고 정의된 조건을 이용한 분류함수를 제시하였으며 통계적 검정을 통하여 분류고객들의 선호도 예측 정확도의 차이를 살펴보았다. 본 연구에서는 기존 연구에서 제시된 분류함수와 더불어 선호도 예측 정확도가 우수할 것으로 예상되는 고객을 분류하기 위하여 고객 선호도 평가치의 패턴을 이용한 조건을 정의하고 정의된 조건을 이용한 분류함수의 효과를 검정하였다. 연구결과를 통하여 고객이 상품에 대해 평가한 선호도 평가치의 패턴은 선호도 예측 정확도와 밀접한 관련이 있음을 알 수 있으며 선호도 예측 알고리즘 적용 이전에 고객의 선호도 평가 패턴을 이용하여 알고리즘을 보정할 수 있는 기초를 제공할 수 있을 것으로 기대된다.

GPI 도출을 기반으로 한 실행공동체 평가방법론

홍종의 사단법인 인문사회과학기술융합학회 2017 예술인문사회융합멀티미디어논문지 Vol.7 No.3

Researches related with strategies for cultivating the CoP(Community of Practice) and performance evaluation of CoP were done diversely. However, the pervious researches had been focused on grasping the current status of CoP and verifying the importance of CoP based on performance evaluation, by utilizing almost qualitative performance measures. Researchers have analyzed the outcomes and current status of CoP though various analytical tools. Therefore, in this research, we try to present an evaluation method that enables strategic feedback based on GPI(Global Performance Index). The GPI of CSF and EPI(Elementary Performance expression) of performance measure are extracted based on the desirability function. The analysis of GPI make strategic feedback possible to manage CoP efficiently. We also apply the evaluation method to the organization that manages the actual CoP and verify the application possibility. The evaluation method presented in this research is applicable not only to the performance evaluation of CoP but also to the various fields. 실행공동체의 활성화를 위한 전략 및 성과평가를 위한 연구는 다양하게 이루어졌다. 그러나 기존의 실행공동체 성과평가 관련 연구는 대부분 정성지표를 활용하여 실행공동체 운영현황을 파악하거나 성과평가를 통해 실행공동체의 중요성을 검증하는 것에 초점을 두었다. 실행공동체 평가와 관련된 연구가 대부분 성과평가에만 초점을 두고 있고, 평가를 통한 전략적 피드백에는 초점을 두고 있지 못하다. 따라서 본 연구에서는 실행공동체를 GPI(Global Performance Index)를 기반으로 전략적 피드백이 가능한 평가방법론을 제시하고자 한다. CSF(Critical Success Factor)의 GPI와 성과지표의 EPI(Elementary Performance Index)는 만족도함수를 기반으로 도출된다. CSF의 GPI의 분석을 통해 실행공동체를 운영하고 있는 조직에게 전략적 피드백이 가능하다. 또한 실제 실행공동체를 운영하고 있는 조직에 평가방법론을 적용하여, 적용가능성을 검증한다. 본 연구에서 제시한 평가방법론은 실행공동체의 성과평가뿐만 아니라 다면적 성과를 측정해야 하는 다양한 방면의 연구에 적용 가능하기 때문에, 다양한 분야에서 활용될 수 있을 것으로 기대된다.

해상 부유체 모델의 표본 데이터에 대해서 최대우도를 갖는 누적분포함수 추정

임정빈(Jeong-Bin Yim),양원재(Won-Jae Yang) 한국항해항만학회 2013 한국항해항만학회지 Vol.37 No.5

본 논문에서는 소형 해상 부유체의 위기 평가를 위한 확률기반 위기평가기법(PET)에서 표본 데이터에 최적인 누적분포함수(CDF) 추정에 관한 평가절차와 실험결과를 기술하였다. CDF는 PET에서 부유체의 위기수준을 평가하기 위한 위기허용기준의 참조 값을 제공하기 위한 것으로, 부유체 모델의 롤(Roll), 피치(pitch), 히브(Heave) 등의 운동응답함수에 대한 표본 데이터에서 추정할 수 있다. 본 연구에서는 여덟가지 정형화된 분포함수와 최대우도추정기법을 적용하여 표본 데이터에 대해서 최대우도를 갖는 CDF들을 평가하였다. 분포함수들의 적합도 검정 실험을 통해서, 베타 분포가 롤과 피치 표본 데이터에 대해서 평균 확률오차 δ (0 ≤ δ ≤ 1.0)가 가장 작은 0.024와 0.022로 최적임을 나타냈고, 히브 표본 데이터에 대해서는 감마 분포가 δ 가 가장 작은 0.027로 최적임을 나타냈다. 본 연구에서 제안한 방법은 표본 데이터의 최적분포 추정을 위한 다양한 분야에 적용 가능할 것으로 기대된다. This paper describes evaluation procedures and experimental results for the estimation of Cumulative Distribution Functions (CDF) giving best-fit to the sample data in the Probability based risk Evaluation Techniques (PET) which is to assess the risks of a small-sized sea floater. The CDF in the PET is to provide the reference values of risk acceptance criteria which are to evaluate the risk level of the floater and, it can be estimated from sample data sets of motion response functions such as Roll, Pitch and Heave in the floater model. Using Maximum Likelihood Estimates and with the eight kinds of regulated distribution functions, the evaluation tests for the CDF having maximum likelihood to the sample data are carried out in this work. Throughout goodness-of-fit tests to the distribution functions, it is shown that the Beta distribution is best-fit to the Roll and Pitch sample data with smallest averaged probability errors δ (0 ≤ δ ≤ 1.0) of 0.024 and 0.022, respectively and, Gamma distribution is best-fit to the Heave sample data with smallest δ of 0.027. The proposed method in this paper can be expected to adopt in various application areas estimating best-fit distributions to the sample data.

게임 캐릭터의 전술적 행동을 위한 위치 평가 함수의 학습

유견아(Kyeonah Yu) 한국정보과학회 2011 정보과학회논문지 : 소프트웨어 및 응용 Vol.38 No.2

컴퓨터 체스 등에서 보드 형세를 평가하기 위해 소개되었던 위치 평가 함수는 컴퓨터 게임의 인공지능 캐릭터의 전술적 행동을 결정하는 기반 요소로 이용될 수 있다. 위치 평가 함수는 여러 특성들의 가중치 합으로 정의되는데 특성의 중요도를 적절히 반영하도록 가중치를 정하는 것이 중요하다. 본 논문에서는 감독학습 방법을 이용하여 위치 평가 함수의 가중치를 학습한다. 가중치 학습은 현재의 가중치로 계산된 출력과 목표값의 차를 최소화하는 단층 퍼셉트론의 학습 규칙을 응용하고 이 갱신 방법의 수렴에 대해 증명한다. 시뮬레이션에서는 학습에 의해 가중치가 자동적으로 설계자의 의도에 맞게 수정됨을 보여줄 뿐 아니라 학습된 위치 평가 함수를 전술 요소를 반영한 경로찾기에 응용할 수 있음을 보여준다. The position evaluation function which is originally introduced to evaluate the board configuration of computer chess can be used as a key element to determine the tactical behavior of AI characters in computer games. The position evaluation function is defined as a weighted sum of features, and it is important to assign weights properly according to the importance of features. In this paper the weight factor of a position evaluation function is learned by using a supervised learning technique. The weight learning is performed in a way similar to the single-layer Perceptron learning which minimizes the difference between the output of the current weights and the target, and the convergence of this weight update method is proved. The simulation result shows that the weights can be modified automatically according to the designer's intention and the learned position evaluation function can be applied to path-finding considering tactical features.

초등학생 화법능력의 대규모 직접평가에 관한 기초연구

유동엽 한국초등국어교육학회 2007 한국초등국어교육 Vol.35 No.-

이 연구는 다음의 세 질문에 답하는 것을 목적으로 한다. 첫째, 화법능력 판별함수를 활용하여 초등학생의 화법능력을 대규모로 직접평가할 수 있는가? 둘째, 화법능력의 평가결과가 초등학생의 화법능력과 화법교육에 관하여 의미하는 바는 무엇인가? 셋째, 이 연구를 통해 화법능력 판별함수를 활용한 대규모 직접평가의 시행에 관한 어떤 시사점을 얻을 수 있는가? 이를 위해 대전과 충남지역 초등학교 3학년 64명, 5학년 73명을 대상으로 판별분석을 실시하였다. 이 연구에서 도출한 초등학교 3학년의 화법능력 판별함수는 정준상관계수가 .784이며 분류정확률은 66.7%였다. 연구결과 다음과 같은 결론에 도달하였다. 첫째, 화법능력 판별함수를 활용하여 초등학생의 화법능력을 대규모로 직접평가할 수 있다. 둘째, 초등학교 3학년은 화법능력이 전반적으로 부족하며, 자기소개대화를 제대로 하지 못한다. 그리고 초등학생의 화법능력을 구성하는 여러 요소 중 유창성과 직결된 말의 속도가 가장 주요한 판별요소로 재차 확인되었다. 셋째, 화법능력의 대규모 직접평가가 성공적으로 시행되려면 평가 상황을 동일하게 조성하는 것이 중요하다. 자기소개대화갈래는 학생 상호 간의 모방에 취약하므로 앞사람의 화법을 쉽게 따라할 수 없는 대화갈래를 화법능력의 대규모 직접평가에 활용하는 방안도 모색되어야 한다. 대화능력의 평가에 관한 연구와 갈래, 연령, 성, 지역, 계층, 상황을 달리하는 다양한 후속 연구가 이어지길 기대한다. The purpose of present study is to answer to the following three questions; First, is it possible to do the large scale direct evaluation of oral-communication ability of elementary school students(OAES) by using discriminant function and self introduction dialogue? Second, what can we deduce about OAES and the oral communication education from the results of this evaluation? Third, what can we deduce about the execution of the large scale direct evaluation of OAES from the present study? To achieve this purpose, present study analyzed self introduction dialogues of 137 elementary students(Grade 3 and Grade 5). Present study induced the discriminant function that discriminate optimally the OAES through discriminant analysis. The canonical correlation coefficient of this discriminant function was .784 and was statistically significant(p=.009). The hit-ratio of this discriminant function was 66.7%. In the rest part of present study, researcher answered to the above three questions.

판별분석을 이용한 도시재생뉴딜사업장 예비평가분석 연구

방두완(Doo-Won Bang),한승욱(Seoung-Uk Han),권혁신(Hyuck-Shin Kwon) 한국주택학회 2021 주택연구 Vol.29 No.4

본 연구에서는 도시재생 사업장 100곳(우수 29곳, 미흡 71곳)을 대상으로 판별분석을 실시하였다. 분석결과 우수와 미흡 사업장에 대한 세부사업, 거버넌스, 가점 변수의 평균 차이는 통계적으로 유의적인 것으로 분석되었다. 단계별 선택법을 이용해서 최종 판별함수를 분석한 결과 세부사업, 거버넌스 변수가 최종 판별함수로 선정되었다. 판별점수와 집단 간의 관련성 정도를 나타내는 정준 상관관계(canonical correlation) 분석결과는 0.906으로 나타나 본 연구에서 제안한 판별함수의 판별력이 매우 우수한 것으로 분석되었다. 결론적으로 본 연구에서 제안한 판별함수를 이용하면, 도시재생 사업장 효율적 관리를 위한 기초 평가자료로 활용할 수 있을 것으로 기대된다. 추가적으로 판별분석의 기준항목을 조정하고 종료된 도시재생사업의 평가결과를 점수화한 후, 판별분석 기법을 적용하면 사전 사업성 평가단계에서 우수 도시재생사업장을 예비평가할 수 있을 것으로 기대된다. 하지만 사업장 수가 부족하여 광역시나 도 등의 지역별 특성을 고려한 판별함수를 제안하지 못하였다. 따라서 향후 충분한 도시재생 사업장 자료가 확보되면, 지역별 특성을 고려한 추가 연구가 필요하다고 보여진다. In this study, we proposed a method to classify urban regeneration projects into excellent and poor projects. To this end, we used the evaluation data for each detailed item under the urban regeneration projects, and estimated a discriminant function that could help us pre-classify projects as excellent or poor. We examined a total of 100 projects (29 excellent projects and 71 poor projects). After analyzing the discriminant function, detailed projects and governance variables were selected as the final discriminant function. Moreover, the result of the canonical correlation analysis, which indicates the degree of relevance between discriminant scores and groups, was 0.906, showing that the power of the discriminant function proposed in this study was very good. The financial data of construction companies, project feasibility evaluation data, and promotion results of existing similar projects were evaluated. Then, if we would apply the discriminant analysis method by using the scores at the pre-project feasibility evaluation stage, we would expect that the method could identify excellent projects and good constructors in advance.

일반화부분점수모형에 의한 초등학교 교사의 교수역량 평가지표 문항특성 탐색

이대용 이화여자대학교 교과교육연구소 2016 교과교육학연구 Vol.20 No.1

본 연구의 목적은 문항반응이론에 근거하여 초등학교 교사의 교수역량 평가지표의 문항특성과 피험자 신뢰도를 분석하는 데 있다. 이를 위하여 일반화부분점수 모형을 적용하여 초등학교 교사의 교수역량 평가지표의 문항변별도, 문항난이도, 문항범주난이도 등을 살펴보았다. 또 피험자 신뢰도를 살펴보기 위하여 초등학교 교사의 교수역량 평가지표의 검사정보 함수를 알아보았다. 본 연구의 결과는 다음과 같다. 첫째, 검사정보함수를 살펴본 결과, 초등학교 교사의 교수역량 평가지표는 대체적으로 교수역량 수준이 중간 이하인 교사의 교수역량을 보다 정확히 추정하는 것으로 밝혀졌다. 둘째, 문항특성과 관련된 모수들을 살펴본 결과, 초등학교 교사의 교수역량 평가지표는 문항난이도와 문항변별도가 대체로 낮은 문항들로 구성되었다는 것으로 파악되었다. 또한 문항범주난이도의 분석에서 특히 문항 2(교과내용지식 이해력), 문항 12(발문/피드백)와 문항 28(존중/애정)의 범주난이도의 범위는 인간의 능력 특성을 벗어난 것으로 파악되었다. 이들 문항들은 삭제하거나, 문항 범주를 조정하거나, 그 내용을 수정하는 것이 바람직하다고 여겨진다. 본 연구를 통하여 밝혀진 바를 근거로 하면, 초등학교 교사의 교수역량 평가지표는 초등학교 교사의 교수역량의 수준을 고려하여 적용하거나 그 결과를 해석할 때에는 본 연구의 결과를 참고할 필요가 있다고 여겨진다. This study was performed to analyze the item characteristics and test information function of the teaching competency evaluation indicator(TCEI) for primary school teachers, based on the polytomous item response theory. The General Partial Credit [GPC] model was applied for this purpose. The findings were as follows: First, in terms of test information function, the TCEI is a reliable instrument for measuring teaching competency for primary school teachers who have below-average competency. Second, with regard to item characteristics, the TCEI consisted of items which had low item difficulty and discrimination. Especially, there were some items which had item category difficulty beyond the entire range of an individual‘ s ability. To improve the goodness of TCEI, it will be necessary to modify or delete these items. According to the test information function and item characteristic parameters identified in this study, the TCEI for primary school teachers will (aid teachers in considering the level of teaching competence or for interpreting its results.

확률·통계적 리스크분석을 활용한 인적재난 위험평가 기법 제안

박소순 한국방재학회 2009 한국방재학회논문집 Vol.9 No.6

Recently, damage scale of human-induced disaster is sharply increased but its occurrences and damages are so uncertain that it is hard to construct a resonable response & mitigation plan for its infrastructures. Therefore, the needs for a advanced risk management technique based on a probabilistic and stochastic risk evaluation technique is increased. In this study, these evaluation methods were investigated and a advanced disaster risk evaluation method, which is based on the probabilistic or stochastic risk assessment theory and also is a quantitative evaluation technique, was suggested. With this method, the safety changes as the result of fire damage management for recent 40 years was analyzed. And the result was compared with that of Japan. Through the consilience of the traditional risk assessment method and this method, a stochastical estimation technique for the uncertainty of future disaster's damage could support a cost-effective information for a resonable decision making on disaster mitigation. 최근 인적재난 발생의 불확실성에 대한 유연한 대처를 위해 확률·통계적 재난위험성 평가 및 위험관리 기술에 대한 필요성이 고조되고 있어 관련기술을 인적재난에 적용하기 위한 연구를 수행하였다. 먼저 재난위험성 평가 기법의 실효성, 경제성 및 지속가능한 시스템 구현을 위한 선제조건을 검토하였다. 이로부터 재난의 피해규모-발생확률 분포함수의 이론적 검토를 통해 확률·통계적인 재난위험 지표를 도출하고 재난안전(위험)도 평가에 활용함으로서 보다 간편한 정량적 재난위험도 평가기법을 개발하였기에 이를 소개한다. 또한 이를 활용하여 우리나라와 일본의 화재에 대한 확률·통계적 시스템의 안전유지 성능을 비교·분석하고 그 결과를 안전지수로 제시하였다. 향후 기존의 재난위험 평가기술과 융화·발전시켜 국내실정에 맞는 미래 재난 추정 및 예측 모델의 최적화 방안을 마련함으로써 지속적인 위험도 분석결과에 기반을 둔 합리적인 통합재난관리 방안 마련이 가능 할 것으로 기대된다.