CIPP 평가 모형의 지향 원칙과 프로그램 평가 표준에 기초한 프로그램 평가 사례 연구

김대영(Daeyoung Kim),임승완(Seung-wan Lim) 한국경영학회 2021 Korea Business Review Vol.25 No.4

CIPP 평가 모형은 국내 연구에서 1990년대 등장하기 시작하였고, 2010년을 전후로 국내 HRD 분야의 평가 연구에도 종종 적용되어 오고 있다. 그러나 국내의 CIPP 평가 모형을 활용한 연구들은 CIPP 평가 모형의 외형적 접근에는 충실하지만, 대개 총괄적 기능에만 주로 초점을 두고 한두 가지 방법으로 자료를 수집한다는 점, 그리고 프로그램의 핵심 가치를 반영하고 다양한 이해관계자를 참여토록 하는 것에 소극적이며, 평가의 질을 확보하기 위한 노력이 불충분하다는 점이 지적되고 있다. 이러한 문제의식에 기초하여 이 연구는 CIPP 평가 모형의 지향 원칙과 JCSEE의 프로그램 평가 표준을 충실히 이행하여 평가의 질을 확보하고자 노력한 프로그램 평가 사례를 검토, 논의하였다. 보다 구체적으로 해당 평가 사례는 CIPP 평가 모형의 지향 원칙 가운데 무엇을 어떻게 준수하였는지, 프로그램 평가 표준을 어떻게 이행하였는지, 그리고 평가 오 · 남용의 가능성을 줄이고 바람직한 평가 활용 촉진을 위해 어떻게 대응하였는지를 살펴봄으로써 인적자원개발 분야 프로그램 평가에 유용한 시사점을 제시하고자 하였다. The researches using the CIPP evaluation model began to emerge in Korea in the 1990s and the model has been often applied to HRD evaluation researches before and after 2010. The studies using CIPP evaluation model in Korea, however, has been pointed out as follows: 1) mostly collecting data with one or two ways focusing on the summative function 2) being passive about having various stakeholders to be involved and applying core values 3) not making enough efforts to have the quality of evaluation. Even though they are devoted to apparent approach. As being aware of these problems, this study presents and discusses cases that conducted the oriented principles of the CIPP evaluation model and endeavored to secure the quality of evaluation. More specifically, the cases were reviewed 1) how and what principle they followed among oriented principles of the CIPP evaluation model 2) how they conducted the program evaluation standard of JCSEE 3) and lastly, how they coped to reduce the possibility of evaluation misuse and to promote using evaluation properly.

CIPP 모형을 적용한 ODA 성과지표 개발: 대학 교육과정 개발 사업유형을 중심으로

박소영 ( Park So-young ),신하영 ( Shin Ha-young ) 한국외국어대학교 국제지역연구센터 2021 국제지역연구 Vol.25 No.2

이 연구의 목적은 맥락-투입-과정-산출 평가(CIPP)모형을 적용하여 사업의 효과성과 관리 효율성을 높이고자 하는 ODA 사업 평가 모형을 개발하는 데 있다. 이를 통해 최근 국제개발 협력 사업에서 기획과 수행, 평가에서 강조되는 지속가능성을 내재한 성과지표를 개발하였다. 특히 대학 교육과정 개발 분야 국제개발협력 사업의 성과를 모니터링하고 평가하기에 적합한 성과지표를 개발하기 위해 CIPP 모형을 소개하고, 이를 적용한 사례를 제시하였다. 고등교육 국제협력사업 성과지표와 평가모형을 정교화하기 위해 고전적인 프로그램 논리 모형과 후기 구성주의 관점이 접목된 CIPP 모형을 적용하였다. 모형의 주요 원리와 적용의 주안점 등을 이론적 배경과 선행연구 검토를 통해 제시하였다. 또한 지표와 모형의 효과를 경험적으로 입증하기 위해 국내 ODA 사업 중 교육과정 개발 사업유형을 적용사례로 제시하였다. 연구 결과, CIPP 모형은 기존의 프로그램 논리모형에 근간을 둔 기존 평가모형에서 교육과정 개발 및 운영, 고등교육 및 직업훈련 분야 ODA 사업 수행에 필요한 의사결정과 환류에 적합한 의사결정체계로서 강점을 가졌다. 또한 CIPP 모형에서 형성/총괄평가를 교차하는 방식이 사업단의 책무성과 인력양성의 지속가능성 확보에 필요한 전략을 수립하는 데 유용하였다. This study aims to develop ODA an evaluation model enhancing sustainability with reflecting the recent trends of ODA fields. For this, this study suggests the context-input-process-output evaluation (CIPP) model, which combines the classical program logic model and the post-constructivist perspective, is for elaborating the evaluation models for higher education ODA projects. Before that, the application are presented through the theoretical background and review of previous studies. In addition, in order to empirically prove the effectiveness of the evaluation model, two types of curriculum development project among ODA projects are selected as an application case. As a result of the study, the CIPP model has strengths with decision-making system and feedback necessary for planning and operation of ODA projects in the field of higher education and vocational training more than the existing program logic model. In addition, the method of intersecting formative/ summative evaluations in the CIPP model is useful in establishing strategies necessary for securing the accountability and the sustainability of manpower training. This study enhance the current ODA projects evaluation lacking standardized frame due to the strong individual characteristics, and CIPP model will provide us a mutually compatible evaluation frame especially for ODA projects in the curriculum development - higher education field.

CIPP 평가 모형의 지향 원칙과 국내 교육 분야 CIPP 평가 모형 활용 연구 고찰

이원석 한국교육평가학회 2019 교육평가연구 Vol.32 No.4

Based on the philosophy and code of ethics of the CIPP evaluation model presented by Stufflebeam, this study presented four orientation principles that should be key to conducting an evaluation (research) using the CIPP model: program improvement orientation, stakeholder involvement orientation, value orientation and various data orientation principles. Next, it was analyzed to what extent the Korean researches (evaluation) using CIPP evaluation model were applying these principles. Overall, Korean research only applies the program improvement orientation principle to some extent, and other principles are not properly reflected. The results of this study will enhance the theoretical understanding of the CIPP evaluation model in Korea and provide useful guidance to fully utilize the value and benefits of the CIPP model. 본 연구는 Stufflebeam이 제시한 CIPP 모형의 7가지 철학과 윤리 강령을 토대로 CIPP 모형을 활용하여 평가(연구)를 수행할 때 핵심적으로 중시하여야 하는 4가지 지향 원칙으로 프로그램 개선 지향, 이해관계인의 관여 지향, 가치 지향, 다양한 자료 지향 원칙을 제시하였다. 다음으로, 국내 CIPP 모형 활용 평가나 연구들이 이러한 원칙들을 어느 정도 적용하고 있는지를 분석하였다. 종합적으로 판단할 때 국내 연구들은 프로그램 개선 지향 원칙만을 어느 정도 적용하고 있으며, 나머지 다른 원칙들은 제대로 반영하고 있지 못한 실정이다. 본 연구 결과는 국내에서 CIPP 평가 모형에 대한 이론적 이해를 높이고 CIPP 모형의 가치와 장점을 충분히 활용하기 위한 유용한 지침을 제공할 것이다.

CIPP모형에 기반한 LINC 3.0 자체평가지표 개발 -K대학 기술혁신선도형 사례 중심으로-

곽진영,민혜리,심미자,위영은,김지영 한국실천공학교육학회 2024 실천공학교육논문지 Vol.16 No.3

이 연구의 목적은 LINC 3.0 기술혁신선도형 사업운영의 객관적 검증과 성과분석을 위한 자체평가지표를 개발하는 데 있다. 이러한 목적을 달성하기 위해 인력양성 분야와 기술개발 및 사업화 분야의 평가지표를 개발하고 그 타당성을 검증하였다. 이를 위해 평가관련 선행연구 및 유사사례를 조사하여 평가모델 및 체계를 구성하고 평가지표를 개발하였다. 개발한 평가지표 및 척 도는 2회의 델파이조사를 통해 타당성을 확보하였다. 연구결과, LINC 3.0 자체평가지표는 인력양성 분야와 기술개발 및 사업화 분야로 구분, 총 66개의 평가지표를 개발하였다. 인력양성 분야는 평가항목 13개, 평가지표 38개로 개발하였고, 기술개발 및 사 업화 분야는 평가항목 12개, 평가지표 28개를 도출하였다. 본 연구는 LINC 3.0 사업의 자체평가지표를 개발함으로써 대학 산학 협력 모델의 객관적 검증과 타당성을 높이는 방안을 제시하였다는 의의를 갖는다. 연구에서 개발한 평가지표에 대해서는 현장 활용성을 토대로 지속적으로 고도화 작업이 필요하며, 평가결과 도출된 우수사례의 공유·확산을 통해 대학교육의 질적 수준을 높이고 경쟁력을 강화하는 것이 필요하다. The purpose of this study was to develop self-evaluation criteria for objective verification and performance analysis of LINC3.0. To achieve this goal, evaluation indicators in the fields of human resources development and skill development and commercialization were developed and their validity was verified. We investigated previous evaluation-related studies and similar cases toconstruct an evaluation model and system and develop indicators. The validity of the developed evaluation indicators was secured through two round Delphi surveys. As a result of the research, LINC 3.0 evaluation indicators can be divided into the field of humanresources development and skill development and commercialization. A total of 66 evaluation indicators were developed. CIPP inthe field of human resources development was developed with 13 categories and 38 evaluation indicators, and CIPP in the field ofskill development and commercialization was developed with 12 categories and 28 evaluation indicators. The significance of thisstudy is that it suggests a way to increase the objective verification and validity of the university industry-academia cooperationmodel by developing self-evaluation indicators for the LINC 3.0 project. The evaluation indicators developed in the research needto be continuously upgraded based on field usability, and it is necessary to improve the quality and competitiveness of universityeducation by sharing and spreading excellent affairs.

CIPP 모형을 적용한 창의·인성교육 평가준거 및 지표의 탐색

원효헌(Hyo-Heon WON),전은순(Eun-Sun JEON) 한국수산해양교육학회 2014 水産海洋敎育硏究 Vol.26 No.5

The purpose of this study was to spread the education of human creativity program and its possibility of consistency, and its application to school system by exploring the evaluation system that determines the valuable and useful decisions. This study was based on the evaluation system according to CIPP model regarding the programs general ideas and its role. The interest of the education of human creativity was increasing as well as its progress of program, and we searched 13 figures and 55 evaluation index according to increase the programs effectiveness and nation-wise situation of evaluation model. The conclusion of this study was that the human creativity programs evaluation was composed of six compartments. And the context evaluation was composed of three evaluation models and eleven index, and input evaluation was composed of three evaluation model and 15 index, while process evaluation is composed of three evaluation models and thirteen evaluation index. Lastly, output evaluation had four evaluation model and sixteen index.

CIPP모형에 기반한 지적장애 특수학교 직업교육 직무연수 평가

이정은 ( Jung Eun Lee ),강영심 ( Young Sim Kang ) 한국지적장애교육학회(구 한국정신지체아교육학회) 2015 지적장애연구 Vol.17 No.2

본 연구는 지적장애 특수학교의 직업교육 내실화를 위한 현장교사의 전문성개발에 대한 발전방향을 모색하기 위해 CIPP모형에 기반하여 교사가 이수한 직업교육 직무연수에 대한 평가를 실시하였다. 연구대상자는 전국 103개 지적장애 특수학교에서 직업교육 관련 수업을 담당하는 중등교사 중 최근 4년간 직업교육 직무연수를 한번이라도 이수한 경험이 있는 395명을 대상으로 하였다. 연구는 설문지를 이용한 조사연구로 과정평가 모형의 일종인 CIPP모형에 기반을 둔 48문항으로 구성된 설문지를 이용하여 실시하였고, 수집된 자료는 SPSS 18.0 프로그램을 사용하여 분석하였다. 본 연구를 통해 분석된 결과는 첫째, 직업교육 직무연수에 대한 전반적인 평가는 보통 이상이었다. 특히 CIPP모형을 기반으로 했을 때, 투입평가가 긍정적으로 평가되었으며 상황평가의 보완이 필요한 것으로 나타났다. 둘째, 직업교육 직무연수에 대한 영역별에서 상황평가는 연수참여의 자발성, 투입평가는 연수이수를 위한 행정적 지원, 과정평가는 강사의 전문성 수준, 산출평가는 연수운영의 전반적인 만족도가 긍정적으로 평가되었다. 이를 종합해보면, 직업교육 직무연수의 강점은 연수기회의 참여확대였고, 약점은 사전조사와 대상자분석의 보완이었다. 따라서 앞으로의 지적장애 특수학교 직업담당교사를 위한 직업교육 직무연수는 연수상황 파악을 위해 수요자와 학교현장의 사전 실태 분석을 통한 연수 개설이 요구된다. This study is to seek the CIPP evaluation model applied with professional development program for vocational education perceived by vocational teachers in special schools for students with intellectual disabilities. To fulfill this purpose, following research questions are established. 1. To conduct overall evaluation about professional development program for vocational education through vocational teachers who work at special schools for students with intellectual disabilities. 2. To analyze sub-categories evaluation of about professional development program for vocational education through vocational teachers who work at special schools for students with intellectual disabilities. The subjects of this study are 395 secondary education teachers who have experience of professional development program for vocational education in 103 schools for students with intellectual disabilities throughout the country. According to the research questions, survey questionnaire was conducted to analyze both evaluation that used CIPP model of professional development program for vocational education. The collected data was analyzed by SPSS 18.0. The results are as follow: Overall evaluation about professional development program for vocational education was above average. Seeing sub-categories of evaluation, input evaluation is the most positive evaluation, product evaluation, process evaluation, and context evaluation are in order. The outcome suggests that professional development program for input evaluation like plan and support is more positive than others, but professional development program for context evaluation such as pre-analysis and direction guidance is need to be modified and supplemented. This study suggests that understanding of professional development program context needs to be implemented through analysis of reality between vocational teachers and school environment. After that, to meet satisfaction with professional development program, planning for professional development program and notifying demand of vocational teacher are necessary. Furthermore, professional development program agency should improve teachers` demand and evaluation.

CIPP 평가모형을 통한 부산다행복학교 교육과정 평가도구 개발

권종실,남창우 한국홀리스틱융합교육학회 2024 홀리스틱융합교육연구 Vol.28 No.3

본 연구의 목적은 CIPP 평가모형에 기반하여 다행복학교 교육과정 평가도구를 개발하고, 이에 대한 다행복학교 교사들의 인식을 조사하는 것이다. 이를 위해 CIPP 평가모형 기반 다행복학교 교육과정 평가요소를 도출하여, 교육과정 전문가와 혁신학교 전문가를 대상으로 전문가 타당화를 실시하였다. 전문가 타당화를 통해 내용타당도가 확보된 다행복학교 교육과정 평가도구를 토대로 다행복학교 교사 65명 대상의 설문조사를 실시하였다. 설문방법은 온라인으로 실시하였으며, 회수된 설문지 65부를 SPSS 21.0을 활용하여 분석하였다. 본 연구를 통해 도출된 주요 연구결과는 다음과 같다. 첫째, CIPP 평가모형 기반 다행복학교 교육과정 평가도구는 상황유형의 요구의 진단 영역(7문항), 투입유형의 교육내용 운영시간 계획영역(6문항), 과정유형의 교수·학습방법, 목표 달성 및 만족도, 상호작용, 참여도 영역(13문항), 산출유형의 성취도 및 효과성 평가, 평가 결과 영역(8문항)이 도출되었다. 둘째, 다행복학교 교육과정에 대해 현장교사들은 대부분의 문항에서 ‘그러하다’, ‘매우 그러하다’의 응답을 보였다. 본 연구는 다행복학교 교육과정 분석 및 실제 교사들의 인식에 대한 연구가 미비한 실정에서 교육과정 전문가, 혁신학교 전문가를 통해 다방면적 의견들을 종합하여 실제적이고 전문적인 교육과정 평가도구를 개발했다는 점에서 연구의 의의를 지닌다.또한, 다행복학교 교사들의 설문조사를 통해 다행복학교 교육과정에 대한 현장교사의 실제적 인식을 조사하였다는 점에서 의미가 있다. The purpose of this study was to develop assessment tool for the curriculum of da-haengbok schools based on the evaluation model of the CIPP and to investigate the perception of teachers of the da-haengbok schools. For this study, the evaluation factors of the curriculum of the da-haengbok schools based on the CIPP evaluation model and the experts of the curriculum and da-haengbok schools were identified and conducted the validation by experts for the curriculum experts and innovation School ones. A survey was conducted on 65 teachers of da-haengbok Schools with the list of curriculum evaluation of da-haengbok schools ensuring content validity. The questionnaire was administered by online and 65 copies of the collected questionnaires were analyzed using SPSS 21.0. The summary of the results analyzed though this study and the presentation of the conclusions are as follows. First, the CIPP evaluation model-based evaluation list of the da-haengbok School curriculum resulted in 7 questions in context type requirements, 6 questions in the planning area of the operation time of contents of the input type, 13 questions in teaching-learning procedure, the target achievement and satisfaction level, interaction, and participation level, and 8 questions in achievement level and effectiveness evaluation of product types. This study is meaningful in that it has developed a practical and professional instructional designing model by synthesizing various opinions from curriculum experts, teaching design experts, innovation school experts, and teachers of da-haengbok schools, considering there is not enough research on instructional designing models and learning strategies of da-haengbok schools. It is also meaningful in that it proposed the need for a multi-faceted support system to enhance the quality of the curriculum, such as fostering capacity to reconstruct the curriculum, supporting the operation of a professional learning community, and forming a democratic school culture for the efficient operation of da-haengbok schools.

CIPP 평가모형에 의한 학교컨설팅 평가 준거 개발

조양숙(Cho, Yang Sook),이윤식(Lee Yun Sik) 한국교육행정학회 2015 敎育行政學硏究 Vol.33 No.4

이 연구의 목적은 학교컨설팅 프로그램의 질 관리 및 개선을 위해, CIPP 평가모형의 상황, 투입, 과정, 산출적 국면에 따라 학교컨설팅 실행과정을 포괄적으로 평가하는 학교컨설팅 평 가준거를 개발하는데 있다. 연구목적을 달성하기 위하여 선행연구를 분석하여 학교컨설팅의 평가요인 및 평가문항을 도출하고 전문가 의견조사 및 내용타당도를 분석하였다. 또한, 개발된 평가 준거의 타당성 검 사를 위해 평가요인과 평가문항에 대한 탐색적 요인분석 및 신뢰도 분석을 하였으며 확인적 요인분석을 통해 평가모형의 적합성을 검증하였다. 연구의 결과는 첫째, 선행연구 및 전문가 의견조사 과정을 거쳐 학교컨설팅 평가 준거로 11개 평가요인과 74개의 평가문항을 개발하였다. 둘째, 개발된 평가준거 대해 탐색적 요인분 석과 확인적 요인분석을 실시하였으며 적합지 않은 요인 및 문항을 삭제하여 학교컨설팅 평 가 준거로 11개의 평가요인과 70개의 평가문항을 최종 개발하였다. 셋째, 최종 평가준거에 대 해 확인적 요인분석 결과 절대적합지수 및 상대적합지수 모두 기준치 이상이거나 기준치에 근접하여 이 연구에서 개발한 학교평가 준거는 평가도구로 타당성을 갖는 것으로 나타났다. This study aimed to develop evaluation criteria for school consulting based on the CIPP evaluation model. Collection of evaluation items for exploring tentative evaluation factors and an opinion survey(432 teachers in 14 Incheon schools) for extracting the content validity of the evaluation factors and items were conducted. An exploratory factor analysis was conducted to test the validity and the reliabilities of selected factors and questions. The evaluation criteria for school consulting was developed through a confirmatory factor analysis. The findings of this study are summarized as follows: First, based on the review of previous research on school consulting, initially 17 evaluation factors and 96 evaluation questions were selected. Through opinion surveys of experts, 11 evaluation factors and 74 evaluation questions were selected. Second, using exploratory factor analysis and confirmatory factor analysis, among the 74 evaluation questions, 4 evaluation questions were excluded because of its low factor loading. Finally, evaluation factors and questions for school consulting based on the CIPP model were extracted(Context evaluation section: 3 factors and 18 questions; Input evaluation section: 3 factors and 17 questions; Process evaluation section: 3 factors and 22 questions; Product evaluation section: 2 factors and 13 questions). This study is significant in the sense that it has developed the evaluation criteria for school consulting by identifying each factor in school consulting inter-contextually and systematically based on the CIPP evaluation model.

CIPP모형을 활용한 R&D과제기획 선정평가 도구 개발 연구 : K연구원 중심으로

민현구 기술경영경제학회 2023 Journal of Technology Innovation Vol.31 No.3

본 연구는 K연구원의 상향식 R&D과제기획 차원의 신규 연구기획과제 선정평가를 위한 평가도구 개발에 목적을 두고 진행하였다. 이를 위해 CIPP모형과 연구기획평가를 위한 선정평가 및 평가지표에 관한 선행연구를 중심으로 R&D과제기획 선정평가 항목과 문항을 개발 한 후, 2회에 걸친 델파이 조사를 실시하였다. 개발된 평가도구는 13명의 전문가를 대상으로 설문조사를 실시하여 내용타당도, 합의도 및 수렴도를 검증하였다. 최종 선정된 R&D과제기획 선정평가 도구는 8개 항목에 총 21개 문항으로, 상황평가 5 문항, 투입평가 2문항, 과정평가 8문항, 산출평가 6문항으로 구성되었다. 개발된 평가 도구는 상향식 기획과정상의 문제점을 해소하고 연구자들의 기획역량을 제고하는 데 기여할 것이다. 또한, 선정 평가 시 평가에 대한 일관성과 효율성 제고에 기여할 것이다. The purpose of this study was to develop an evaluation tool for selecting new projects for R&D project planning level of K Research Institute. For this purpose, items and questions for R&D project selection evaluation were developed based on the CIPP model and previous studies on selection evaluation and evaluation indicators for research project evaluation, and then two Delphi surveys were conducted. The developed evaluation tool was surveyed by 13 experts to verify contents validity ratio, convergence and consensus. The finally selected evaluation tool for R&D project planning consisted of 21 questions in 8 items, including 5 questions for context evaluation, 2 questions for input evaluation, 8 questions for process evaluation, and 6 questions for product evaluation. The evaluation tool developed will contribute to the solution of problems in the bottom-up planning process and to the improvement of the planning competence of the researchers. It will also contribute to improve the consistency and efficiency of evaluation during the selection process.

CIPP 모형을 활용한 그린캠프 평가지표 연구

박찬희(Chan Hee Park) 한국콘텐츠학회 2020 한국콘텐츠학회논문지 Vol.20 No.3

연구 목적은 군 교육 프로그램인 그린캠프를 평가할 수 있는 평가지표를 개발하는 것이다. 이러한 목적으로 CIPP 평가모형을 활용하여 평가지표 개발과정을 단계화해서 진행한 연구의 결과를 요약하면 아래와 같다. 첫째, 프로그램 평가 관련 문헌연구, 그린캠프 현장 실태 조사, 전문가 토의를 통해 평가 고려요소를 도출하고 CIPP 평가모형 4개 영역의 예비 평가영역과 항목을 구성하였다. 둘째, 예비 평가항목으로 1차 설문을 수도방위사령부 그린캠프와 장병을 대상으로 조사하여 예비 신뢰도ㆍ타당도를 검사하고, 전문가 포커스 그룹 토의로 평가지표를 보완하였다. 셋째, 강원도 지역 4개 대대를 방문하여 2차 설문 조사하고, 12개 군단별 간부와 그린캠프 관련자를 대상으로 3차 조사하여 SPSS 24 통계 프로그램으로 기술통계 분석, 탐색적 요인 분석, 상관관계 분석으로 검증하였다. 넷째, 타당도 검증을 거쳐 16개 평가영역과 36개 평가지표를 결정하였다. 다섯째, 개발한 36개 평가지표를 57개 지표로 세분하고 정책전문가로 델파이 조사하여 43개 지표로 일반화하였다. 이 단계화된 연구의 의의는 정책 시행ㆍ추진과정에서 과학적 평가(지표) 개발 및 제도화에 활용될 수 있을 것이다. The purpose of this study is to develop an evaluation index that can assess the Army training program of Green Camp. The result of the evaluation index phased-developed with the CIPP model is summarized below. First, the literature review with documents relevant to program evaluation, Green Camp field research, and expert discussions were used to select factors considered for evaluation and develop a preliminary evaluation area and item for the four areas within the CIPP evaluation model. Second, an initial survey targeting Green Camp and soldiers in the Capital Defense Command examined the preliminary reliability ㆍvalidity, and the Focused Group discussions were used to supplement the evaluation index. Third, secondary surveys were conducted in four battalions in Gangwon-do and third surveys targeted officers from twelve different corps and personnels related to the Green Camp which verified descriptive statistics analysis, exploratory factor analysis, and correlation analysis in version SPSS 24. Fourth, with the validation verification procedure, 16 evaluation area and 36 evaluation index was confirmed. Fifth, the 36 evaluation index developed was subdivided into 57 indexes and the Delphi method was applied through the policy expert to formulate 43 generalized indexes. The significance of this phased research approach was considered for the institutionalization of the usage of scientific evaluation(index) and development in policy process.