SCM 시스템 성과 평가모형 개발 및 평가항목별 AHP 분석

박일규(Il-Kyu Park),김상훈(Sang-Hoon Kim) 한국SCM학회 2011 한국SCM학회지 Vol.11 No.1

The objective of this research is to develop performance evaluation model for SCM(Supply Chain Management) systems aiming at optimizing internal and external logistics systems, production, flow of resources and finances, and to establish weight values for performance evaluation items. Through reviewing and interrelating a vast range of related theoretical studies the integrative evaluation model for SCM systems performance was derived, and then the weight value as relative importance to SCM systems performance was determined for each evaluation area and item by means of AHP(Analytic Hierarchy Process) analysis. The data for AHP analysis were collected by surveying 15 SCM systems experts from academic and corporate sectors. The performance evaluation model for SCM systems could be reasoned to consist of three evaluation areas(technological quality, task efficiency and organizational outcome) and nine evaluation items(system quality, information quality, service quality, contributiveness to task efficiency, users’ satisfaction and four BSC items). The results of AHP analysis shows that each evaluation area and item have significantly different weight value. By applying the integrative evaluation model suggested in this study and the weight values of evaluation areas and items identified via AHP analysis, the performance evaluation of SCM systems will be able to be done more correctly and meaningfully. Also, the development and application of this rational performance evaluation methodology will lead to effective management of SCM systems.

공기업과 준정부기관 경영성과의 영향요인분석: 평가지표체계와 평가방법의 변경 전후를 대상으로

라영재 한국정책분석평가학회 2019 政策分析評價學會報 Vol.29 No.4

Since the evaluation index system of SOEs and quasi-governmental organizations was based on the Malcolm Boldridge model in the United States, it was estimated that leadership factors had an effect on management and performance, as in the study of Wilson and Collier(2000), Collier (2001). As with the empirical study by Flynn and Saladin(2001) and Mellat-Parast (2015), the changes in the evaluation index system could change the relationship between management factors and management performance. In addition, since the leadership index has been replaced by strategic planning, it can be estimated that the strategic planning index also influenced the management factors and performance. In addition, the leadership and strategic planning indicators also analyzed the mediating effects of direct and indirect effects on management performance through other management factors. The results of the empirical analysis based on the results of the three-year evaluation indicators showed that in the 2013 evaluation model, leadership, financial management, remuneration management, and business management were influencing work efficiency and major business performance. In the 2014, 2015 model, strategic planning did not affect management performance. Only organizational human resources, financial budget, and business management factors had a limited effect on work efficiency and major business performance. Therefore, the preceding studies were statistically supported that leadership factors affect management and performance, and the relationship between management and management performance is changing according to the change of evaluation index. Therefore, when developing detailed sub-management indicators, the components and weights of the evaluation indicators should be determined based on theoretical prior studies, and the evaluation model should be revised through periodic verification of the suitability of the evaluation model. In addition, improving the fairness and professionalism of evaluation teams may have an effect on improving the validity and reliability of management evaluation results. 공기업과 준정부기관의 평가지표체계는 미국의 말콤볼드리지 모델을 기반으로 해서 만들어졌고 변화하고 있으므로 Wilson and Collier(2000)와 Collier(2001)의 실증연구 결과와 같이 리더십과 전략기획 요인은 경영관리와 경영성과에 영향을 주었을 것으로 추정해 볼 수 있다. 또한 Flynn and Saladin(2001)과 Mellat-Parast(2015)의 실증연구와 같이 평가지표체계가 변화하게 되면 경영관리와 경영성과와의 영향관계도 변화할 수 있다는 연구가설을 설정했다. 3개년도 평가지표의 결과값을 통해서 실증분석한 결과를 보면 2013년도 평가모델에 한해서 리더십, 재무관리, 보수관리, 주요사업관리가 업무효율과 주요사업성과에 통계적으로 유의한 영향을 주고 있었고, 2014년도, 2015년도 평가모델에서 전략기획은 경영성과에 영향을 주지 않았으며 조직인적자원, 재무예산, 주요사업관리 요인만이 업무효율과 주요사업성과에 제한적인 영향을 주고 있었다. 그리고 연도별 평가지표의 변화에 따라서 경영관리와 경영성과간의 영향관계가 변화하고 있다는 선행연구는 통계적으로 지지되고 있었다. 그러므로 세부적인 하위 평가지표를 개발할 때에는 이론적 선행연구를 바탕으로 해서 평가지표의 구성요소와 가중치를 결정해야만 하고, 주기적인 평가모델의 적합성 검증을 통해서 평가모델을 수정해야만 한다. 또한 평가단의 공정성과 전문성을 제고하는 것도 평가결과의 타당성과 신뢰도를 제고하는데 영향을 줄 수 있다.

IPA 방법론을 통한 연구개발 업체선정 평가모형 개선 연구

염상원,김장엽,한재현 한국방위산업학회 2018 韓國防衛産業學會誌 Vol.25 No.4

The purpose of this study is to develop a technical competence evaluation system to meet the purpose of evaluation (technical capability evaluation) of weapons system R&D project and ultimately to improve the evaluation system of proposals that can guarantee the reliability of evaluation. Findings of this study to improve evaluation model are as follows. First, “Importance-Performance Analysis(IPA)” technique was applied in this study to extract key elements to be used as evaluation items in proposal evaluation. Second, after selecting evaluation factors, hierarchical structure was redesigned through mapping method with existing evaluation items. Also objective weight was calculated by applying Analytic Hierarchy Process(AHP). Lastly, expert survey was found proposed model is superior to current evaluation model in terms of effectiveness. The proposed evaluation model is looking forward to contribute selecting providers with outstanding technical capability and project performance capability in phase of proposal evaluation, securing fairness and reliability of evaluation system. 본 연구는 기술력이 우수한 업체를 선정하고 평가의 신뢰성을 보장할 수 있는 무기체계 연구개발사업의 제안서평가체계를 마련하기 위해서다. 이를 위해 제안서평가에 영향을 미치는 요인들을 평가항목, 가중치, 평가방법 등으로 구분하여 현행 제안서 평가체계의 한계점을 분석하였다. 본 연구의 평가모형 개선에 관한 주요 연구내용은 다음과 같다. 첫째, 현행 평가모형의 평가요소를 기술개발능력과 사업이행능력으로 구분하고, 제안서평가에서 핵심요소를 추출하기 위해 중요도-성취도분석(IPA)을 실시하였다. 둘째, 최종 채택된 평가요소는 현행 평가항목과 Mapping 방식을 통해서 계층구조를 재설계하였고, 계층분석기법(AHP)을 적용해 객관적인 가중치를 산출하였다. 끝으로, 개선된 평가모형에 대한 전문가 설문조사를 통해 현행 평가모형과 비교해 상대적으로 우수한 유효성을 확보하였다. 본 연구를 통해 개선된 제안서 평가제도는 경쟁력 있는 방위산업을 육성하는데 기여할 것으로 기대한다.

수학학습장애 진단을 위한 웹기반 중재반응모델 진단,평가 시스템 개발

김용욱 ( Yong Wook Kim ),김영걸 ( Young Gull Kim ),우정한 ( Jeong Han Woo ) 한국특수교육문제연구소 2011 특수교육저널 : 이론과 실천 Vol.12 No.3

본 연구는 학교현장에서 학습장애 특수교육대상자를 효과적으로 진단할 수 있는 중재반응모델을 개발하고, 이를 일선 교사들이 보다 효과적으로 이용할 수 있도록 지원할 수 있는 웹기반 진단·평가 시스템 개발에 대한 것이다. 개발된 웹기반 중재반응모델 진단·평가 시스템은 학습장애 특수교육대상자의 정확한 진단 및 교육에 많은 도움을 줄 것으로 기대한다. 본 연구의 주요 내용은 다음과 같다. 첫째, 우리나라 학교현장에서 학습장애 특수교육대상자를 효과적으로 진단할 수 있는 중재반응모델을 개발하였는데, 웹기반 교수·학습체제 설계의 절차적 모형에 따라 분석, 설계, 제작의 과정을 거쳐 개발된 뒤, 형성평가의 과정을 거쳐 최종적으로 모델을 완성하였다. 둘째, 이상의 모델을 바탕으로 웹기반 중재반응 모델 진단·평가 시스템인 수학학습장애 진단·평가 시스템(http://www.srti.kr)을 구축 및 평가하였다. 시스템 구축은 메인페이지, 학습장애의 이해, 학습장애 진단·평가, 학교기반 중재반응 모델, 수학 학습장애 진단평가, S-RTI 지원센터, S-RTI 데모동영상으로 개발하였으며, 목적 표집된 대구·경북지역 일반, 특수, 특수교육지원센터 교사 25명을 대상으로 중재반응모델 구성 및 실시, 시스템 구성 및 활용에 대하여 평가한 결과 적절성이 높은 것으로 나타났다. The purpose of this study was to develop web based response to intervention model diagnosis evaluation system for mathematics learning disabilities. This system is expected that accurate diagnosis and effective educate student with learning disabilities in educational arena. The results of this study were as follows: First, we developed the model of response to intervention to diagnosis student with learning disabilities that refer to the systematical model of web based instruction learning design. Development process of the model were analysis, design, production, and evaluation. Second, we set up web based diagnosis evaluation system for students with mathematics learning disabilities based on the response to intervention model. This web system was composed of understanding of learning disabilities, diagnosis and evaluation of learning disabilities, school based response to intervention model, diagnosis and evaluation of mathematics learning disabilities, S-RTI assist center, S-RTI demo movies.

목표모델의 확률적 평가에 관한 연구

김태영,고동범,김정준,정성택,박정민 한국인터넷방송통신학회 2017 한국인터넷방송통신학회 논문지 Vol.17 No.2

'목표모델'은 대규모 시스템의 관리에 인간의 개입을 최소화하기 위한 대안으로 제시된 '자율제어 시스템'의 지식 베이스이다. '자율제어 시스템'은'목표모델'을 기반으로 '자율제어'의 네 단계인 '모니터링-분석-계획-실행'을 수 행하기 때문에 대상 시스템의 '목표모델' 달성 비율을 정량화할 필요가 있다. 따라서 본 논문에서는 '목표모델'의 달성 비율을 정량화하기 위한 '목표모델의 확률적 평가'를 나타낸다. 평가는 '목표 모델링 및 가중치 부여', '목표모델 모니터 링', '목표모델 평가 및 분석' 총 3단계로 구성되어 있다. 연구를 통해 ‘자율제어 엔진’에 지식 베이스를 제공하고, 가중 치를 적용한 ‘목표모델’을 평가함으로써 시스템의 신뢰성 향상이 가능하다. 사례연구로써 ‘Smart IoT Kit’에 ‘목표모델’ 을 만들어 적용하여 제안 연구에 유효성을 입증한다. 'Goal Model' is core knowledge of 'Autonomic Control System' suggested to minimize human interference in system management. 'Autonomic Control System' performs 'Monitoring-Analysis-Plan-Execution', that is the four step of 'Autonomic Control', based on 'Goal Model'. Therefore, it is necessary to quantify achievement ratio of 'Goal Model' of target system. Thus, this paper present 'Probabilistic Evaluation of Goal Model' for methodology how to quantify achievement ratio of 'Goal Model'. It comprises 3-steps including ‘Goal modeling and weighting’, ‘Goal model monitoring’, ‘Goal model evaluation and analysis’. Through these research, we provide core knowledge for ‘Autonomic Control system’ and it is possible to increase the reliability of system by evaluating ‘Goal model’ with applying weight. As case study, we apply ‘Goal model’ to a ‘Smart IoT Kit’ and we demonstrate the validity of the suggested research.

Logic Model을 적용한 일학습병행 성과평가 개선방안 연구

정선정,장신철 한국취업진로학회 2021 취업진로연구 Vol.11 No.4

일학습병행 사업은 그동안 제도가 도입된 이후 참여기업과 학습근로자 활성화에 목적을 두어 왔지 만, 제도의 태동과 도입 취지를 고려하여 단기적인 실적과 성과뿐만 아니라, 중장기적인 관점의 성과를 접근할 수 있는 방향 모색이 필요하다. 현행 평가지표를 분석하기 위해 평가등급과 세부 평가지표 간의 상관관계를 분석하고, Logic Model을 적용하여 현행 지표를 진단하였다. 일학습병행 사업 추진 목적에 기반하여 이슈사항을 검토하였으며, Logic Model 구조에 따라 성과평가 개선방안을 도출하였다. 분석 결과 첫째, 성과평가 등급과 지표 간의 관계에서 중간상관 이상을 보이는 지표는 학습기업 목 표달성률, 학습기업 훈련유지율, 전체 취업률, 학습기업 취업률이었으며, 일학습병행 사업 중 1개 유형 을 제외한 나머지 유형에서 중간상관을 보이는 지표는 학습근로자 훈련유지율로 나타났다. 둘째, Logic Model을 적용한 일학습병행의 현행 성과평가 지표는 투입-과정-산출 중심의 평가가 이루어졌고, 일부 유형에 한하여 결과(노동시장 단기 기여도) 평가가 수행되었다. 셋째, 현행 성과평가 지표는 사업의 운 영과 관리 평가에 집중되어 있기에, 노동시장과 기업의 중장기 성과와 일학습병행제가 미친 사회·경제 적 영향을 평가하는 지표 신설의 필요성을 도출하였다. 개선방안은 첫째, 평가대상 기간을 직전연도 1년으로 한정하지 말고 종료된 프로그램 단위별로도 Output과 Outcome을 종합적으로 평가할 필요가 있다. 둘째, 기업 및 노동시장에 미치는 중장기적인 성 과를 평가하기 위하여 모든 유형에 취업률, 고용유지율, 임금 등 취업의 양질을 평가할 수 있는 지표를 신설하고, 행동평가 및 조직기여 관점에서 학습근로자의 현업적용도 및 기업의 생산성 향상 등의 변화 를 볼 수 있는 지표 신설도 필요하다. 셋째, 평가대상은 현재 공동훈련센터를 중심으로 평가가 이루어 지고 있지만, 최종결과(end outcome) 단계에서는 정규 학교교육 등 유사 제도와의 성과 비교를 통해 일학습병행제의 영향력을 평가할 필요가 있다. 마지막으로, Outcome 단계를 보다 세분화하여 노동시장 과 기업에 미치는 단기 및 중장기 성과와 사회·경제 전반에 미치는 영향을 고려한 지표 신설도 필요하 다. Logic Model을 적용하여 제시한 성과평가 개선방안이 현실적으로 적용 가능한지에 대한 검증은 후 속연구로 남겨 둔다. This study is to propose improvement measures of performance evaluation on Korean Dual System by applying Pearson correlation analysis and Logic Model. Results show that in terms of Pearson correlation between performance evaluation grades and indexes, the indexes showing higher than intermediate correlation are goal achievement rate․training retention rate․employment rate in a host company and total employment rate. In all types of dual programs except one, the index showing a higher than intermediate correlation(.30~.49) is trainer retention rate. Further, when the Logic Model is applied on the current performance evaluation of dual system, indexes about input-process-output-outcome are included, but evaluation is centered on operation and management of the dual programs. Four suggestions for the improvement of performance evaluation on Korean dual system are as follows. First, it is necessary to comprehensively evaluate the output and outcome even for each completed program without limiting the evaluation period to one year. Second, in order to evaluate mid-to-long-term performance on companies and labor market, it needs to include new indexes to evaluate the quality of employment (employment rate, employment retention rate, and wages) and trainers’ skill application on the job and productivity from the viewpoint of behavioral evaluation and organizational contribution. Third, the target of evaluation is currently centered on Joint training center, but we need to evaluate the impact of dual program in the final result stage to see if the program is achieving its ultimate goal by comparing with regular school education. Lastly, by subdividing outcome stage, it seems necessary required to establish new indexes to evaluate impact on labor market and companies as well as mid-to-long term outcome of socio-economic impact of the dual system.

‘지식재산 일반’ 연구 협력학교 운영모델의 CIPP 기반 평가 사례 연구

박경선,이영희,김아리 한국기술교육학회 2019 한국기술교육학회지 Vol.19 No.3

The purpose of this study is the evaluation of three operating models based on the CIPP based evaluation criteria for the models in research schools which implemented a career elective subject in their curriculums, which is called ‘Introduction to intellectual property'. In order to achieve the aim of the research, educational contents of the subject were applied in both regular and non-regular courses in nine high schools: five general high schools, two specialized, and two elite. Taken into consideration of educational contexts of each school, the CIPP-based evaluation criteria were developed and applied to three models: curriculum-focused, convergent, and extracurriculum-utilized. Case analysis methods were conducted on various teaching and learning data, and students’ qualitative achievement products collected in ‘context-input-process-product' evaluation stages of each model. In addition, interviews and surveys were administered to teachers, students, and principles As a result of the research, the CIPP-based evaluation criteria were modified into 5 evaluation categories for the Context stage, 6 for the Input, and 6 for the Output respectively. As for the Process stage, 6 comprehensive criteria and 3 individuals of each model were finalized. It turned out that the curriculum-focused model is the most optimal and likely to secure class hours of the subject. However, it is reasonable to apply models according to educational contexts in each school. In order to facilitate the dissemination of the subject in high schools, it is necessary to secure the number of class hour and competent teachers, strengthen teachers’ content expertises and teaching competencies, and develop teaching·learning·evaluating methods. Moreover, efforts are needed to establish a consulting system to support teaching and learning, and procure physical spaces and resources for student activities. 본 연구의 목적은 2015 개정 교육과정에서 신규 도입된 ‘지식재산 일반’ 과목을 위한 연구 협력학교의 운영모델을 CIPP 기반 평가 준거를 개발하여 평가하는 것이다. 연구의 목적을 달성하기 위해 서울, 경기, 인천, 대전 소재의 일반고 5개교, 특목고 2개교, 특성화고 2개교 등 총 9개교 고등학교의 정규 및 비정규 과정에서 ‘지식재산 일반’ 교육내용을 적용하였다. ‘교과중점형, 융합형, 비교과활용형’ 세 가지 운영모델에 CIPP 기반 평가 준거를 적용하여 평가를 수행하기 위해 과목 운영의 ‘상황-투입-과정-산출’ 단계에서 다양한 교수·학습 자료와 성과물을 수집하여 분석하였고, 과목 지도교사, 학생 등에 대한 인터뷰와 설문조사를 실시하였다. 연구 결과, CIPP 기반 평가 준거 영역은 상황평가 5개, 투입평가 및 산출평가 각각 6개로 개발되었고, 과정평가는 공통 6개 및 운영모델 유형별 각각 3개 평가 준거영역으로 개발되었다. 운영모델의 평가를 수행한 결과, 수업 시수를 확보할 수 있는 교과중점형 운영모델의 적용이 가장 바람직하지만 학교 현장의 상황 및 교육 여건에 맞는 운영모델의 적용이 필요한 것으로 나타났다. 고등학교에서 ‘지식재산 일반’ 과목의 원활한 도입과 정착을 위해서는 과목의 교육과정 자체에 대한 이해, 수업 시수와 교사의 확보, 교사의 내용전문성 및 수업 역량 강화, 교수·학습·평가 방법의 개발, 교수·학습 지원을 위한 컨설팅 체계 구축, 원활한 학생 활동을 위한 물리적 공간 및 자원 확보 등에 대한 노력이 요청된다.

CMMI 기반 소프트웨어 분야 중소기업의 프로세스 품질 평가모델 개발에 관한 연구

임장호,백동현 한국산업경영시스템학회 2009 한국산업경영시스템학회 학술대회 Vol.2009 No.춘계

This study is about the development of information system software process quality evaluation model for domestic medium enterprises based on CMMI being used widely in the world. In this study, a new evaluation model is developed through establishing tailoring guide and its application to the existing mode by reflecting the quality management method and conditions of domestic medium enterprises within CMMI Level 2 and Level 3. The evaluation model is constituted 3 processes, 11 achievement goals, 50 practice activities and 125 evaluation items. The average point of quality evaluation of enterprises of insurance business shows 79.1 based on the evaluation model. The average point of the enterprises certified from CMMI is 82.7 which is 3.3 point higher than non-certified enterprises. This result means that the new evaluation model has similar results with the existing evaluation model while it also has discriminational characteristics compared with the existing model.

고용서비스 전문인력 대상 이러닝 교육 프로그램 평가체계 개발

박은규,김민희 한국농·산업교육학회 2023 농업교육과 인적자원개발 Vol.55 No.3

이 연구의 목적은 비대면 고용서비스의 확대 및 고용서비스 전문인력의 전문성 강화 요구에 따라 한국고용정보원 사이버진로교육센터에서 운영하고 있는 이러닝 교육 프로그램의 체계적인 운영과 교육과정의 개선 및 질 관리 등을 위한 평가체계 개발 및 타당성을 검증하는데 있다. 이를 위해 Kirkpatrick 4단계 평가모형 및 이러닝 평가 관련 선행연구 분석을 통해 고용서비스 전문인력 대상 이러닝 교육 프로그램 평가체계 초안을 마련하였으며, 내부 이해관계자 대상의 FGI 및 외부 전문가 델파이조사를 통해 평가체계의 내용타당도 및 적절성, 중요도 등의 타당성 검증을 거쳐, 최종적으로 4단계, 7개 평가영역, 22개 평가항목으로 구성하였다. 이 연구를 통해 개발된 고용서비스 전문인력 대상 이러닝 교육 프로그램 평가체계는 이러닝의 효과성 측정을 목적으로 활용될 필요가 있다. 또한, 이러닝 콘텐츠의 구성과 학습 전달의 효과성 및 학습자의 지식, 기술, 태도의 향상에 보다 초점을 맞춰 활용하되, 각 평가단계별 평가시기 및 평가주체를 고려한 평가가 이루어질 필요가 있으며, 실제 이러닝 교육 프로그램 평가체계 활용 시, 세부 평가방안 마련 및 평가대상 특성을 고려하여 평가체계를 활용할 필요가 있음을 제시하였다. This study aims to develop an evaluation system and verify its validity for E-learning education program operated by the Cyber Career Education Center of the Korea Employment Information Service. The evaluation system is for systematic operation, curriculum improvement, and quality management of E-learning content. For this purpose, a draft E-learning education program evaluation system for employment service professionals was developed through the analysis of Kirkpatrick's evaluation model and prior research related to E-learning evaluation. Since then, the validity of the evaluation system was verified through an FGI survey of internal stakeholders and external expert Delphi surveys. As a result, an E-learning education program evaluation system for employment service professionals was finally developed, consisting of 4 stages, 7 evaluation areas, and 22 evaluation items. When using the E-learning education program evaluation system, it is necessary to focus more on the composition of E-learning content, the effectiveness of learning delivery, and the resulting improvement of learners' knowledge, skills, and attitudes. In addition, it was suggested tha t the e-learning evaluation system should be used considering the evaluation timing and subject for each stage, and the characteristics and detailed evaluation items of the evaluation target.

Method for Evaluating Goal Model based on Goal Achievement Rate

Taeyoung Kim,Dongbeom Ko,Sungjoo Kang,Ingeol Chun,Jeongmin Park 보안공학연구지원센터 2016 International Journal of Software Engineering and Vol.10 No.11

To control the data from many sensors, ‘Autonomic Control System’ is an issue because it has occurred to apply ICT to various domains and it is difficult for human to deal with all information. To ensure the reliability of the ‘Autonomic Control System’, to increase the ‘Fault Detection Rate’ for detecting fault, existing studies suggest a way to connect the ‘Autonomic Control System’ with the ‘Goal Model’. However, evaluation of the ‘Goal Model’ is currently insufficient. Thus, this paper presents a ‘Method for Evaluating the Goal Model based on the Goal Achievement Rate’, which comprises 4 steps: ‘Goal Interpretation’, ‘Goal Modeling’, ‘Monitoring and Evaluation’, ‘Reporting’. Through these steps, it is possible to ensure the reliability of the system. As case study, we apply ‘Goal Model’ to a ‘Smart IoT Kit’, which integrates multiple sensors. The experimental results show the proposed methodology validity.