중앙정부 정책만족도 개선방안에 대한 내부고객과 외부전문가의 인식분석 -언어네트워크분석을 중심으로-

윤수재 ( Sujae Yoon ),김지수 ( Jisoo Kim ) 한국정책학회 2011 韓國政策學會報 Vol.20 No.3

우리나라 중앙정부의 정책만족도조사는 정책 책임성 차원에서 고객인 일반국민과 이해관계자에게 밀접한 영향을 미친다. 따라서 정책대상자들이 정부정책을 얼마나 만족·신뢰하는가는 효율적인 성과관리 및 정책과정을 구축하는데 핵심적인 요인이다. 본 연구는 정책만족도 개선방안 도출을 위해 언어네트워크분석을 통해 실증적으로 분석하였다. 분석결과, 첫째, 부단위기관 차원에서 내부고객의 경우 ‘정책 수립시 다양한 의견 수렴’, ‘부처간정책공조 강화’의 순으로, 전문가의 경우 ‘정책품질 개선’, ‘정책 수립시 다양한 의견 수렴’, ‘외부전문가 체계적 활용’, ‘다양한 정책 프로그램 개발’, ‘대국민 정책홍보 강화’ 등의 순으로 나타났다. 둘째, 청단위기관 차원에서 내부고객의 경우 ‘부처간 정책공조 강화’와 ‘정책집행과정 체계적 운영’이, 전문가의 경우 ‘외부전문가 체계적 활용’, ‘정책 수립시 다양한의견 수렴’, ‘전문성 교육 강화’, ‘정책집행과정 체계적 운영’, ‘정책협력 거버넌스 확대 구축’ 등이 중요한 개선안으로 분석되었다. 본 연구결과는 물론 문제인식에 공통점이 있는것도 있지만, 정책의 기획·수립·집행 과정에 참여하는 내부고객과 외부전문가 의견 간에는 전반적으로 정책만족도 개선안 제시에 차이가 있다는 것을 확인하였다. Researches on policy satisfaction level of central governments largely influence the citizens and relevant parties who are the customers of such agencies in terms of policy responsibility. How highly the target groups of the policy are satisfied with and trust the government's policies is the core factor in establishing an efficient performance management and policy process. This study has empirically analyzed such policy satisfaction by semantic network analysis in order to draw out the suggestions to improve satisfaction of policy. The results of analysis indicated: At the department level of the government, the important suggestions to improve satisfaction of policies for the internal customers were 'collection of various opinions when they formulate policies', which was followed by 'enhancement of policy collaborations among divisions or departments' while 'improvement of policy quality' was the first for the external experts, which was followed by 'collection of various opinions in policy making', etc. At the agency level of the government, the important suggestions to improve satisfaction of policies for the internal customers were ‘enhancement of policy collaborations among divisions or governments’ and ‘systematic operation in policy implementation process’ while 'systematic use of external experts', and 'collection of various opinions in policy making' were for the experts. This study results, thus, show that the internal customers and external experts are in common in thinking of the issues but the internal customers participating in planning and implementing process of policies and external experts are different from each other in the proposal of improvement suggestions for policy satisfaction level in general.

정부 정책효과 측정에 대한 개선방안 연구

윤수재 ( Sujae Yoon ) 한국행정연구원 2019 기본연구과제 Vol.2019 No.-

1. 서론 □ 연구 배경과 필요성 ○ 범정부적 차원에서 체계적인 정부 정책효과의 도출·분석과정이 요구되는 상황 - 「정부업무평가기본법(법률 제14839호)」의 제정을 통해 정부업무에 대한 성과(목표달성도[실적] 및 정책효과)를 중요한 평가기준으로 설정하여 운영하고 있지만 특히 정부업무의 효과성과 책임성을 증대시키기 위한 체계적인 정책효과 측정·분석 수준은 미약한 실정 - 정부업무 성과측정에 대한 개념 운영의 부정확성과 정부 성과중심관리체계의 미흡성은 정부업무에 대한 효과 측정관리를 적절히 수행하지 못하고 있는 현실과도 밀접한 관계 ○ 정책효과 평가에 대한 국민 체감도 및 신뢰성 제고를 위해 정책효과 측정에 대한 연구를 통해 개선방안을 마련하는 것이 필요한 실정 - 최근까지 중앙행정기관이 효율적인 평가제도 구축을 위해 노력해왔음에도 불구하고 각 부처 정부업무 효과에 대한 국민의 체감도는 아직 낮게 나타나고 있는 실정 □ 연구의 목적 ○ 첫째, 정부 정책효과 측정에 대한 실태분석을 통해 정부 성과(효과)에 대한 다각적인 개선방안을 도출·제시하고자 함 ○ 둘째, 우리나라 정부업무 효과에 대한 조사·분석을 통해 현 중앙행정기관의 평가제도 실태를 분석·진단하고, 개선방안을 도출하여 효율적인 ‘정부업무평가 시스템’을 구축·운영하는데 기여하고자 함 ○ 셋째, 본 연구를 통해 정부업무평가제도에 관한 정부 정책기여에 도움을 주고, 정책효과 차원에서 정부사업에 대한 효율적인 성과측정시스템 구축·운영을 위한 방향을 제시하고자 함 □ 연구 내용과 방법 ○ 연구의 범위 - 본 연구에서의 국내 효과성 평가 실태분석 대상범위는 다음 국내 정부업무평가제도 하의 중앙행정기관(중앙정부) 평가시스템 전반 대상연구의 방법론 - 중앙정부의 평가에 대한 공무원·전문가 설문조사 및 심층 인터뷰를 통해 정부 정책효과 측정·분석 시스템에 대한 인식을 실증분석 - 또한 설문조사(인식분석) 결과를 토대로 개선방안을 도출하기 위해 국무조정실 관계자, 평가 및 성과관리 전문가와의 인터뷰 및 회의를 실시 2. 이론적 배경 □ 이론적 논의 ○ 정책효과 및 영향의 개념에 대한 개념 논의(학자·연구자) - 효과(effect)의 사전적 의미로는 어떤 원인에 의해 생긴 결과(result) 또는 영향(impact)을 의미 - 선행연구 검토결과 다수의 연구들이 효과성을 ‘효과’, ‘효과성’, ‘사업의 효과(성)’, ‘정책의 효과성’, ‘효과평가’, ‘정책효과’, ‘정책의 효과성’, ‘영향(impact)’ 등으로 정의1) - 정책효과의 개념에 대해 많은 학자들은 ‘정책목표 달성 정도’를 강조하고 있는데 다수의 연구자들은 조직이 사전에 계획했던 목표(원인)를 얼마나 제대로 달성하였는지, 얼마나 성취하였는지, 결과가 적절한 수준인지를 효과로 의미(김창수, 2000: 259; 유희열, 2005: 45; 오동훈 외, 2006: 1; 정정길 외, 2010: 634; 이도형 외, 2010: 19; 이용식, 2013: 2; 박희석 외, 2014: 17, 이규용, 2015: 19; 배정희, 2018: 12) - 그 외 효과성을 ‘정책 결과의 변화 또는 상태의 차이(김인·김영기·류기형, 1991; 조연숙, 2001: 297-316; 김인, 2004: 270 재인용)’, ‘국민의 생활에 미치는 영향(김명수·공병천, 2016: 89-90; 이삼식·최효진·정혜은, 2010: 19-20)’, ‘영향(impact)을 정책이나 프로그램 대상이 대상집단에 미치는 효과(박홍윤, 2012: 312)’에 초점을 두고 정의 - 김명수·공병천(2016: 91)은 정책효과의 유형을 정책효과 발생시점에 따라 크게 단기효과·장기효과로 구분 ○ 정책효과 및 영향 측정방법 - 선행연구 검토결과 정책효과 및 영향을 측정·평가하는 방법으로는 조건부가치 평가법(Contingent Valuation Method, 이하 CVM), 중요도-성취도 분석(Importance-Performance Analysis, 이하 IPA), 비용편익분석, 회귀분석, 논리모형(Logic Model), 시나리오기법, 델파이기법 등을 적용 □ 국내 선행연구 ○ 정책효과 차원의 관련된 국내문헌들을 다각적으로 검토한 후 분석 - 분야별 정책효과성과 관련한 선행연구들은 주로 성과분석이나, 정책목표 달성여부 측정, 정책이 미치는 효과(파급효과) 등을 통해 효과성을 분석하고 있으며, 분야와 목적에 따라 효과를 측정하는 기준과 방법, 판단근거를 다양하게 적용하여 분석하고 있음 - 보건·복지분야 관련 연구들로는 김지훈·강욱모·강길선(2019), 이병호·박민근(2017), 김민곤·천지은(2016), 허만영·이정철(2011)의 연구가 있음 - 연구개발 효과성 연구는 육헌영·노동기·서종현(2019), 노민선·조호수·백철우(2018), 배정희(2018), 배영임(2014), 박경주(2007), 김태일·남궁근(2003) 등이 있음 - 기타 지방 재정분권 및 보조금 지원정책, 주택 및 도로·교통·하수의 효과성을 다룬 연구들도 있음 □ 해외 선행연구 ○ 정책효과(성)와 관련한 해외 문헌을 2가지 차원, 즉 정책효과(성)가 어떻게 정의되는지와 실제 정책평가에 어떻게 사용되고 있는지로 구분 - 정책평가연구에서 정책 산출(outputs)과 효과(outcomes)에 대한 평가는 구분(Laurian 외, 2010: 741)되며, 정책효과는 정책 산출이 정책 대상자(이해관계자 혹은 수혜자)에게 미쳤을 때 발생하는 효과뿐 아니라 정책 대상자를 넘어서 발생하는 결과 모두를 포함(Vedung, 1997: 5) - Duignan(2003; Laurian 외, 2010: 742에서 재인용)의 연구는 정책의 효과평가와 영향평가가 상호 대체 가능한 용어임을 지적하는 반면에 Morrison & Pearce(2000: 199-201)는 정책효과와 영향을 보다 분명히 구분 ○ 정책효과(성) 측정과 분석에 대한 해외 선행연구를 학자 및 보고서, 정부 및 공공기관, 국제기구 및 지역협력체 등으로 나누어 검토 - 학자 및 보고서를 살펴보면 노동시장, 보건의료, 환경정책 등 국가의 정책과 관련한 연구들이 다수 · 노동시장 정책: Kluve(2006), 보건의료 정책: Abuya(2018) 환경정책: Laurian 외(2010), Macintosh(2010), 기타: Cosgrave 외(2009), McCullough & Thurgood(2004), Murphy 외(2012) 등 - 정부 및 공공기관은 환경·과학 등의 분야별 정책, 국가 프로젝트, 프로그램 효 과와 영 향을 평 가 : Beale, Bloss & Thomas(2008), DELWP(2017), Roessner(2000), Rogers 외(2015), Tremolet 외(2015: 1) · 효과성 평가에 있어서 논리모형 등 다양한 분석방법을 활용한 연구: AusAID(2012), CDC(2016), Frechtling 외(2002), · 영향평가 질 판단 기준제시: NAO(2010) - 국제기구 및 지역협력체의 정책효과성 연구 · Baker(2000), ECEDG(2006a, 2006b), Gertler 외(2016), Khandker, Koolwal & Samad(2010) ○ 본 연구는 다음과 같이 크게 3가지 차원에서 기존의 선행연구와의 차별화된 특성을 가짐 · 첫째, 정부 정책효과 예측·측정에 사용될 진단기준을 개발하여 이를 분석에 적용 · 둘째, 정책 계획·수립단계와 정책 시행·결과단계로 구분하여 중앙행정기관의 정책효과 측정 실태를 종합적으로 진단 · 정책효과 측정에 대한 부처 현황 수준이 어떠한지를 조사할 뿐만 아니라 외부전문가 및 정책실무자들이 정책효과(중요도)를 어떻게 인지하고 있으며, 실제 정부업무평가시스템 현장에서 정책효과 측정이 얼마나 반영되고 있는지 여부까지 진단 □ 연구방법론 ○ 분석과정과 단계 - 본 연구는 크게 정책효과 측정에 관한 국내 실태분석, 해외 사례분석, 정부 정책효과의 예측·측정에 대한 인식분석으로 구성 ○ 분석방법과 분석기준 - 연구수행을 위해 문헌자료 분석, 국내 실태분석 및 해외 사례분석, 설문조사를 통한 인식분석 등의 방법을 종합적으로 활용 - 국내 정책효과 측정에 대한 실태분석 및 인식분석을 위해 분석기준을 마련하여 연구분석의 심층성 및 체계성을 확보 - 미국·영국·호주의 정책효과 측정 및 도출 사례를 선정하여 수집된 자료를 통해 비교·분석함으로써 국내 정부 정책효과 측정 관련 제도개선을 위한 정책적 시사점을 도출 - 설문조사의 경우 중앙부처 공무원과 전문가를 대상으로 수행 - 국내 실태조사, 설문조사 분석결과 외에 전문가 회의 및 관련 심층 인터뷰를 수행함으로써 심도 깊은 사안에 대해 논의 3. 정부 정책효과 측정에 대한 실태분석 □ 정부 정책효과 측정 현황 및 활용 유형 분석 ○ 정책 계획·수립단계의 정책효과 측정 현황 - 정책 계획·수립단계의 정책효과 측정을 위해 중앙행정기관 평가 중 자체평가 계획(안)과 성과관리 시행계획을 대상으로 분석함 - 자체평가계획의 평가항목(정책단계) 중 ‘정책형성’, ‘계획수립의 적절성’, ‘계획’, ‘정책입안단계’ 등에서 정책효과 측정·예상과 관련된 내용에 초점을 맞춰 정책효과를 측정 - 성과관리 시행계획 중 관리과제별 시행계획의 구성을 살펴보면 모든 부처들이 정책의 ‘추진배경 및 목적’, ‘주요내용 및 추진계획’, ‘수혜자 및 이해관계집단’, ‘기대효과’, ‘성과지표 및 측정방법’을 순차적으로 기술하고 있는 상황 ○ 정책 시행 및 결과 단계의 정책효과 측정 현황 - 정책 시행·결과단계에서의 정책효과 측정을 위해 중앙행정기관 평가 중 특정평가의 평가부문에서는 국정과제를 대상으로 분석하고, 자체평가에서는 주요정책과 R&D 평가를 대상으로 분석 - 주요 7개 부처별 자체평가 결과보고서(주요정책)에 기술된 ‘정책효과’를 평가항목/ 평가지표/ 측정방법(측정기준)으로 구분하여 분류한 결과, 모든 7개 부처가 평가지표에 ‘정책효과 발생정도(정책영향이 발생한 정도)’를 포함하여 평가하고 있었으며, 그 다음으로 ‘정책만족도’, ‘국민만족도’와 같이 정책수혜자(국민)의 만족도를 ‘정책효과 발생정도’와 함께 측정하는 것으로 파악 - 국정과제평가에서는 <정책효과>를 외부 지적사항 개선정도’, ‘부작용발생여부 및 개선·극복정도’, ‘성과지표 외 계량화된 성과’, ‘국민불편 해소·국민편익증진정도’, ‘향후 기대효과’ 총 5가지 평가지표로 평정 - R&D 자체평가(국가연구개발사업)는 정책효과를 ‘형식적 요건 충족여부’, ‘효과성 분석방법의 적절성’, ‘사업의 효과성’, ‘검증 가능한 근거·자료’를 가지고 평가 ○ 실태분석 기준 - 본 연구는 정책계획 수립단계와 정책 시행 및 결과 단계로 구분하여(2단계) 분석을 수행하며, 분석을 위해 개발된 평가지표를 정책계획수립단계에는 2가지 기준을, 정책시행 및 결과단계에는 6가지 기준을 적용하여 분석 □ 정부 정책효과 측정 실태분석Ⅰ: 정책 계획·수립 단계 ○ 1단계 실태분석은 정책계획 수립 단계(계획서)를 중심으로 실시하며, 해당 분석에는 10개 중앙행정기관(중앙정부)의 성과관리 시행계획서와 자체평가계획서 분석 ○ 정책효과 예측의 체계성 - 정책계획 수립 단계에서 정책의 산출 혹은 목표달성도와 구분되는 정책효과(성)를 측정·평가하기 위한 기준이 체계적으로 제시되어 있는 자체평가계획서는 거의 없으며, 전반적으로 계획서에 정책효과성에 관련한 평가 항목이 제시되어 있으나, 그 제시된 수준이 다소 추상적이고 단편적임 - 대부분의 성과관리 시행계획서에서는 정책수립 단계에서 정책효과를 어떻게 예측·도출할 것인지에 대한 내용이 체계적으로 설명되어 있지 않음 ○ 정책(기대)효과 설정의 논리적 타당성 - 정책(기대)효과 설정의 논리적 타당성 차원에서 정책효과 설정에 대한 타당한 논거(문헌연구나 해외사례 등)를 제시한 계획서는 거의 없는 것으로 나타남 □ 정부 정책효과 측정 실태분석Ⅱ: 정책 시행·결과단계 ○ 2단계 실태분석은 정책시행 및 결과 단계의 자체평가 보고서, 국정과제 평가 결과보고서, R&D 자체평가보고서를 중심으로 분석 ○ 정책효과 기술의 명확성 - 전반적으로 정책평가 보고서에서 정책의 산출 혹은 목표달성도와 구분되는 정책효과성에 대한 기술·설명은 비교적 체계적으로 명시하고 있으나 이의 구체성은 다소 미흡 - 정책평가 보고서에서 정책 수혜자 및 이해자관계자 분석이 구체적인지에 대해 종합적으로 판단한 결과, 전반적으로 미흡 ○ 성과분석 자료 및 방법의 적절성 - 정책효과를 측정·평가하기 위한 평가방법이 적절하게 제시되어 있는 정책평가보고서는 거의 없는 것으로 분석 ○ 정책효과 분석방법 및 분석결과 해석의 논리적 타당성 - 정책 시행 및 결과 단계에서 정책효과 도출의 타당한 논거(예를 들어, 문헌연구 혹은 해외사례 등)가 체계적·논리적으로 제시되어 있는지에 대해 살펴보면, 전반적으로 부적절하고 미흡 - 정책효과 측정결과에 대한 해석이 합리적·객관적·논리적으로 기술되어 있는 정책평가보고서는 사실상 부재 ○ 정량적 분석의 구체성 - 대부분의 정책평가보고서에서 정량적 분석이 적절하게 활용 안되는 수준. 또한 정책효과 측정결과의 해석이 합리적·객관적인지에 대해 종합적으로 판단한 결과, 전반적으로 미흡한 수준 ○ 정성적 분석의 구체성 - 정책평가보고서에서 만족도 조사나 설문조사 등을 활용하는 경우는 비교적 쉽게 발견되지만, 이의 구체성은 다소 미흡 - 정책효과에 대한 정성적 분석의 결과가 구체적으로 기술되어 있는지에 대해 살펴보면 만족도가 계량화된 수치로 어느 정도인지, 측정된 만족도가 무엇을 근거로 낮다고 평가하는지 등에 대해 구체적으로 기술되지 않은 수준 ○ 정책효과 기술에 대한 종합적·체계적 접근의 적정성 - 정책 시행 및 결과 단계에서 정책의 중장기적 효과에 대해 논리모형(logic model) 혹은 결과사슬 등을 활용하여 체계적으로 기술하는지에 대해 살펴보면, 중장기적 관점에서 해당 정책을 통해 어떠한 효과 및 결과를 기대할 수 있는지에 대한 기술 부재 - 성과지표 외 계량화된 성과가 적정하게 기술·설명되어 있는지에 대해 종합적으로 판단한 결과, 전반적으로 미흡한 수준 □ 종합 및 시사점 ○ 정책효과(성) 측정·평가기준의 체계성 확보 - 단순히 정책효과 발생 여부 및 정도에 대한 고려를 평가항목에 포함하는 것을 넘어서, 발생한 정책효과(성)가 우수 혹은 미흡한지를 평가할 수 있는 구체적인 기준이 필요할 것으로 판단 ○ 정책효과 도출 및 분석 계획의 구체적·체계적 제시 - 어떤 성과자료를 수집·활용하여 어떻게 평가·분석할 것인지에 대한 구체적인 설명 역시 발견하기 어려움. 이에 대한 종합적인 개선 노력이 필요 ○ 정책효과 설정 논거의 타당성 확보 - 문헌연구나 해외사례 등의 제시를 통한 정책효과 설정의 신뢰성·타당성 확보 필요 ○ 기대효과에 관한 정량적 혹은 정성적 예상근거의 구체적 제시 - 대부분의 기대효과가 정량적인 수치나 정성적인 판단의 제시 없이 설정·기술되었기 때문에, 상당히 추상적·단편적 수준 ○ 근거(evidence)에 기반한 정책효과 기술 - 대부분의 경우 정책효과성이 산출 혹은 목표달성도와의 명확한 구분 없이 중복·제시되고 있는 실정 ○ 고객 및 이해관계자 분석의 체계적·명시적 제시 - 구체적인 혹은 계량화된 성과정보가 함께 제시되어야 할 뿐만 아니라, 이들의 정책적 요구나 상호관계(갈등 혹은 협력) 등에 대한 분석제시 필요 ○ 성과정보의 다양성 및 구체성 확보 - 대부분의 정책평가보고서에서 어떠한 효과성(경제적 혹은 사회적 효과 등)을 뒷받침하는 것인지에 대한 구체적인 설명이 부족 - 따라서 다양한 성과정보를 활용할 뿐만 아니라 이에 대한 설명 제시필요 ○ 상위목표를 고려한 적절한 분석방법의 활용 - 정책의 상위목표나 기대효과 등을 고려하여, 정량적 분석(경제적 파급효과나 비용편익분석 등)이나 정성적 분석(만족도 조사나 이해관계자 인터뷰 등) 등의 적절한 활용·제시 필요 ○ 정책효과 도출을 위한 논거의 타당성 제고 - 관련 학술 연구나 해외사례 등을 활용하는 경우가 많지 않을뿐더러, 이를 활용한 몇몇 보고서의 경우에도 계량화된 수치나 출처 등과 같은 구체적인 설명이 부재 ○ 분석결과를 판단할 수 있는 객관적 기준의 제시 - 성과정보나 분석결과를 기준으로 특정 정책효과 혹은 상위목표를 달성했다고 해석하는 것은 논리적 비약이라고 판단되기 때문에 객관적 기준 제시 필요 ○ 정량적 분석의 적극적 활용 - 비용편익분석, 조건부가치평가, 경제적 파급효과분석 등과 같은 정량적 분석을 적극적으로 활용함으로써, 정책효과성 기술의 구체성뿐만 아니라 신뢰성과 타당성 확보 필요 ○ 정성적 분석의 획일화된 활용 탈피 - 이해관계자에 초점을 맞춘 설문조사(혹은 인터뷰), 전문가 인터뷰, 포커스그룹 인터뷰 등과 같은 다양한 분석방법의 적극적 활용·적용 필요 ○ 논리모형 혹은 결과사슬 등을 활용한 중장기 효과 기술의 체계성 확보 - 보고서에서 정책효과의 유지·확산을 고려한다는 점에서 정책효과성에 대한 중장기적 관점 포함 필요 ○ 정책효과에 초점을 맞춘 영향요인분석의 제시 - 정책효과에 초점을 맞춘 영향요인분석 제시 필요 ○ 외부효과·부수효과와 관련한 성과정보의 다양성 제고 - 대체적으로 외부효과나 부수효과와 관련한 계량화된 수치나 구체적인 사례 등의 제시가 제한적이었기 때문에, 그 구체성·체계성을 제고하기 위해 관련 성과정보의 다양한 활용 필요 ○ 국제 평가지수나 국민인지도 등과 같은 계량화·표준화된 지표의 적극적 활용 - 국제 평가지수나 국민인지도 등과 같은 계량화·표준화된 지표 활용을 통한 효과성 측정·분석의 타당성·신뢰성 확보 필요 4. 해외 정책효과 측정에 대한 사례분석 □ 미국 정책효과 사례분석Ⅰ: 실험설계 분석 ○ 미국 교육부(U.S. Department of Education)의 학생 멘토링 프로그램(Students Mentoring Program)에 대한 효과평가 ○ 분석방법 - 분석을 위해 2004년과 2005년에 지원을 받은 255개의 프로그램들에서 2005-2006년도 학생들과 2006-2007년도 학생들을 대상으로 자료를 수집 - 프로그램 목적, 실천, 영향 등 3단계로 구성되는 프로그램 논리모형(logic model)을 적용 - 고정효과모델(fixed-effects model)을 사용하여 멘토링을 받은 실험그룹 학생과 받지 않은 비교그룹 학생들 간의 평균 치료효과(average treatment effect)를 추정 ○ 시사점 - 정책실험에 의한 효과추정은 사회복지정책, 교육정책, 환경정책 등 다양한 분야에서 실행가능한 평가유형으로서, 이 연구사례는 정책실험 설계의 적절한 평가방법과 과정을 제시 - 중앙행정기관(중앙정부)이나 지방자치단체에서는 정책을 정치적 홍보에 활용하는 것을 넘어서 정책이 얼마나 타당하고 효과적인지를 반드시 판단하는 것이 필요하기 때문에 정책기획 단계에서부터 실험설계평가 가능성을 검토하는 것이 필요 □ 미국 정책효과 사례분석Ⅱ: 효과성 평가와 비용편익분석 ○ 직업훈련 프로그램인 등록 견습제도(Registered Apprenticeship, RA)의 효과를 평가 - 다양한 주위 환경에서 RA의 사회적 비용과 이익뿐만 아니라 참가자에 대한 프로그램의 순효과를 측정 ○ 분석방법 - 미국 인구 조사국에 의해 수집된 현재 인구 조사(Current Population Survey)의 인구 통계와 고용 및 수입 정보에 의존하고, 미주리 주고용 서비스 비교그룹에 대한 정보를 해당 프로그램의 관리 데이터활용, 질적 데이터를 추가(전화토론) - 고용과 수입에 대한 효과, 사회적 편익과 사회적 비용, 여성 참가의 경험, OA와 SAA의 RA 프로그램 비교 등 ○ 시사점 - 연구사례는 편익비용분석과 함께 효과성 분석이 같이 이루어져서 평가결과를 보완 - 자료입수와 방법의 적용이 가능하다면 편익비용분석과 함께 다른 방법을 같이 사용하는 것도 필요 □ 영국 정책효과 사례분석Ⅰ: 준실험설계 분석 ○ 기업성과의 혁신에 대한 지원의 영향평가(The Impact of Public Support for Innovation on Firm Outcomes) 사례 ○ 분석방법: 이중차이분석 - 민간사업데이터베이스(Business Structure Database, BSD), 민간사업연구개발(Business Enterprise Research and Development) 데이터 셋 등 활용 - 준실험설계 평가방법인 성향점수매칭(propensity score matching, PSM)과 이중차이분석(difference-in-differences, DD)을 결합하여 사용 - PSM을 통해 구성된 지원받은 기업집단과 그렇지 않은 집단 간의 결과에서의 평균변화의 차이를 계산함으로써 정책효과를 산출 ○ 시사점 - 실험설계와 준실험설계가 정책평가자에게 주는 시사점은 프로그램 참여자가 발생시키는 자기선택의 편의를 제거하는 것으로 이는 매우 중요 - 정책기획이나 평가 관련한 관계자는 이러한 편의를 제거할 수 있는 실험설계와 준실험설계 평가를 인지하고 적용의 가능성 고려 필요 □ 영국 정책효과 사례분석Ⅱ: VFM 분석 ○ 식수위생 프로그램의 지속가능성과 정책효율성(value for money: VFM) 평가 - 영국 국제개발부는 정책효율성을 “지원 비용(money)의 영향력을 최대화해서 생활이 어려운 사람들의 삶을 개선하는데 쓰는 것”으로 정의 ○ 분석방법 - 2013년 9월부터 2014년 6월까지 국가 견학, 프로그램의 지출 및 결과에 대한 데이터 수집 외 - VFM 분석은 경제성(economy), 효율성(efficiency), 효과성(effectiveness), 비용효율성(cost-efficiency), 비용효과성(cost-effectiveness) 5가지 차원에서 평가 - 실제 산출된 결과와 영향을 극대화하는 것이 주요한 목적 ○ 시사점 - VFM은 현재 우리나라의 결과중심의 성과관리의 문제점을 보완하고 정책효율성을 판단해 줄 수 있는 중요한 방법 중의 하나로 활용가능 - 다만 편익비용분석 등 기타 다른 평가방법도 마찬가지이지만 VFM을 활용하기 위해서는 모니터링 시스템의 선행 구축 필요 □ 호주 정책효과 사례분석Ⅰ: 비용효과 분석 ○ ACE-비만정책(ACE-Obesity Policy)은 다양한 분야의 비만 방지 정책 (규제 및 프로그램 기반의 개입 포함), 여러 영역의 거버넌스(지역정부, 주정부 및 연방 정부)에 대한 경제적 가치를 평가 ○ 분석방법 - 비만예방 프로그램의 비용-효과성 모델링 - 이 모델은 관심 인구에서 하나 이상의 위험 요소(BMI, 신체 활동 또는 과일 및 채소 섭취)의 분포에 대한 개입 관련 변화의 효과를 시뮬레이션 ○ 시사점 - 호주의 ACE-비만정책 모델은 최적의 정책 우선순위 결정에서 하나의 참고사례로 활용 가능 - 정책의 효과에 미치는 가장 중요한 요인들을 과학적인 선행연구 결과에 근거하여 도출하는 작업을 먼저 수행 - 성과정보에 근거해 증거기반(evidence-based)의 의사결정을 수행할 수 있으며, 정책실패의 가능성도 줄이는 효과 발생 □ 호주 정책효과 사례분석Ⅱ: 효율성-효과성 분석 ○ 공공병원이 응급실(emergency department, ED)을 얼마나 효율적·효과적으로 관리하는지 여부를 평가 ○ 분석방법 - 40개의 Victorian 공립 병원 ED에서 39개의 데이터를 분석해 병원직원 인터뷰, ED 방문, 병원의 자료 검토, 부서별·분기별 데이터 검토 등 데이터 분석 활용 ○ 시사점 - 본 사례를 통해 목표한 성과가 도출되지 않는 이유를 분석하여 기술하고 있고, 타당한 평가가 필요함에도 불구하고 잘 시행되지 않는 원인이 무엇인지를 분석해서 보여주고 있기 때문에 우리의 정책현장에서 참고로 활용하기 적절한 사례 5. 정부 정책효과 측정에 대한 인식분석 □ 조사 개요 ○ 정부 정책효과 측정·분석 현황 및 수준 전반에 대한 인식을 외부전문가(중앙행정기관 자체평가위원), 정부업무평가 담당공무원을 대상으로 설문조사를 수행 - 공무원과 전문가 조사의 공통문항으로 총 35개의 설문을 구성 □ 설문조사 결과 ○ 정책효과 개념 및 영역에 대한 인식(다중응답) - 전체응답자 중 ‘결과’가 정책효과 영역에 포함된다고 생각하는 의견이 92.5%로 가장 많았으며, 영향(91.6%) → 산출(80.8%) 순으로 인식 - 정책효과의 개념을 결과(outcome)라고 보는 견해가 가장 많았으며, 목표달성도(실적) 차원의 산출(output)의 개념도 여전히 정책효과의 영역으로 인식하고 있는 경향을 확인 ○ 정책효과 예측·측정의 중요성에 대한 인식 - 전문가와 공무원의 대부분은 정책수립단계의 정책효과 예측과 정책결과단계 정책효과 측정 모두 ‘중요하다’고 인식 ○ 정책 계획·수립단계에서의 정책효과 예상·예측에 대한 항목별 중요도 - 전체응답자 평균은 5점 만점에 4.02점으로 나타났으며 ‘측정하기 위한 기준의 체계적인 제시(4.18점)’가 가장 중요하다고 응답 - 공무원 평균 3.78점, 전문가 평균 4.23점으로 나타났으며, 두 집단간 평균 차이는 통계적으로 유의미 - 공무원-전문가 그룹 모두 ‘측정기준의 체계적 제시’ 항목에 대한 중요도가 가장 높게 인식 ○ 정책 계획·수립단계에서의 정책효과 예상·예측에 대한 항목별 실제 반영도 - 조사결과 전체응답자의 평균은 5점 만점에 3.41점으로 나타났으며, 이러한 결과는 예측 중요도(4.02점)보다 0.61점 낮게 인식 - 두 집단 모두에서 효과에 대한 타당한 논거 제시가 계획서 안에 상대적으로 가장 반영 안 되어 있다고 인식하는 것은 정책효과 측정개선에 있어 중요한 시사점을 제공 ○ 정책 계획·수립단계에서의 정책효과 예상·예측에 대한 항목별 중요도-반영도 분석(IPA) - 전체응답자의 중요도 평균은 5점 만점에 4.02점, 실제 계획서 상의 반영도는 평균 3.41점으로 나타났으며, 이러한 차이는 통계적으로 유의미 - 중요도가 높고, 반영도가 낮은 제2사분면의 <중점개선 영역>에 대해 공무원의 경우 ‘정책 기대효과의 구체성 확보’ 만을 응답하였지만, 전문가의 경우 계획서상 ‘이해관계자 분석계획의 구체적 제시’ 와 ‘정책 기대효과의 구체성 확보’를 응답 ○ 정책 계획·수립단계의 최우선 정책효과 측정 기준 - 정책 계획·수립 시 고려해야 할 정책효과 측정기준 중 가장 중요한 것으로 1순위는 ‘측정 기준의 체계적 제시(57.5%)’를 가장 많이 응답하였으며, 2순위로는 ‘정책효과 도출방법의 체계적 제시(43.9%)’로 인식 ○ 정책시행·결과 단계에서의 정책효과 측정·도출에 대한 항목별 중요도 - 전체응답자 평균은 5점 만점에 4.06점으로 나타났으며, 이는 정책수립·계획단계보다 중요도가 0.04점 높게 인식 - 전문가 (평균 4.22점)의 정책효과에 대한 중요도 인식이 공무원(3.88점) 대비 상대적으로 높게 나타났으며, 두 집단 간 평균 차이는 통계적으로 유의미 - 전문가와 공무원 그룹의 중요도 순위가 차이를 보이는 가운데, 전문가는 ‘의도한 본질적 효과에 대한 구체적 제시(4.46점)’, 공무원은 ‘정책효과 도출 결과의 합리적 해석(4.12점)’ 항목에 대한 중요도 인식이 가장 높게 분석 ○ 정책시행·결과 단계에서의 정책효과 측정·도출에 대한 항목별 실제 반영도 - 항목별로 보면 전문가와 공무원 그룹 모두 ‘의도한 효과의 구체적 제시’, ‘기대효과·파급효과의 구체적 제시’ 항목에 대한 반영도 인식이 가장 높게 분석 ○ 정책시행·결과 단계에서의 정책효과 측정·도출에 대한 항목별 중요도-반영도 분석(IPA) - 전체 중요도 평균은 5점 만점에 4.06점이고, 실제 보고서 상의 반영도는 평균 3.49점으로 나타났으며, 이러한 차이는 통계적으로 유의미 - 정책 시행·결과단계에서의 중요도가 높고, 반영도가 낮은 제2사분면의 <중점개선 영역>에 대해 공무원의 경우 ‘정성분석 과정의 체계적 제시’만을 응답하였지만, 전문가의 경우 평가보고서상의 ‘중장기 효과의 체계적 기술’과 ‘긍정적·부정적 영향요인의 적정한 제시’를 응답 ○ 정책 시행·결과단계 최우선 정책효과 측정 기준 - 정책 시행·결과단계에서 고려해야 할 정책효과 측정기준 중 가장 중요한 것으로 1순위는 ‘의도한 효과의 구체적 제시(54.7%)’를 가장 많이 응답하였으며, 2순위로는 ‘기대효과·파급효과의 구체적 제시(38.3%)’로 분석 ○ 정책효과 측정이 어려운 분야 - 정책효과 측정이 어려운 분야로 전체응답자 결과를 살펴보면 ‘외교안보분야(36.0%)’가 가장 높은 응답률을 보였으며, 그 다음 문화분야(16.4%) > 교육과학 분야(12.6%) > 재난안전 분야(12.1%)의 순으로 인식 ○ 성과평가 결과보고서 작성 시 필요사항 - 중앙행정기관의 성과평가 결과보고서 작성 시 정책효과의 충분한 작성을 위해 가장 필요한 것으로 ‘정책효과 측정에 대한 가이드라인(34.1%)’이 가장 필요하다고 응답하였으며, 두 번째로는 ‘공무원의 관심과 역량(21.6%)’으로 분석 ○ 정책효과 가이드라인 필수항목 - ‘정책효과 입증방법 및 판단기준(62.1%)’에 대한 내용이 가이드라인에 포함되어야 한다고 인식하는 응답자가 가장 많았으며, ‘정책효과 측정방법(56.1%)’이 두 번째로 높게 인식 ○ 정부 정책효과 측정·도출을 위한 개선안 - 정부 정책효과 측정·도출에 대한 개선안 마련 차원에서 가장 중요한 것은 무엇이라고 생각하는지에 대해 전체응답자 조사결과 ‘기관 미션, 비전, 의도된 수요와 연계된 측정 가능한 사업목표와 기대효과(outcome) 정립(60.3%)’이 가장 많게 응답 □ 심층인터뷰 결과분석 ○ 중앙정부 정책효과 측정의 문제 - 주요정책 자체평가에 대한 기준이 부처별로 상이하여 정책효과에 대한 명확한 개념적 정의가 없으므로 정책효과의 측정 범위가 모호하고 추상적 - 국무조정실은 정부업무평가를 총괄·지원하는 기관으로, 정책분석시 정책효과를 어떻게 분석·기술하라는 규정이 부재한 실정. 이는 평가정책의 문제이며 곧 국무조정실의 역량·관리의 문제 - 중앙정부 정책효과 측정의 문제는 ① 프로그램 단위의 원인 ② 정부(부처별) 기관단위의 원인 ③ 정부 전체의 거버넌스 차원으로도 나누어 분류 - 현재 정부 정책효과에 대한 측정은 성과중심의 결과단계를 중심으로 측정·평가되고 있으나 측정중심의 성과관리가 아닌 계획단계 정책효과의 예측에 대한 전략적 기획(Strategic Planning) 차원의 접근이 필요 ○ 정부 정책효과 측정 실태분석을 위한 분석기준 - 정책효과 측정에 있어서 정책수혜자 및 대상자를 설정하여 매뉴얼로 제시하고 있는지를 고려해야 하며, 일반국민을 대상으로 한 인식도·만족도를 측정하는 것도 좋지만 현장에 대한 정교한 지식을 가진 해당 정책의 수혜자를 대상으로 정책효과를 조사하는 것도 필요 - 정성적 분석의 경우, 정책효과를 매뉴얼화 하고, 정량적 분석과 마찬가지로 정성적 분석도 정책효과와 관련된 근거를 논리적으로 제시하는 것이 중요 ○ 심층인터뷰를 통한 정책적 제언 - 정부 정책효과 측정에 관한 범부처 공통기준 제시 및 가이드라인 정립·제시 필요 - 정부업무평가 구조 및 제도 개선이 필요 - 정책효과 측정을 위해 공무원 개개인의 역량을 강화할 수 있는 방안모색 - 분야별로 전문성을 가지고 정책효과를 측정·도출할 수 있는 구체적인 방안이 필요 6. 정부 정책효과 측정시스템 개선방안 □ 정부 정책효과 측정시스템 개선방향 ○ 평가주체 및 체계 - 정부업무평가위원회, 국무조정실, 중앙행정기관, 외부 정책효과 검증·평가 연구기관 등과 같은 내·외부 평가주체의 정책효과(성) 평가역량 및 평가체계의 유기적 연계성 강화 ○ 평가대상 및 내용 - 정책효과 평가대상의 재정립 - 정책계획 수립 단계와 정책 시행 및 결과 단계에서 (기대)효과 측정·평가 수준을 재정립하고, 평가내용의 구체성과 체계성 제고 ○ 평가방법 - 정책효과 방법의 표준화·체계화(단기적: 정책효과 측정매뉴얼 개발 등; 중장기적: 성과정보시스템 구축, 정책효과 점검단 설치 등) □ 정부 정책효과 측정시스템 개선방안 ○ 평가주체, 평가대상 및 내용, 평가방법 등에 관한 개선방안 제시를 통해 우리나라 중앙행정기관의 정책효과 측정·평가시스템이 성과관리 프로세스 전반에 기여할 수 있는 방안을 다각적으로 제시 ○ 단기적 개선방안 - 현재의 법적 틀 안에서 시행할 수 있는 사항들(예를 들어, 정책효과측정 교육체계의 마련, 성과목표 수준의 정책효과 기술, 논리모형이나 결과사슬 등과 같은 중장기 정책효과 기술의 프레임워크의 활용, 정책효과 측정 매뉴얼[가칭]의 개발·활용, 모니터링 강화 등)을 제시 - 정부업무평가위원회 하의 정책효과와 관련한 모니터링 및 평가시스템(Monitoring and Evaluation System)을 마련하여 기획·조정·총괄 기능 강화 - 중앙행정기관의 정책효과 측정시스템을 보다 체계적으로 내재화하기 위해서 정책효과 중심의 성과관리체계로 전환 - 정책효과는 여타 정책과정(산출 포함)과는 다른 특수성이 존재하기 때문에 현재 공무원에게 제공되는 평가 및 성과관리 교육체계와는 구분되는 별도의 체계적인 정책효과 교육체계 필요 - 정책효과 측정 교육프로그램의 효과성을 제고하기 위해서 부처 특성을 고려·반영할 뿐 아니라 교육과정 참가자의 적극적인 참여에 바탕을 둔 맞춤·참여형 정책효과 교육프로그램 개발 - 공무원의 평가역량 강화를 위해 개방형 직위제도를 성과관리 업무(정책효과 측정·평가 포함)까지 확대·시행 - 현재 성과관리나 정부업무 평가체계가 정책효과 중심으로 운영되기 위해서는 중앙행정기관별 자체평가위원회의 컨설팅 기능 강화와 정책효과 소위원회(가칭) 구성·운영 - 정책효과의 측정·평가 결과에 대한 환류 기능 강화를 위해 정책효과에 대한 평가 가중치(중요도)를 높이거나 정부업무평가위원회 및 국무조정실 차원에서 개별 부처가 평가결과를 관련 정책과정에 적절하게 고려·반영하는지를 주기적으로 모니터링 - 정책효과의 평가 단위·수준을 재정립하기 위해 현재 중앙행정기관 관리과제 수준에서 미시적으로 측정·기술하고 있는 정책성과(산출과 효과 포함)를 관리과제 수준의 산출과 성과목표(또는 전략목표) 수준의 효과로 구분하여 측정·평가 - 정책성과라는 추상적·포괄적인 개념이 아니라 정책의 산출과 구분되는 정책효과라는 표현을 사용할 필요가 있으며, 정책효과의 파급범위, 기간 등에 따라 정책효과를 1단계, 2단계, 3단계 등과 같이 3가지 단계로 세분화하는 것이 바람직 - 중앙행정기관의 정책계획서에서 예측·예상되는 정책효과(기대효과)를 구체적이고 검증 가능한 방식으로 기술·설명 - 정책계획의 수립 단계에서 중앙행정기관이 중장기 정책효과에 대한 예측을 간략하게나마 기술할 수 있도록 논리모형이나 결과사슬 등과 같은 중장기 기대효과 기술의 프레임워크를 제시·활용 - 앞서 제시한 ‘정책 기대효과 모니터링·검증시스템’과 ‘중장기 기대효과 기술의 프레임워크’ 등을 정책계획 수립 단계뿐만 아니라 정책의 시행·결과 단계에서도 적극적으로 활용·운영함으로써, 정책계획서와 평가보고서 간 유기적 연계체제 확립 - 정책효과 조사 대상의 적확성을 확보하기 위해 ‘Attentive Public(관심대중)’ 개념 제시·활용 - 정책효과에 대한 구체적인 평가기준 정립을 위해 중앙행정기관의 자체평가계획서에 정책효과에 대한 구체적인 평가기준을 제시하고, 평가보고서에 정책효과를 평가하기 위한 세부항목 명확화 - 정부의 성과관리체계는 정량적 성과지표를 중심으로 운영되고 있으며, 이의 활용이 더욱 증가되고 있는 추세 속에서 경제적 분석기준이나 방법의 표준화 정립 - 정책계획의 수립 단계와 정책의 시행 및 결과 단계 모두에서 정책수혜자 및 이해관계자를 중심으로 하는 이해관계자 분석(stakeholder analysis)의 적극적인 활용 - 정책효과 측정이 어려운 정책분야의 경우 전문가 인터뷰에 기반한 정책효과 등급제를 신설·운영함으로써 정책의 수혜자나 이해관계자가 얻는 직·간접적인 효과를 적절하게 측정·평가 - 정책효과 중심의 성과관리 프로세스 구축·운영이 궁극적으로 차후에 보다 나은 정부 정책을 설계하고 의도한 정책목표를 보다 효율적·효과적으로 달성하기 위한 것임을 고려할 때, 정책효과에 대한 영향요인 분석의 의무화 - 논리모형이나 결과사슬 등과 같은 중장기 기대효과 기술의 프레임워크를 정책의 시행 및 결과 단계에서 적극적 활용·적용 ○ 중장기적 개선방안 - 일정 기간의 논의·준비기간이 필요하거나 법의 개정 등이 요구되는 사항들(예를 들어, 외부 중장기 정책효과 평가전문 연구기관의 선정·운영, 중장기 로드맵의 구상, 정책영향보고서의 신설·활용, 정책효과 성과정보시스템(가칭)의 구축·운영 등)을 고려하여 제시 - 중장기 정책효과 측정·평가·분석에 대한 전문성을 갖춘 국책연구기관 등을 활용하여 중장기 정책효과 평가전문기관을 선정·운영하는 것이 바람직 - 현재 단년도 중심의 정책효과 측정시스템을 중장기 정책효과의 측정·평가 중심으로 개선하기 위해서 중장기 효과 측정·평가 차원의 거버넌스 확립 - 정부 정책효과 측정시스템을 개선하기 위해 중장기 로드맵 마련을 통한 단기적·중장기적 진단과 개선안에 대한 모색 - 중장기 정책효과에 대한 측정·평가 중심의 정책영향보고서 신설·개발·작성·활용 - 현행 전자통합평가시스템(e-IPSES)과는 별도로 정책효과 성과정보 시스템(가칭) 구축·활용 - 정책 분야나 목표에 따라 정책효과의 측정기준이나 방법이 다양하게 적용될 수 있기 때문에, 정책효과 분석방법에 대한 적용기준 확립 - 중장기 정책효과를 측정·평가하는 정책영향보고서에 한해, 정책효과에 대한 인과관계 분석의 실시·활용 - 중앙행정기관의 정책효과 측정·평가 업무의 전문성을 제고하기 위해 정부의 해당업무를 표준화한 정책효과 측정매뉴얼(가칭) 개발·활용 - 정책효과 측정시스템의 책임성·객관성을 제고하기 위해 정부업무평가위원회(국무조정실)에서 정책효과 측정매뉴얼 관련 모니터링 제도를 구축·운영함으로써 재점검 기능의 강화 - 「정부업무평가기본법」 일부개정을 통해 범부처 차원에서 정책효과 예측·측정의 공통적인 적용 7. 결론: 정책 제언 □ 정책 제언 ○ 본 연구의 수행결과는 우리나라 정부업무평가시스템의 효율적 개선을 위한 방안 제시 및 정책적 시사점을 제공 - 성과중심의 현 정부업무평가체계(구조)에서 정책효과 예측·측정에 대한 사회적 논의를 확대하고, 정책효과 중심의 정부업무평가체계를 제안 - 정책효과를 객관적으로 도출·측정할 수 있는 평가기준 및 측정방법 등을 종합적으로 제시 - 본 연구는 효율적인 ‘정부업무평가시스템’을 구축·운영하는데 있어 그 제도적 근거를 마련하고, 정부업무평가제도 관련 정책에 기여 This research is intended to examine the Korean government's performance evaluation system and suggest policy recommendations to enhance its efficiency, effectiveness, and reliability. Since the Framework Act on Government Performance Evaluation was enacted in 2006, the Korean government has considered policy performance as being an important criterion in evaluating its public policy and service. However there have been some criticisms that the measurement and evaluation of policy outcomes is still insufficient, mainly due to the conceptual ambiguity of performance measurement (and policy outcomes) and the inadequacies of a performancecentered system. Therefore, there is a growing necessity for a systematic policy outcome measurement and evaluation process. In order to accomplish this, this research has three specific purposes. First, it illustrates and suggests multilateral improvements for measurements of government performance by analyzing the government's policy outcome measurements. Second, it analyzes and diagnoses the current central government's evaluation system and describes improvements for those measurements. thereby contributing to the establishment and management of an efficient government performance evaluation system. Third, it assists in the development of public policy regarding a government performance evaluation system, and proposes policy directions and measurements to establish and manage a more efficient performance measurement system focused on policy outcomes. The scope of the research includes the central government's entire evaluation system under the Korean government’s performance evaluation system. It consists of a three-part analysis that is, the analysis of the status of the Korean system, cases studies of foreign countries, and an analysis consisting of surveys and in-depth interviews. First, it diagnoses and analyzes the current status of the Korean government’s performance measurement system according to the analysis criteria of policy outcome measurements, which are drawn from the literature on Korea and other countries' government performance and policy outcomes. The analysis covers 22 governmental ministries' policy evaluation documents and reports across various policy areas and stages―for example, policy planning, making, implementation, and results. The second analysis examines the measurement and analysis of policy performances and outcomes in three foreign countries, including the United States, the United Kingdoms, and Australia. In particular, the case studies investigate a variety of research methods ―for example, experimental design analysis, quasi-experimental design analysis, cost-benefit analysis, cost-effectiveness analysis, and value-for-money analysis. The research methods are widely and frequently adopted in measuring and analyzing policy performance and outcomes by many countries and international institutions. Third, for this research surveys and in-depth interviews were conducted targeting 100 public officials and 114 external experts, in order to assess their awareness of the overall status and level of government policy outcome measurement and analysis. Additionally, whether there was a difference in the level of awareness between these two groups was also measured. Based on the analysis results, it finds out what issues and drawbacks there are in the current governmental system of policy outcome measurement and evaluation, and draws and suggests improvement of measurements in a multilateral and synthetic way. This research proposes a variety of measurements for improving the government policy outcome measurement system with regards to three aspects, that is, the agents of system of evaluation (who), evaluation targets and content (what), and evaluation methods (how). In particular this research recommends 1) strengthening the capabilities of evaluation agents and the systematic connection of evaluation system (e.g. introducing a monitoring and evaluation system, developing policy outcome measurement education programs, enhancing expertise in policy outcome evaluation, installing a policy outcome sub-committee, establishing a governance for mid- to long-term policy outcome measurement and evaluation, etc.), 2) re-establishing evaluation targets and enhancing the specificity and systemicity of evaluated items (e.g. setting up a mid- to long-term road map, segmenting the measurement and evaluation of policy outcomes, suggesting a framework for mid- to long-term expected policy outcomes, enhancing connectivity between policy plans and evaluation reports, making and utilizing policy impact reports, etc.) and 3) standardizing and systematizing evaluation methods (e.g. establishing evaluation criteria on policy outcomes, introducing a performance information system on policy outcomes, standardizing economic analysis methods, utilizing stakeholder-centered qualitative analysis methods, utilizing a policy outcome grading system based on expert interviews, making the analysis of policy outcome factors mandatory, developing and utilizing a policy outcome measurement manual, establishing a manual monitoring system, etc.). They are presented in two dimensions, short-term and mid- to long-term improvement measurements.

국정과제 정책만족도에 미치는 영향요인 연구: 경제・복지분야 국정과제 만족도를 중심으로

윤수재(Sujae Yoon),임다희(Dahee Lim) 한국정책분석평가학회 2020 政策分析評價學會報 Vol.30 No.2

국정과제 시민평가에 대한 심층분석: ChatGPT를 활용한 국정과제 정책만족도 시민의견 분석을 중심으로

윤수재 ( Sujae Yoon ),황태연 ( Taeyeon Hwang ) 성균관대학교 국정전문대학원 2023 국정관리연구 Vol.18 No.4

본 연구에서는 국정과제에 대한 일반국민의 개선의견을 유형화하고 분류함으로써 일반국민이 지닌 정책에 대한 의견의 활용 가능성을 탐색하고자 하였다. 개방형 문항으로 응답된 일반 국민의 개선의견은 시민평가의 관점에서 큰 가치를 지님에도 불구하고, 분석에 수반되는 시간과 비용으로 인하여 충분히 활용되지 못하고 있기 때문이다. 분석에 사용된 자료는 한국행정연구원에서 수행한 2021년 국정과제 정책만족도 조사결과 중 100대 국정과제에 대한 일반국민의 개선의견이다. 개선의견의 유형화를 위해 토픽모델링을 수행하여 총 11가지의 주요 개선의견 유형을 도출하였고, 이를 바탕으로 개별 개선의견을 분류하였다. 이후 경제정책과 복지정책간의 개선의견 유형 비중 차이를 비교하였고, 리커트 척도로 측정된 정책에 대한 만족도 상위 집단과 하위집단 간의 개선의견 유형 비중 차이를 확인하였다. 분석결과 복지정책에서는 정책 목표와 정책수단 간 정합성 및 연계성에 관련된 개선의견의 비중이 크게 나타났고, 경제정책에서는 정책을 집행하는 과정에서 정부의 적극성 및 추진력과 관련한 개선의견의 비중이 상대적으로 크게 나타났다. 또한 만족도가 높은 집단에서는 주로 정책의 목표와 수단 측면보다는 정책홍보나 정책목표와 수단 간 정합성 및 연계성 향상에 관련된 개선의견이 많이 나타났으며, 만족도가 낮은 집단에서는 정책목표의 조정이나 의견수렴 등 정책의 근본적인 측면에 대한 개선의견의 비중이 크게 나타났다. 주요 개선의견 유형 분포를 바탕으로 군집분석을 실시한 결과, 4개의 국정과제 군집이 도출되었고 군집별로 서로 다른 개선의 방향성이 요구되고 있음을 확인하였다. 본 연구는 비전문가로 여겨졌던 일반국민, 즉 시민들이 제시한 정책 개선의견이 지닌 가치의 활용 가능성을 탐색적으로 확인하였다는 점에서 의의를 갖는다. This study aims to explore the feasibility of utilizing the general public's opinions on policies by categorizing and classifying their suggestions for improvement regarding national policy agendas. Despite the significant value of the general public's improvement suggestions responded to open-ended questions from the perspective of citizen evaluation, they have not been sufficiently utilized due to the time and costs associated with analysis. The data used for analysis are the improvement suggestions from the general public on the 100 major national policy agendas, which are part of the results of the 2021 National Policy Agenda Satisfaction Survey conducted by the Korea Institute of Public Administration. For the categorization of improvement suggestions, topic modeling was performed, deriving a total of 11 major types of improvement suggestions, and individual suggestions were classified based on this. Subsequently, the proportions of types of improvement suggestions were compared between economic and welfare policies, and differences in the proportions of types of improvement suggestions were verified between the groups with higher and lower policy satisfaction measured on a Likert scale. The analysis revealed that, in welfare policies, a large proportion of improvement suggestions were related to the consistency and linkage between policy goals and means, whereas in economic policies, a relatively large proportion of improvement suggestions were related to the government's proactivity and driving force in the process of policy implementation. Furthermore, the group with higher satisfaction primarily showed improvement suggestions related to policy promotion and enhancement of consistency and linkage between policy goals and means, while the group with lower satisfaction showed a large proportion of improvement suggestions on fundamental aspects of policy, such as adjustment of policy goals and gathering opinions. Based on the distribution of major types of improvement suggestions, cluster analysis was conducted, resulting in the derivation of four clusters of national policy agendas, confirming that each cluster requires different directions for improvement. This study is significant in that it exploratively verifies the feasibility of utilizing the value of policy improvement suggestions provided by the general public, or citizens, who have been regarded as non-experts.

동결 및 해빙 배아의 이식에 관한 연구

윤수재 ( Sujae Yoon ),강희규,손인표,최규완,차영범,박종민,이승재 대한산부인과학회 1997 대한산부인과학회 학술대회 Vol.80 No.-

공적개발원조(ODA) 사업 자체평가에 대한 메타평가 연구

윤수재 ( Yoon Sujae ),조태준 ( Cho Taejun ) 한국거버넌스학회 2017 한국거버넌스학회보 Vol.24 No.2

본 연구는 ODA 사업의 자체평가에 대한 메타평가지표를 개발하고, 실제 메타평가를 통해 ODA 사업의 개선을 위한 효율적인 방안을 제시하는데 목적을 두고 있다. 메타평가에 대한 문헌연구를 바탕으로, 본 연구는 우리나라 ODA 사업의 메타평가지표를 개발한 후에 ODA 자체평가보고서들을 대상으로 평가투입·평가과정·평가결과·평가활용에 대한 메타평가를 실시하였다. 즉 2013년에 실시된 개별 ODA 사업에 대한 자체평가보고서 27개를 분석대상으로 선정하여 메타평가를 진행하였다. 평가결과, 본 연구는 ODA 사업에 대한 효율성 측정방안 개발, 성과모니터링 시스템의 구축, 평가전문가의 활용, 그리고 메타평가지표의 개발 등을 개선방안으로 제시하였다. This study has two objectives, including developing the items to measuring ODA`s self-evaluation in using meta-evaluation and suggesting some alternatives improving ODA activities. Based on the literature in the fields of ODA, meta-evaluation, and self-evaluation, this study develops some measurement items for the purpose of conducting meta-evaluation. In addition, this study conducts meta-evaluation to examines 27 ODA reports in using the self-evaluation. Conducting the evaluation, this study suggests some alternatives, including the development of performance monitoring system, evaluation experts, meta-evaluation items, and measure instruments for efficiency in the field of ODA.

분야별 성과지표 개선방안 연구 Ⅱ: 외교안보분야를 중심으로

황혜신 ( Hwang Hie Shin ),윤수재 ( Yoon Sujae ) 한국행정연구원 2018 기본연구과제 Vol.2018 No.-

1. 서론 □ 연구 배경과 필요성 ○ 분야별 성과관리의 독자성과 특수성 인정 필요성이 제기 - 정부업무평가 제도의 도입 이후 10년간은 성과관리를 정부와 공공 부문에 전파하고 정부 성과를 제고하고자 한 기간으로 성과관리의 표준화가 어느 정도 강조되던 시기 - 성과관리의 획일성으로 분야별 성과관리를 달리 하여야 한다는 의견들이 정부 부처들 내에서 계속 제기됨 ○ 정부업무의 분야에 따른 성과관리나 성과지표에 대한 연구는 거의 없었으며 본 과제는 2017년부터 중장기 과제로 추진됨 - 2017년(경제분야), 2018년(외교안보분야), 2019년(복지분야), 2020년 (재난안전분야)로 추진 □ 연구의 목적 ○ 첫째, 외교안보분야의 성과지표의 활용상의 특징과 실태, 특수성은 무엇인가를 질문하고 이를 밝히고자 함 ○ 둘째, 외교안보분야에서 성과지표와 성과관리를 어떻게 개선 발전시켜야 하는가에 대한 제안을 하고자 함 □ 연구 내용과 방법 ○ 연구 목차별 내용과 연구의 흐름 ○ 연구의 방법론: 중장기 과제로 전년도 과제와의 연속성(공통성)과 차이점을 가짐 - 전년도 과제와의 연속성(공통점) · 중앙부처의 성과계획서를 중심으로 분석 · 해외 사례와 비교: 미국과 호주의 사례 비교 · 전년도의 설문조사와 전문가와 공무원 대상 인터뷰 등 방법론을 공통: 설문조사의 큰 틀과 문항들을 상당 부분 유지 - 전년도 과제와의 차이점 · 박사급 연구진의 추가와 변화, 과제 예산의 증액 등을 바탕으로 세부분석기준을 추가(목표 연계성, 측정가능성)하여 보다 심층적인 분석 진행하고 전년도의 설문조사는 4개 분야의 15개 중앙부처 공무원을 대상으로 하였으나 올해의 연구는 중앙행정기관 전체에 대해 조사를 진행 · 설문조사의 경우에도 현 정부의 트렌드를 반영하여 시민의 참여 관련 설문을 추가하였고 설문조사 대상에도 시민단체 활동가를 추가 · 경제분야와 외교안보분야가 대비되는 분야임을 감안하여 인터뷰에서 활용한 표준화된 질문의 내용과 구성을 변경하여 외교안보 분야의 특수성을 도출하고자 함 2. 이론적 배경 □ 이론적 논의 ○ 성과(performance)에 대한 개념 논의 - 성과란 정부가 예산과 자원을 활용하여 달성한 공공서비스의 산출과 결과의 정도를 의미 - 성과와 관련해서는 학자들의 다양한 견해가 제시[Ammons(1995). Poister(2003), Kearney & Berman(1999), Hoffmann(1999), Rogers(1990), 김태룡·안희정(2006), Ion & Criveanu(2016), 허경선(2011) 등] - 결국 공통개념 차원에서 성과는 계획한 목표에 대한 달성의 정도, 효율성 및 효과성을 포함하는 개념을 의미 ○ 성과관리(performance management)에 대한 다양한 개념 논의·분류 - 목표를 설정하는 것부터 시작하여 이를 달성하기 위한 계획의 수립·공유, 성과달성도에 대한 측정(measurement), 그리고 이를 토대로 한 평가(evaluation) 등을 포괄하는 개념 - Armstrong(2006)은 성과관리를 정의함에 있어 개인과 팀의 성과를 진전시킴으로써 조직성과를 개선하기 위한 체계적인 과정이라 정의 - 성과관리에 대해 많은 학자들의 개념 정의 제시[이석환(2008), 윤수재 외(2008), 고영선 외(2004), Armstrong(2006), Pollitt(2001), Armstrong & Baron(1998)] - 공통개념 차원에서 성과관리는 조직의 성과목표 달성을 위한 것으로 개인과 조직업무를 체계적으로 관리하고 목표설정 등 의사결정을 위한 정보를 제공하는 목표설정, 지표개발, 성과측정, 환류 등의 여러 체계들을 포함하는 의미 ○ 성과지표(performance indicator)에 대한 개념 논의 - 성과목표 또는 관리과제가 추구하는 목적 달성 여부를 측정하는 도구를 의미(기획재정부, 2012) - 정책을 수행하였을 때 이루고자 하는 목표인 성과목표의 달성도를 양적·질적으로 제시하는 지수(국무조정실, 2015) - 지표의 속성을 기준으로 구분(박경귀, 2005; 송기창 외, 2012: 11) · 투입(input)지표: 예산·인력 등 투입물의 양을 나타내는 지표 · 과정(process)지표: 사업 진행과정에서 나타나는 산출물의 양을 나타내는 지표 · 산출(output)지표: 사업완료 후 나타나는 1차적 산출물을 나타내는 지표 · 결과(outcome)지표: 1차 산출물을 통해 나타나는 궁극적인 사업의 효과, 정책이 미치는 영향력을 나타내는 지표 □ 선행연구 ○ 외교안보분야의 경우 성과지표 자체에 대한 해외연구는 거의 발견되지 않아 성과관리나 성과평가와 관련된 해외문헌을 수집 분석 - 외교분야의 성과관리기준과 성과관리체계 관련 연구, 공공외교 정책 및 평가방법 분석, EU 활동에 대한 성과평가 연구 등이 있음: Rana(2004), Sisa(2014), Pamment(2012), Sevin(2017), Jørgensen et al.(2011), Blavoukos & Bourantonis(2013) 등 - 안보분야의 성과관리 및 성과평가와 관련 해외문헌들은 대부분 국방부나 국방 분야의 성과 관련 해외 비교분석연구임: Gebieke & Magid(2010), Hartley & Solomon(2015) 등 ○ 본 연구와 관련하여 수집한 국내문헌은 외교안보분야 전반을 분석한 연구, 외교와 안보 중 한 분야의 성과관리나 성과평가와 관련된 연구, 성과지표에 관한 연구 등으로 구분 - 외교안보분야 전반을 분석한 연구로는 전봉근(2005)과 이덕로(2016)의 연구가 있음 - 외교분야나 안보분야 중 한 분야의 성과관리나 성과평가와 관련된 연구 · 외교분야: 정지선·오태현(2013), 윤수재(2013, 2014), 김유경 외(2014), 이도석(2015, 2016) 등 · 안보분야: 장기덕(2006), 임선경(2010), 고영석(2015) 등 - 성과지표에 관한 연구 · 외교분야 성과지표에 관한 연구는 외교 일반보다는 특정분야, 즉ODA 분야의 성과지표 연구가 대부분: 변상규(2014), 안용진·원종준(2014), 김수진(2017) 등 · 안보분야 성과지표에 관한 국내 선행연구는 국방부 및 국방예산 사업 관련 연구, 국방 연구개발이나 군 책임운영기관 등의 연구가 있음: 이혁수 외(2004), 우제웅·이덕로(2005), 이형준 외(2010), 전종순 외(2014) 등 □ 연구방법론 ○ 분석과정과 단계 ○ 분석방법과 분석기준 - 2개 부처에 대한 성과계획서 및 성과관리시행계획서의 분석은 양적 분석과 질적분석을 병행하여 심층분석 실시 · 양적분석: 성과계획서의 내용 중 목표와 지표 수, 지표유형에 따른 유형별 수와 비율 등 · 질적분석: 성과지표 대표성, 목표체계 연계성, 목표수준의 설정과달성, 성과지표의 측정가능성 등 - 공무원과 성과관리 외부전문가, 시민단체 활동가를 대상으로 설문조사 실시 및 인터뷰·전문가 회의 진행 · 공무원 대상: 소속부처의 성과지표 개발 및 관리에 대한 인식조사실시 · 공무원과 전문가 및 시민단체 공통설문: 정량지표와 정성지표에 대한 인식, 성과지표 개발 시 애로사항, 분야별 평가지표 필요성, 지표별 활용 분야 등의 내용 포함 · 그 외에 성과지표 유형 활용, 성과지표 개발, 시민참여 수준과 성과관리 담당부서와 평가역량 등에 대한 인식을 조사 3. 해외 성과지표 사례분석 □ 미국 국무부의 성과지표 분석 ○ 국무부는 「정부성과와 결과법 현대화법」(이하 GRPAMA)에 의거, 기관임무-전략목표-전략목적-성과목표로 이어지는 목표체계를 구축하여 수직적 연계성 확보 - 미국 국무부는 국제개발처(USAID)와 합동전략계획을 수립 5개 전략목표, 13개 전략목적, 90개 성과지표를 설정 - 전략목표가 국제정치·경제·사회적 변화·도전에 대한 대응을 중심으로 설정, 전략목적은 대응이 요구되는 당면한 위협과 달성 가능한 바람직한 상태에 대한 구체적인 기술과 성과목표 기술로 구성 ○ 상위 전략목적과 성과목적 달성 수준을 평가하기 위한 구체적인 측정 산식과 방법론 제시 - 국무부의 성과계획서상 성과지표체계는 전략목적 달성을 위한 세부추진 전략에 대한 논의를 바탕으로 핵심지표의 목표치와 달성수준, 지표 분석, 측정 방법론 등의 항목으로 구성 ○ 성과지표에 대한 별도의 유형 분류 기준을 제시하고 있지 않음 - 자체적인 유형 분류 결과 산출 지표가 전체 90개 지표 중 52개(57.87%)에 해당 ○ 성과지표 중 결과지표에 해당할 경우 대표성이 높은 경우가 많으며, 산출 지표 중 목표 달성 과정에서 외생요인이 많을 경우 대표성이 낮아짐 - 산출지표 중 결과에 대한 기여도가 불명확하거나 낮은 경우 대표성이 낮은 경우로 평가되는 반면, 투입 혹은 과정지표이더라도 목표 달성을 위한 핵심 과정에 해당할 경우 대표성이 보통 이상인 것으로 평가 ○ 국무부는 연방정부 우선순위 성과목표를 중심으로 기관임무를 중심으로 한 수직적 목표체계와 기관간 수평적 목표체계 연계성 확보 - GPRAMA 규정에 의거, 국무부가 수행하는 사업 중 기후변화, 사이버보안 등 연방정부 차원에서 여러 부처가 연계된 우선순위 목표 달성에 대한 기술 ○ 대부분의 지표가 계량 지표로 측정되어 달성 유무 판단이 용이 - 2016년 기준 전체 90개 지표 중 54개 지표 달성, 36개 지표 미달성 된 것으로 판단 ○ 국무부의 성과지표는 대부분 정량 지표로 구성, 측정 방법을 명시하여 측정 가능성이 매우 높음 □ 미국 국방부의 성과지표 분석 ○ 미국 국방부는 기관임무와 연계하여 5개 전략목표체계를 수립한 2015년 기관전략계획(version 1.0)을 전면 개편하여 2016년 3개 전략목표체계로 구성된 기관전략계획(version 2.0) 수립 - 국방부의 기관전략계획 중 안보상 보안이 요구되는 전략목표, 전략목적, 성과목표는 대외비로 비공개 - 공개된 성과계획 중 전략목표 3개, 전략목적 12개, 성과지표 61개로 구성 ○ 성과계획서를 공재하지 않고 있으나 성과보고서에 제시된 성과체계는 GPRAMA에 제시된 규정에 의거, 전략목표와 전략목적에 대한 개요, 전략목적 갱신, 성과목표 개요, 성과진행상황 갱신, 지표측정 방법, 지표완결성 및 신뢰성 확보 방안 기술 - 지표의 목표값은 전년도 달성 수준에 따라 설정하고 있으며 수립 근거는 전년도 지표 값을 기준으로 하거나 특정 사업 혹은 프로그램의 완결 여부를 기준으로 하는 경우도 있음 ○ 별도의 성과지표 유형 분류를 제시하고 있지 않으나, 자체적인 유형 분류 결과 61개 지표 중 9개가 투입 및 과정 지표, 나머지는 산출 및 결과 지표에 해당 ○ 국방부의 성과지표는 결과지표와 대표성 간의 상관관계가 높게 나타남 - 결과지표일수록 대표성이 높은 것으로 평가, 투입 혹은 과정지표일 경우 대부분 대표성이 낮은 것으로 평가됨 - 61개 성과지표 중 13개 지표가 결과지표 30개 지표는 산출 지표인 것으로 나타났으며, 9개 지표는 비밀로 분류되지만 사업계획의 변경, 종료 등으로 인해 더 이상 측정되지 않음 ○ GPRAMA를 근거로 국방부 성과체계의 수직적 연계성과 수평적 연계성을 확보 - 기관전략계획서와 성과계획서 프로그램 간의 수직적 연계성이 높으며, 연방정부 우선순위 목표를 명시하여 수평적 연계성 확보 ○ 대부분의 지표가 계량 지표로 측정되어 성과지표 달성 유무를 판단하기가 용이함 - 이미 달성된 지표는 측정하지 않으며, 대외비 지표는 공개하지 않음 · 목표값에 미달하더라도 달성으로 평가하는 사례가 있음 ○ 국방부는 성과 측정을 위해 정량 지표 중심으로 성과를 측정하고 있으며, 측정 방법론, 타당성 확보 방법을 명시하여 측정 가능성이 매우 높음 □ 호주 외교통상부의 성과지표 분석 ○ 호주 외교통상부의 성과목표체계는 기본적으로 목적(purpose)과 결과 (outcome)로 구성되며, 성과지표 자체를 제시하고 있지 않음. 성과지표 대신 성과기준만을 제시하며, 성과목표(target)의 구체적인 수준도 제시하지 않고 있으며, 성과 달성 여부에 대한 결과 판단도 역시 제시하지 않고 있음 - 성과지표의 제시가 없어 지표 유형 구분을 불가하나, 사례 분석(Case studies), 검토 혹은 평가(Review or Evaluation, 양 개념을 혼용), 다른 평가 결과의 인용(Performance of Australian Aid report)의 3가지 성과 측정 유형을 활용하고 있으며 가장 빈도가 높은 것은 사례 분석이란 특징을 가짐 - 이러한 복잡한 구성과 모호한 기준과 목표 수준 제시는 외교통상의 많은 사업에 대한 대외비를 염두에 둔 것으로 추정 ○ 3개 결과(outcome)을 중심으로 12개 프로그램과 프로그램에 대한 성과지표에 해당하는 36개 성과기준으로 구성 - 각 성과기준에 대한 유형을 명시하고 있지 않으며 성과기준이 포괄 적이고 모호하여 명확한 유형 분류가 제한 ○ 성과기준을 중심으로 호주 외교통상부의 프로그램 대표성을 분석할 경우 대표성을 확보한 경우가 대표성을 확보하지 않거나 애매한 경우들 보다 많았음 - 대표성을 확보한 프로그램과 성과기준을 제시한 반면, 이를 통해 달성하고자 하는 구체적인 목표 수준이나 달성 여부에 대한 내용을 모호하게 기술함으로써 대외비 사안을 공개하지 않고 국익을 보호하는 것으로 추정 ○ 목표체계상 어느 한 결과(outcome)에 너무 많은 정부 활동이 담겨있다는 비판은 가능하나, 목적(purpose), 결과(outcome), 프로그램의 연계성 측면에서는 매우 우수함 - 목표에 타겟이 모호하여 성과기준에 대한 평가 사례를 통해 달성 여부를 측정 ○ 대부분의 성과지표가 정량 지표로 구성되어 있고 측정 산식이 없어 정확한 판단이 제한적임 □ 호주 국방부의 성과지표 분석 ○ 호주 국방부의 성과목표체계는 기본적으로 목적(purpose)과 결과 (outcome), 프로그램(program)의 순으로 구성되며, 성과지표 자체를 제시하고 있지 않으며, 성과기준(performance criteria) 제시 - 국방부 특성상 대부분의 성과가 대외비 성격의 내용이 많아 지표와 같은 구체적인 측정수준은 제시하지 않고, 이보다 상위차원의 보다 포괄적인 성과기준 수준으로 운영하는 있는 실정 - 2개 전략목표와 성과목표, 20개 프로그램, 전략목표 및 프로그램에 대한 48개 성과기준으로 구성 ○ 구체적으로 성과기준은 목적에 대한 성과기준과 프로그램에 대한 성과 기준으로 구분하여 운영 - 목적에 대한 성과기준은 성과계획서(Corporate Plan)에서 확인이 가능하고 프로그램에 대한 성과기준은 포트폴리오예산서(Portfolio Budget Statement)에서 자세한 정보를 제공 - 명확한 목표치는 없으며, 분야별 특수성으로 인해 비계량 및 정성적 기준을 중심으로 성과 측정 ○ 국방부 전체 목적(purpose)에 대한 성과기준 대표성을 살펴보면 상 (○) 63.7%, 중(△) 27.3%, 하(X) 9%로 나타나며, 각 목표체계 간의 연계성도 전반적으로 높은 수준 - 지엽적인 요인보다 성과기준에 부합하는 업무 활동에 초점을 두고판단 ○ 목표 수준 설정과 달성 차원에서 포트폴리오예산서의 성과정보에서는 결과와 하위 프로그램에 대한 자세한 성과정보들이 제시 - 이를 통해 해당 프로그램의 성과기준과 목표치 파악이 가능 ○ 전반적으로 성과목표체계의 연계성은 우수한 편이나, 일부 전략목표에 대한 프로그램은 부수적인 내용으로 구성되어 상대적으로 연계성 낮음 ○ 성과지표의 측정가능성과 관련해 국방부 연간성과보고서는 ‘달성(Achieved)’, ‘부분적 달성(Partially achieved)’의 개념을 사용해 성과평가 결과 제시 - 계획대로 의도한 결과가 달성되었다고 평가되는 경우 결과란에 ‘달성(Achieved)’이라고 표기 - 보고기간 동안 의도한 결과가 완전히 달성되지 못한 경우는 ‘부분적 달성(Partially achieved)’이라고 표기 - 긍정적인 결과가 나타났다 하더라고 목표에서 제시된 핵심성과가 완전히 달성되지 않으면 ‘부분 달성’으로 평가 - 연간성과보고서는 성과목표의 달성 및 부분 달성에 대한 상세한 설명 및 근거도 함께 제시 ○ 성과지표에 해당하는 성과기준이 주로 정성적으로 설정되어 있으나, 부분적으로 계량 정보를 활용하고 있음 □ 시사점 ○ 첫째, 미국의 사례에서와 같이 여러 부처가 개입하는 다부처 목표 및 과제의 경우 특정 부서를 책임 부서로 지정하기보다 사업 혹은 과제 단위별로 관련 부서를 명시하여 각 부처의 계획과 노력의 연계를 확보 ○ 둘째, 목표달성을 위한 핵심적인 과정에 해당할 경우 결과 혹은 산출지표가 아니더라도 성과지표로 활용할 필요가 있음 ○ 셋째, 성과를 직접적으로 확인하기 어렵고 장기적으로 나타나는 경우 정량적 평가기준 외에 정성적 평가를 활용한 성과 측정 필요 ○ 넷째, 환류를 위해 성과측정시 사례조사 및 연구를 적극적으로 활용할 필요가 있음 ○ 다섯째, 정량적인 성과지표의 경우 타당성과 신뢰성 확보를 위한 자료원과 데이터 품질 확보 방안 마련이 요구됨 ○ 여섯째, 성과목표의 달성 유무도 중요하지만, 근거와 의미에 대한 체계적인 분석을 병행하여 성과환류를 통해 성과관리 전반의 품질을 제고 4. 국내 외교안보분야 성과지표의 현황 및 실태분석 □ 외교부의 성과지표 현황 및 활용 유형 분석 ○ 외교부의 2017년 프로그램목표의 성과지표 수는 27개이고 단위사업의 성과지표 수는 110개 ○ 외교부의 정량지표 비율도 예상보다는 대체로 높은 편. 정량지표 비율은 프로그램목표 66.7%, 단위사업 79.1%로 전체적으로 단위사업 차원에서 보다 성과지표 비율이 큰 것으로 확인됨 ○ 프로그램목표의 성과지표 중 가장 많은 유형은 산출지표로 다른 세 가지 유형보다 월등하게 많았으며, 그 다음으로 결과지표. 투입지표를 활용하고 있으며, 과정지표의 수는 없음. 한편 단위사업의 성과지표의 경우에도 역시 가장 많은 빈도로 활용되는 것은 산출지표이며, 그 다음은 결과지표이고, 과정지표가 2건이고 투입지표의 활용은 없음 ○ 프로그램목표의 경우 만족도 혹은 인지도 조사를 지표로 활용한 경우가 전체 프로그램목표 성과지표 27개 중 1/4이 넘으며, 단위사업의 경우에도 단위사업 성과지표 110개 중 17.2%에 달함 □ 국방부의 성과지표 현황 및 활용 유형 분석 ○ 국방부의 2017년 프로그램목표의 성과지표 수는 17개이고 단위사업의 성과지표 수는 156개 ○ 국방부의 정량지표 비율도 예상보다는 대체로 높은 편. 정량지표 비율은 프로그램목표 52.9%, 단위사업 93.6%로 전체적으로 단위사업 차원에서의 성과지표 비율이 상대적으로 큰 것으로 확인 ○ 프로그램목표의 성과지표 중 가장 많은 유형은 결과지표로 다른 세 가지 유형보다 월등하게 많았으며, 그 다음으로 산출지표·과정지표를 활용하고 있으며, 투입지표의 수는 없음 ○ 한편 단위사업의 성과지표의 경우에서는 가장 많은 빈도로 활용되는 것은 산출지표이며, 그 다음은 결과지표이고, 과정지표가 7건, 투입지표는 3건 활용 □ 외교부의 성과지표 실태분석 ○ 한국 외교부의 성과지표들은 대표성이 제한적으로 인정되거나 미흡한 지표들이 상당수 있어 전반적으로는 대표성을 확보한 수준이 높은 편이 아님. 단위사업의 성과지표들보다는 오히려 프로그램목표의 성과지 표들의 대표성 수준이 더 낮다는 특징을 보임 ○ 외교부의 성과지표들은 다른 부처들보다 유달리 각종 회의 개최 횟수 혹은 참가 횟수, 협의나 교류 횟수 실적 및 협의 지원 실적 등을 성과지표의 전체 혹은 일부로 활용하고 있는 것으로 확인 - 즉 결과지표 위주의 실질적인 외교성과가 아닌 형식적인 절차적인 과정과 관련된 지표들을 주로 성과지표로 제시 ○ 외교부의 성과지표들은 또한 유사하거나 중복된 하위 개념을 합산하여 제시되는 경우들이 빈번함 - 이는 일면 성과지표로 개발한 수 있는 부처 사안들이 대외비 등으로 제약된 상황에서 중복되거나 유사한 항목을 활용함에 기인하는 것으로도 보이며, 일면은 관리가 비교적 더 용이한 건수 위주로 지표를 설계하는 관행 때문인 것으로도 판단 ○ 외교부 성과지표들의 목표 설정과 관련하여서는 명확하게 산출근거를 제시하지 않고 목표를 제시하는 경우들도 상당수 있었으며, 성과지표의 측정산식이 모호하거나 여러 하위 개념들로 구성된 복합지표의 경우가 빈번함 - 측정산식이 모호한 경우와 너무 많은 관련 항목들을 합산하여 성과 정보를 산출하여 성과지표의 측정가능성이 저해되거나 성과정보의 의미가 퇴색되는 경우들이 발견됨 □ 국방부의 성과지표 실태분석 ○ 전반적으로 국방부 성과지표의 대표성 확보 수준은 높지 않은 편임 - 전략목표-성과목표-관리과제 하의 지표로서의 대표성이 미흡 - 관리과제의 핵심내용을 반영하지 못하거나 기준이 모호한 지표를 사용하거나, 성과지표의 내용이 상위과제에 대한 주관적·지엽적·부분적인 내용으로 이루어진 경우가 발생 - 전반적으로 대표성 부족의 유형으로는 ‘관리과제와 차별화되지 않고 지엽적인 경우’, ‘지표의 개념이 모호한 경우’, ‘주관적이고 핵심성과를 명확하게 제시하지 않은 경우’, ‘관리과제의 핵심내용을 반영하지 않은 경우’로 분석 ○ 목표체계와의 연계성 차원에서 성과목표와 관리과제 간의 연계성 확보 수준은 높지 않음. 즉 성과목표의 핵심사항을 관리과제가 반영하지 못하는 경우가 발생 - 국방부 프로그램 설정목표 수준은 전반적으로(전체의 58.82%) 증가추세 - 한편 목표수준의 적절성이 낮아지는 원인으로는 산출근거가 명확하지 않은 목표수준의 경우, 성과지표가 애매하고 모호한 목표수준의 경우, 쉽게 달성 가능한 목표수준의 경우로 분석 ○ 또한 성과지표의 측정가능성 수준도 높지 않은 편이며, 성과지표에 대한 애매하고 모호한 측정산식도 빈번 - 측정산식에 있어서도 애매하고 모호한 복합지수 형식의 경우가 많아 지표의 핵심을 반영하지 못하고 정책 의도를 정확하게 측정하지 못하는 면이 발생 ○ 한편 국방부의 경우 경상운영비 위주의 성과지표로 구성되어 있음 - 특히 국방사업 성과관리 적용대상은 경상운영비와 투자비로 나누어 지는데, 투자비는 대부분 무기 관련 부분으로 이를 성과지표로 만들수는 없는 상황 - 이러한 특징으로 인해 성과지표 대상이 되는 부분은 경상운영비 중사업비에서 급식/피복, 부대활동, 교육훈련, 장비운영/물자획득, 시설, 기타 등 거의 운영 관련에 국한 □ 외교안보분야 성과지표의 특징과 시사점 ○ 외교안보분야의 특성상 국익의 보호나 대외비 필요성 등으로 지표로 활용되어 공개될 수 있는 요소들은 제도 운영 관련 부분 정도로 한정되어 있기에 이 부분만을 주로 성과지표로 제시하고 공개하고 있음 - 경제 및 사회분야 등과 달리 외교안보분야의 성과는 포괄적·추상적인 성격을 띠고 있어 성과 달성도 매우 다차원적인 성격을 가질 수밖에 없음 - 외교부나 국방부 전체의 성과를 공개되는 성과보고서들로만 판단하기에는 한계가 있음 - 외교안보분야의 성과관리 과정 및 보고서의 공개 수준에 대한 사회적 합의가 필요 ○ 외교안보분야의 경우 정량지표 등 특정 유형의 지표만을 활용하여 정책성과를 측정하는 데에는 부족한 면이 있을 수밖에 없음 - 타 부처와 외교안보분야 부처들의 성격이 다름에도 불구하고 부처 특성에 따른 차별성을 고려하지 못하고 획일적으로 정량지표와 결과지표 위주로 성과지표를 구성하고 활용하고 있는 측면은 바람직한 방향으로 개선될 필요 - 전반적으로 외교안보분야의 특성을 반영한 지표 설정이 이루어지기 위해서는 정량지표 활용보다 정성지표 활용의 비중을 높게 확대하여 외교안보분야의 질적인 측면이 더 잘 반영될 수 있도록 해야 함 ○ 외교안보분야의 성과지표들은 대외비 등이 드러날 수 있는 결과지표들 보다는 산출지표를 주로 가장 많이 활용하고 있음 - 결과지표 외에 노력 정도를 반영할 수 있는 투입지표나 과정지표 등을 고루 활용하여 현재 외교안보분야 성과지표들이 가진 한계점들을 극복하고 적절한 성과평가가 이루어질 수 있도록 해야 함 5. 외교안보분야 성과지표에 대한 인식분석 □ 조사 개요 ○ 공무원, 성과평가 전문가 및 외교안보분야 전문가, 시민단체 활동가 등의 성과지표에 대한 인식을 조사 - 구조화된 설문지를 사용하여 조사하였으며, 공무원용 설문지와 시민 단체 및 전문가용 설문지를 달리 구성 - 설문지의 질문 수가 많고 내용이 전문적이어서 다수 인원에 대한 설문이 아닌 제한적인 수의 공무원과 시민단체 활동가를 대상으로 설문을 수행 ○ 응답자 특성 - 공무원은 전 부처의 성과평가 담당자들 외에 국방부, 외교부, 통일부, 국가보훈처의 외교안보 관련 부처들의 경우에는 성과평가 외에 사업 담당자들도 조사 · 성과관리부서 공무원은 102명, 외교안보부서 사업 담당 공무원은 22명으로 조사됨 · 직급별로는 6~7급이 67명으로 가장 많았으며, 5급 이상이 52명순으로 나타남 - 한편, 전문가 및 시민단체의 경우, 크게 외교안보 전문가와 성과관리 전문가, 시민단체 활동가로 구분 · 분야별로는 시민단체가 33명, 외교안보 전문가가 27명, 성과관리 전문가가 26명으로 구성 · 시민단체 역시 외교안보분야 시민단체와 일반 시민단체로 구분하여 진행 □ 설문조사 결과 ○ 평가지표 개발 주체 - 공무원은 성과지표를 개발할 때 부서의 내부직원이 직접 개발하는 경우(69.4%)가 외부전문가(21.8%), 외부기관 위탁(2.4%)에 비해 크게 웃도는 결과를 보임 ○ 정량지표와 정성지표에 대한 인식 - 공무원과 전문가와 시민단체 모두 정량지표가 정성지표보다 객관적이라고 인식 ○ 투입·과정·산출·결과지표에 대한 인식 - 공무원은 ‘결과지표-산출지표-투입지표-과정지표’순으로 객관적이라 인식한 반면, 전문가와 시민단체는 ‘투입지표-산출지표-결과지표-과정지표’순으로 나타남 - 4가지 지표 유형의 구분과 관련하여 공무원(3.113점)보다는 전문가 및 시민단체(3.221점)가 보다 명확하게 구분된다고 응답하였지만 두 집단 모두 아주 명확하다고 보고 있지는 않음 ○ 대외비 필요성에 대한 인식 - 외교안보 사업 담당 공무원들이 성과관리 부서 공무원들보다 통계적으로 유의미하지는 않았지만 대외비가 필요다고 보는 정도가 높은 것으로 조사됨 ○ 분야별 성과관리 필요성과 차이에 대한 인식 - 분야별 성과관리 필요성에 대해 전문가 및 시민단체(4.070점)가 공무원(3.863점)보다 필요성을 높게 인식하고 있었음 - 공무원 집단 중 외교안보 사업 담당 공무원(4.227점)이 성과관리 공무원(3.784점)보다 통계적으로 유의미하게 분야별 필요성을 높게 인식하는 것으로 조사됨 - 정량지표를 활용하기 용의한 분야와 산출지표나 결과지표를 활용하기 용의한 분야로 공무원과 전문가 및 시민단체 모두 경제분야를 가장 많이 선택 - 대외비에 해당하는 지표가 많은 분야의 경우에는 외교안보분야를 가장 많이 선택 ○ 기타 성과지표 유형 활용 - 통계지표를 가장 많이 활용하였으며, 그 다음으로 만족도 조사지표, 복합지표, 국제지수·사회공인지수 순으로 활용 - 공무원은 통계지표-국제지수·사회공인지수-복합지표-만족도 조사 지표 순으로 객관적이라고 인식한 반면, 전문가와 시민단체는 통계지표-만족도 조사지표-국제지표수·사회공인지수-복합지순으로 객관적이라고 인식 - 성과관리 전문가와 외교안보 전문가의 경우, 시민단체 활동가 보다 복합지표를 공정하고 객관적이라고 인식하고 있었으며, 이는 통계적으로 유의미한 차이를 보임 ○ 목표 수준 설정에 대한 인식 - 달성 가능한 목표를 설정하는 경향은 외교안보 사업 담당 공무원들이 성과관리 부서보다 통계적으로 유의미하게 많이 나타나는 것으로 응답 - 시민단체 활동가보다는 전문가들이 정부부처들의 달성 가능한 목표설정 경향이 강하다고 통계적으로 유의미하게 응답 ○ 정부 업무성과 평가 과정에서의 시민 참여 수준 - 현재 참여 수준에 대해서는 전문가와 시민단체(2.407점)보다 공무원 (2.815점)이 활발하다고 보고 있었으나 두 집단 모두 보통 수준로 응답 - 향후 시민 참여 확대와 관련하여서는 전문가 및 시민단체(3.744점)가 공무원(3.097점)보다 긍정적으로 인식 ○ 평가지표에 관련한 문제점이나 개선사항 (개방형) - 공무원: 지표개발에 대한 교육이 필요(7건), 성과지표 축소(5건), 지표설정에 있어 부처의견 반영(5건) 등으로 나타남 - 전문가 및 시민단체: 부처별 특성이 반영이 되지 않아 어려움(7건), 평가는 객관성·공정성·신뢰성을 지키도록 노력해야함(6건), 실질적인 가치가 성과지표에 반영되어야 함(5건) 등으로 나타남 □ 심층인터뷰 결과분석 ○ 외교안보분야 성과의 특징1: 외부효과와 변수에 대한 민감성 - 외교안보분야는 외부환경에 영향을 많이 받을 수밖에 없어, 부처의 노력보다는 외부적 상황이 더 중요하게 작용 - 외교안보분야가 가진 특성상 대북문제나 외교문제라는 것이 외부효 과에 영향을 많이 받고 상대적인 요소를 갖고 있기에 부처의 단일의 노력만으로 성과를 달성하기 어려운 실정 - 이는 결국 외교안보분야의 성과지표에 긍정적 또는 부정적 영향 초래 ○ 외교안보분야 성과의 특징2: 결과지표를 활용한 성과측정의 한계 내재 - 외교안보분야의 성과는 어느 단계의 성과를 효과(outcome)로 볼 것인지 정하기도 어렵고 성과평가에 주관이 많이 개입 - 외교안보분야는 경제 및 사회분야와 달리 성과라는 것이 매우 추상적·포괄적이고 성과 달성이라는 의미 역시 매우 다차원적인 성격을 내포 ○ 외교안보분야 성과지표 특징1: 정량위주의 성과지표 - 외교안보분야의 성과지표 유형을 살펴보면 정성지표는 거의 없고 대다수가 정량지표로 이루어져 있으며, 투입지표 및 과정지표 위주로 구성 - 또한 외교안보 부처의 경우 투입 측면에서의 여러 단계 활동을 하나의 복합지수로 통합하여 사용하는 경우가 빈번 ○ 외교안보분야 성과지표 특징2: 운영비 위주의 성과지표 - 외교안보분야의 경우 보안 관련 대외비의 필요성 때문에 결과지표를 구체화하지 못하는 경우가 발생하며, 이로 인해 성과를 측정하는데 있어서 운영비 위주의 성과지표를 다수 활용 ○ 외교안보분야 성과지표 특징3: 가중치 설정의 어려움 - 외교안보분야 성과지표의 특징 중 하나는 상대성으로 인해 정성평가에 대한 가중치 문제가 발생하며, 성과평가 시 이전과 비교한 발전 정도와 그 수치에 대한 평가가 애매하고 어려운 상황 ○ 외교안보분야의 성과 제고방안1: 과정지표 활용 필요 - 성과지표로 측정이 어려운 부분에 있어서는 결과지표보다는 다양한 활동에 대한 노력도와 투입·과정지표 등을 활용하는 것이 바람직 ○ 외교안보분야의 성과 제고방안2: 질적 성과측정 필요 - 외교안보분야 성과지표들을 살며보면 결과지표 위주로 활용될 경우 부처 활동의 질적 수준은 계량화할 수 없어 성과지표에 반영하기 어려운 구조 □ 종합 및 시사점 제시 ○ 공무원 인식조사 결과 시사점 - 두 부서 모두 성과평가계획서 수립시 조직 구성원을 대상으로 의견을 수렴하고, 내부직원이 직접 지표를 개발하며, 정성지표보다는 정량지표가 더 객관적이라고 인식 - 정량화하기 어려운 항목을 측정하거나 전반적인 성과의 질을 평가할 때 정성지표의 활용에 대한 필요성을 인식하고 있으나, 주관적 판단에 의존함으로 인해 객관성 확보가 어려움을 토로 - 산출지표나 결과지표의 활용이 가장 용이한 분야는 경제분야이며, 외교안보 사안의 경우 대외비 설정이 필요하고 대외비에 해당하는 지표가 많은 분야는 외교안보분야라고 인식 - 부처의 특성을 반영하여 분야별 평가지표 방법에 차이가 필요하다는 점에 대해서도 두 부처 공무원 모두 일치된 인식 - 공무원들은 성과지표 활용에 대해 객관적인 지표 마련이 어려우며, 부처별 특성이 반영되기 어렵고 지표개발에 도움을 줄 전문가도 필요한 것으로 인식 - 이는 향후 공공부문의 성과지표 개발과 활용이 각 부처의 특성을 반영한 방향으로 이루어져야 하며, 외부전문가들의 도움을 통해 성과 지표를 모니터링하고 개선할 필요성 시사 - 또한 공무원들은 지표 개발에도 어려움을 느끼고 있는 것으로 나타나 성과지표 설정 및 활용에 대한 교육훈련도 병행하여 전문지식을 쌓을 수 있도록 지원하는 것이 필요 - 한편 외교안보 부서는 업무 특성상 성과지표 개발 시 정성지표 개발에 어려움을 더 크게 느끼고, 투입·과정·산출·결과지표의 명확한 구분에도 어려움을 느끼고 있는 것으로 분석 - 평가지표 구성 등에 있어 평가 전문성이 부족하다 인식하고 있으며, 이로 인해 달성가능한 목표를 설정하려는 경향이 높고 분야별 평가지표 방법에 차이가 필요하다고 느끼는 것으로 인식 - 이러한 인식 차이는 각 부처의 성과지표가 기본적으로 동일한 가이 드라인 하에서 부처 특성에 따라 적합한 지표를 생성하여 활용할 수 있도록 평가방식이 변화될 필요성이 있음을 시사 ○ 전문가 및 시민단체 인식조사 결과 시사점 - 정성지표 개발 시 주관적 판단에 의존하여 객관성 확보가 어렵다는 인식도 동일하게 나타났으며, 사업에 투입된 예산·인력 확인 시 투입지표 활용이 적절할 것으로 분석 - 또한 외교,·안보 관계에서 사안이 중대한 경우 평가결과 대외비가 필요하다는 인식과 성과지표 유형 중 통계지표가 객관적이라는 인식도 공무원과 전문가 및 시민단체가 일치하는 결과 - 전문가와 시민단체는 성과지표의 개발 시 국민을 비롯한 다양한 전 문가들의 의견을 객관적으로 수립하고 국민 삶의 개선을 파악할 수 있는 지표 개발에 비중을 더 두어야 한다고 인식 - 특히 전문가와 시민단체는 업무성과에 대한 평가과정에 적극적이고 활발한 시민 참여가 이루어져야 한다는 인식이 공무원에 비해 상대적으로 높게 조사 6. 외교안보분야 성과지표 개선방안 □ 외교안보분야 성과관리 개선방향의 도출 ○ 외교안보분야의 성과관리와 성과지표는 어떻게 발전해야 할까라는 질문에 대한 답은 한국 성과관리의 전반적인 패러다임 변화, 평가이론 발전의 요청, 외교안보분야 성과의 특수성, 성과평가의 시스템이라는 4가지 차원을 조합하여 도출될 수 있음 ○ 한국의 성과관리 단계에서는 성과평가의 전문성과 자율성, 수요자 중심의 시각이 보다 요청됨 ○ 최근의 평가이론의 신경향은 통제와 책임성 위주의 평가보다 새로운 변화와 혁신을 위한 권한 부여 평가(empowerment evaluation)와 발전적 평가(developmental evaluation)가 요청 - 발전적 평가는 새로운 업무와 가치를 창출하는 방식으로 정부업무 성과평가를 하자는 것으로 현 정부의 열린 혁신, 사회혁신, 정부혁신의 개념과도 잘 부합 ○ 외교안보분야 성과의 특수성은 대외비, 대외변수의 영향과 변동성 ○ 성과지표는 독립적으로 존재하는 것이 아니라 전반적인 성과관리시스템 내에서 설계 구축되고 활용된다는 점에서 성과시스템에 대한 변화를 통해서 성과지표의 발전을 도모 - 평가환경의 기반이 되는 법이나 제도 - 평가의 추진 체계와 평가주체 - 평가의 대상과 방법 - 평가의 공개와 활용 □ 외교안보분야 성과관리의 발전방향 ○ 정부업무의 여러 분야 중 분야의 특수성을 인정하고 별도로 관리가 필요하다고 인정되는 대표적인 분야는 외교안보분야임 - 현재 정부업무평가기본법에서는 중앙행정기관들의 평가와 관련하여 분야를 구분하거나 특정 영역에 대해 예외를 불인정 - 중장기적으로는 관련 정부업무평가기본법의 개정 등을 통하여 보다 분야에 적합한 체계로의 변화를 도모할 필요 ○ 향후 장기적인 외교안보분야 성과관리 및 성과지표의 발전 방향 - 외교안보분야 성과관리주체의 역량 및 성과관리체계의 독자성 강화: 내외부 성과관리주체와 평가위원 역량 - 외교안보분야 성과계획의 명확성과 분야 전문성 강화 - 외교안보분야 성과관리의 자율성과 유연성 제고: 지표 유형의 해석과 활용, 평가기간과 시기 등 - 외교안보분야 성과결과의 활용과 공개의 특수성 인정 □ 외교안보분야 성과관리 개선방안의 도출·제시 ○ 단기적 개선방안과 중장기적 개선방안으로 구분하여 도출·제시 This research was carried out as part of a mid to long-term project to develop and improve field-specific performance indicators. The government evaluation system in Korea is generally uniform and there is not much diversity or autonomy between ministries and departments in performance management and evaluation. Therefore, ministries and departments are requiring more discretion in evaluating government work in their organizations. This mid to long-term project aims to find the difference between performance indicators in various governmental fields and develop field-specific performance indicators. As the Korean government evaluation system cannot be changed in one day from a unified system into one in which each department has its own evaluation system, this research was conducted to develop an intermediary system of governmental evaluation between a centralized system and a decentralized one. In 2017, the economic field was selected for the first year of this project, and in 2018 the field of diplomacy and security was selected. The purposes of this year’s study are the following. First, it aims to find the specific and unique features of performance indicators in the field of diplomacy and security. Second, it aims to suggest directions and measures for improving and developing performance indicators in this governmental field. This year’s study selected ministries in the field of diplomacy and security, and attempted a detailed analysis through various criteria. The Ministry of Foreign Affairs and the Ministry of National Defense in South Korea were selected and analyzed. Ministries which carried out similar governmental activities in the United States and Australia were also selected and analyzed for comparison. The analysis of the foreign countries showed the following implications for the performance management of Korea 's diplomacy and security sector. The United States and Australia both acknowledge the necessity of confidentiality in the areas of diplomacy and security. As a result, both countries do not present specific and concrete performance goals and indicators in their governmental performance reports. Foreign countries have been using qualitative indicators and case studies in the field of diplomacy and security, and Korea should also consider expanding the use of such qualitative indicators. In addition, it can be said that it is necessary to define the time schedules and methods more flexibly in the diplomacy and security field, to reflect sudden changes in international relations. The following four improvement directions for the field of diplomacy and security were derived from the research. First, it is necessary to strengthen the capacity of performance management through education, and enhance the diversity of evaluation systems. Second, it is important to establish a performance data system or performance knowledge system to enhance performance expertise in the field of diplomacy and security. Third, it is necessary to increase the utilization of input indicators and to increase the autonomy of performance management by diversifying performance methods and time schedules in the field of diplomacy and security. Fourth, it is necessary to acknowledge the need for confidentiality in the field of diplomacy and security. The study proposes short-term improvement measures and mid to long-term improvement measures. The short-term improvement measures focus on items that can be improved within the current legal framework, whereas the mid to long-term improvement measures can be implemented through the revision of related laws. This research was carried out with the purpose of identifying the specific characteristics of the performance indicators in the field of diplomacy and security, and derive measures to improve performance management in the field. The implications of this research are as follows. The first significance of this project, which started last year, is that it has triggered sectoral research in government evaluation. The second significance of this project is that the results of this study can contribute to the improvement of government performance and ultimately contribute to the interests of the people and nation.

공공기관의 공공성과 효율성 간의 조화 방안 모색 : TRIZ 모형을 통한 모순해결 방식의 적용

이민호(Lee Minho),윤수재(Yoon Sujae) 서울행정학회 2009 한국사회와 행정연구 Vol.20 No.2

This study concerns with the issue of contradiction between publicness and efficiency of public agencies, which becomes more serious problem especially in the recent days of policy change. This might be more critical to public agencies implementing public policies, because they have to attain organizational goals considering both of publicness and efficiency, and policy conflict makes serious contradiction of organizational performance. In the study, TRIZ(Theory of Inventive Problem Solving) model is introduced to utilize for solving contradiction of choosing between publicness and efficiency in public agencies, which is well known in industrial engineering quite long ago. Following the model, firstly the concept of publicness and efficiency are divided into several categories, and matrix of contradiction is constructed by them. After that, analysis on the six cases of contradiction is conducted to find out probable solutions for the matrix, referring some management techniques. Further more, general model for resolving contradiction based on TRIZ model is proposed at the end of the study considering the classification of public agencies. Though the limitation of not-verified and quite general probable solutions, this study has a significance in that management approach is utilized for solving the contradiction between public values, not earlier political approach.