평생학습도시 교육사업의 통합적 성과평가모형

다국어 초록 (Multilingual Abstract)

The policies of lifelong learning cities in korea since 2001 have been implemented monolithically, raising several problems. But the performance evaluation of lifelong learning cities has not been done properly, as the measurements of performance evaluation seem to have been done only quantitatively or qualitatively. Therefore, because of this lack in regard to performance evaluation in lifelong learning cities, there needs to be mixed methods approach.
The purpose of this study is to present a performance evaluation model for lifelong learning cities in Korea, focusing on efficiency in respect to supplier and educational program quality from the perspective of the learners. This study attempts to evaluate the performance in learning cities by comparing the different types of learning cities. There are three types of lifelong learning cites: metropolitan area type, urban area type, and rural area type. These are categorized by size of population and administrative district. In this study, four cities from each of three different types, a total of 12 cities were selected by a stratified sampling method.
The researcher conducted a literature review to build a conceptual framework and thereby develop a questionnaire for assessment purposes in this study. The efficiency aspect of objective performance evaluation was measured through the 'Data Envelopment Analysis(DEA)' method, which has strength in analyzing relative efficiency among learning cities. Edu-Qual(Educational Program Quality) was measured through a 'Customer Satisfaction Survey' with data collected from learners of lifelong learning cities.
The results of the efficiency analysis are as follows:
First, 12 learning cities directed operated by the government that were assigned a "value of efficiency" of "1" by CCR anlysis(assuming Constant Return to Scale) were metropolitan types B and D, urban types E, F and G, and rural types I, J, K, L. Metropolitan types A and C, and urban type H scored less than 1, according to value of efficiency. These 12 learning cities with the value of efficiency of 1 were observed by BCC analysis(assuming Variable Return to Scale) and 10 of these learning cities were shown to be efficient, excluding the metropolitan types A and C. Urban type H was raised from inefficiency to the level of efficiency. This means that assuming urban type H was considered by scale to have achieved efficiency, the inefficiency of rural type H can be remedied by increasing scale.
Second, the Edu-Qual aspect of subjective performance evaluation was measured in respect to the gap between the perception level and expectation level of learners participating in educational programs in lifelong learning cities. Edu-Qual demonstrated that the perception level is higher than Expectation level in respect to most divisions.
Third, the IPA(Importance Performance Analysis) matrix was conducted for the 12 learning cities, the purpose of which is to integrate the super efficiency score of DEA in CCR and BCC analysis and Gap score of Edu-Qual. As a result of CCR analysis and Edu-Qual, rural types city I and J, and urban type E and F were shown to be ideal sample cities in terms of efficiency and educational program quality. As a result of BCC analysis and Edu-Qual, rural type cities I and J, and urban types E, F and H were shown to be ideal sample cities in terms of efficiency and Educational program quality.
In conclusion, the rural type of learning cities was shown to be higher than metropolitan type learning cities in terms of both efficiency and educational program quality. A suggestion for further development in the area of this study is as follows. This study attempted to apply performance evaluation models via mixed methods. Therefore, subsequent studies could attempt to verify the validity of the present study by developing a variety of performance evaluation based on the research model in this study.


Key words: lifelong learning cities, performance evaluation, efficiency, subjective performance evaluation, objective performance evaluation, educational program quality.

국문 초록 (Abstract)

본 연구는 지금까지 평생학습도시의 성과에 대한 평가가 부족하다는 점에 착안하여, 평생학습도시의 성과를 객관적 측면과 주관적 측면으로 구분하고, 이를 일정한 분석 틀에 입각하여 도시유형별로 비교분석해 보았다. 또한 이러한 객관적 성과평가와 주관적 성과평가를 통합적으로 분석하는 모형을 제시함으로써 평생학습도시 교육사업의 성과를 통합적으로 조망하였다. 이를 위해 객관적 성과평가를 위한 기준으로 효율성을, 주관적 성과평가를 위한 기준으로 교육서비스 품질(Edu-Qual)을 선정하였으며, 분석의 사례로 평생학습도시를 인구규모에 따른 도시특성에 따라 3개의 유형으로 구분하고, 각각 4개의 도시를 선정하였다.
평생학습도시에 대한 객관적 성과평가를 위해서는 자료포락분석(DEA)을 사용하였으며, 주관적 성과평가를 위해서는 Edu-Qual(Educational Program Service Quality)라는 새로운 방법을 개발하여 활용하였다. 그리고 DEA 결과 얻은 효율성값과 Edu-Qual의 Gap값을 통합하기 위한 모형으로 IPA방법론을 사용하였으며, 분석결과는 다음과 같다.
우선 객관적 성과평가를 위해 투입변수로 인력, 예산, 시설을 선정하였고, 산출변수로 프로그램 수, 이용자 수, 만족도 등을 사용하였다. 수익불변(Constant Return to Scale)을 가정하는 CCR모형에 의해 평생학습도시 12개의 효율성을 분석한 결과 대도시형 B와 D, 도농복합형 E, F, G 등과 농촌형 I, J, K, L 등은 효율적인 것으로 나타났다. 다만, 대도시형 A와 C, 도농복합형 H 등은 효율성이 떨어지는 것으로 나타났다.
수익변화(Variable Return to Scale: VRS)를 가정하는 BCC모형에 의해 효율성을 분석한 결과, 대도시형 A, 와 C를 제외한 모든 시군구가 효율적인 것으로 나타났으며, 대도시형의 A와 C는 비효율적으로 분석되었다.
둘째, 주관적 성과평가를 위해 도시유형에 따라 평생교육프로그램에 참여한 수혜자인 지역주민을 대상으로 각각의 기대수준(E)과 만족수준(P)의 Gap(P-E)을 측정하였으며, 이들이 통계적으로 의미 있는지를 알아보기 위해 대응표본 t-test를 실시하였다. 비용요인, 물리환경, 교육목표, 인간관계, 강사자질, 지원환경 등은 모두 만족수준(P)이 기대수준(E)보다 높은 것(Gap: +)으로 나타났으며, 모두 유의수준 p<.05로 통계적으로 의미 있는 차이를 나타내었다. 즉 모든 차원에서 서비스 이용 후의 만족도가 이용 전의 기대수준보다 높은 것으로 해석된다.
마지막으로 12개 평생학습도시에 대한 객관적 성과평가의 DEA 초효율성 점수와 주관적 성과평가의 Edu-Qual의 Gap값을 IPA 매트릭스 상에 통합한 결과, 우선 DEA 결과 중 CCR모형의 초효율성 점수와 Edu-Qual의 Gap값을 매트릭스로 통합한 결과 농촌형의 I와 J, 도농복합형의 E와 F 등은 효율성과 Edu-Qual 수준이 모두 높은 가장 바람직한 경우로 나타났다. 또한 BCC모형을 통한 초효율성 점수와 Edu-Qual의 Gap값을 매트릭스 상에 통합한 결과, 농촌형 I와 J, 도농복합형 E, F, H 등은 효율성 점수와 Edu-Qual 서비스 품질 수준이 모두 높아 바람직한 평생학습도시의 성과를 나타내었다. 결론적으로 농촌형의 평생학습도시들이 대도시형의 평생학습도시보다 객관적 측면의 효율성이나 주관적 측면의 교육프로그램 서비스 품질(Edu-Qual)이 모두 높은 것으로 나타났다.
이와 같이 평생학습도시 교육사업의 성과평가에 대한 통합적 분석모형을 제시함으로써 향후 평생학습도시 교육사업이 역점을 두고 나아가야 할 방향을 모색할 수 있을 것이며, 얻어진 결과로 상대적 비교가 가능하기 때문에, 평생학습도시 교육사업을 추진하는 지방정부로 하여금 평생학습도시의 성과를 높이려는 유인으로 작용할 수 있을 것이다. 또한 향후 평생학습도시 교육사업을 추진하는데 있어 그 성과를 높이는 환류효과를 가져올 수 있을 것이다. 그러나 본 연구는 평생학습도시 교육사업의 성과를 그 모형에 적용해 보려는 탐색적 시도로 볼 수 있다. 향후 평생학습도시 교육사업에 관한 통합적 성과평가모형을 발전시키는 후속 연구들에 기반을 제공해 줄 수 있기를 기대한다.

* 주요어: 평생학습도시, 교육사업, 성과평가, 통합분석, 효율성, 교육프로그램 서비스 품질

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1. 연구의 필요성 1
• 2. 연구목적 6
• 3. 연구문제 7
• 4. 용어의 정의 8
• 5. 연구방법 9
• 가. 연구범위 9
• 나. 연구방법 10
• Ⅱ. 이론적 배경 11
• 1. 평생학습도시 11
• 가. 평생학습도시의 대두배경 11
• 나. 평생학습도시의 개념 13
• 다. 평생학습도시의 유형 17
• 2. 평생학습도시의 추진현황 26
• 가. 선정 현황 26
• 나. 추진체계 28
• 1) 중앙수준에서의 추진체계 29
• 2) 기초자치단체 수준의 추진체계 29
• 3. 평생학습도시 성과에 관한 선행연구 32
• Ⅲ. 통합적 성과평가 37
• 1. 성과평가의 의의 37
• 가. 성과평가의 개념 37
• 나. 성과평가의 자료 및 체계 41
• 2. 성과평가의 기준 43
• 3. 성과평가의 방법 48
• 가. 객관적 성과평가 48
• 나. 주관적 성과평가 49
• 다. 객관적 평가와 주관적 평가의 통합가능성 50
• Ⅳ. 분석틀의 설정 52
• 1. 통합적 성과평가의 의의 52
• 가. 통합적 성과평가의 개념 52
• 나. 통합적 성과평가의 기준 53
• 2. 통합적 성과평가를 위한 방법론 58
• 가. 효율성 측정방법으로서 DEA 58
• 1) DEA의 의의 58
• 2) DEA 유용성과 한계점 60
• 3) DEA 결과에 대한 해석 61
• 4) DEA기법을 적용한 선행연구 64
• 나. 서비스 질 측정기법으로서의 Edu-Qual 67
• 1) 교육프로그램 평가의 의의 68
• 2) Edu-Qual 평가지표 71
• 3) Edu-Qual 분석방법 74
• 다. 통합적 분석기법으로서 IPA 76
• 3. 통합적 성과평가를 위한 지표 설정 80
• 가. DEA를 위한 분석지표 80
• 나. Edu-Qual 분석을 위한 측정지표 82
• Ⅴ. 평생학습도시 교육사업의 통합적 성과평가 85
• 1. 조사설계 85
• 가. 연구모형 및 변인 선정 85
• 나. 표본설계 및 분석 86
• 다. 도시유형 구분 88
• 라. 인구학적 특성 89
• 2. 객관적 성과평가 92
• 가. 투입 및 산출요소의 측정 92
• 나. DEA 분석결과 94
• 1) CCR모형에 의한 효율성 분석 94
• 2) BCC모형에 의한 효율성 분석 98
• 3. 주관적 성과평가 103
• 가. 요인의 구성 103
• 나. 기술통계 104
• 다. Edu-Qual 만족도 111
• 1) 지원환경 112
• 2) 강사자질 114
• 3) 인간관계 115
• 4) 교육목표 116
• 5) 물리적 환경 117
• 6) 비용 118
• 라. 도시유형별 평균차이 119
• 1) 기대수준과 만족수준의 평균차이 119
• 2) 사후검증 121
• 4. 통합적 분석 128
• Ⅵ. 결론 및 제언 134
• 1. 요약 134
• 2. 결론 138
• 3. 제언 140
• 참고문헌 143
• 부록(설문지) 154