사회서비스의 통합적 성과 평가에 관한 연구 : 제주의 지역개발형 지역사회서비스투자사업을 중심으로 = (A) study on integrated performance evaluation of social services : focused on Jeju's local development-type social service investment projects

다국어 초록 (Multilingual Abstract)

To cope with new social crisis including low birth rate, aging phenomenon and polarization of income distribution, Korea has introduced universal social service for families and communities contrary to conventional welfare focused on vulnerable social group.
Social service project which has started from 2007 targeting for universal welfare has accumulated various results, so it carries out performance evaluation to improve service quality and inspect whether it uses government budget effectively or not.
Existing social service performance evaluation is mainly focused on service user's satisfaction level or service quality evaluation because most of social services offer vouchers to service users and the users have to pay some portion of the service expense. Therefore, service user's evaluation has a significant meaning.
However, the evaluation method mainly focused on service users cannot assess the overall project. Therefore, as the importance of social service and the expansion of social demand are growing, to settle down stable social service, this paper suggested performance evaluation model which can evaluate overall aspects of social service project.
Based on this awareness of problem, this study designated performance evaluation subjects as organizations offering social services, service offering man power and users, and then it selected efficiency, effectiveness and the quality of service as the performance evaluation criteria. With these ideas, this paper suggested social services' integrated performance evaluation model.
Among the field of social services, this study selected local development type local social service investment project which local governments play a leading role in carrying out the project.
The study also carried out interview research because the project can be varied depending on each region's service supply method even though the service content is same. With these evaluation method and interview research, this study wanted to suggest detailed development plans of local development type local social service investment project.
The evaluation of efficiency was analyzed with DEA, CCR model, BCC model and effectiveness evaluation was analyzed with SPSS 18.0.
For the analysis of evaluation of service quality, this study used SERVQUAL index which is the representative model of service quality evaluation.
To examine each subject's integrated evaluation result, this study suggested the performance relations between organizations offering social services (efficiency) - service offering man power (effectiveness), and organizations offering social services (efficiency) - users (effectiveness) as integrated matrix using IPA analysis. Based on these performance relations, this study analyzed integrated result of organizations offering social services (efficiency) - supplied man power (effectiveness) - users (effectiveness) of Jeju's local development type social service investment project.
Lastly, to figure out the regional characteristics of social services, this study carried out a research on what the difficult point of carrying out social service project for organizations offering social services and service offering man power, and whether the service is offered with user-friendly way in content and time for service users.
Looking into the result of efficiency of organizations offering social services, in CCR model, three profitable organizations and three non-profitable organizations' efficiency showed value 1. It means that 30% of all 20 organizations are relatively efficient. However, in BCC model, three profitable organizations and eight non-profitable organizations showed value 1, making 55.5% of all 20 organizations evaluated as efficient.
In other words, five non-profitable organizations evaluated as inefficient in CCR model are categorized as efficient organizations in BCC model. Through this result, inefficiency of added non-profitable organizations is not caused by technical factor, but a factor of scale.
According to service offering man power's performance evaluation result, all items showed an average of 3 points, professionalism (3.79), responsiveness (3. 78), job satisfaction (3.28). Overall effectiveness index showed 3.62 point, which is a little bit higher than average ,and overall, it is evaluated lower than users' effectiveness.
The result of service users' effectiveness showed that service reuse intension (4.20) is relatively higher than positive change after using service (4.17) and user satisfaction (4.07). Overall effectiveness index is 4.15 and it is evaluated as slightly satisfied.
The result of service users' quality evaluation is that overall quality of service is evaluated relatively high. Expected quality before using service(E) is 3.38, real quality after using service(P) is 4.03 and the difference between those two (P-E) is 0.65.
Also, six quality indexes'(tangibility, reliability, empathy, responsiveness, assurance, social quality) real quality after using service showed high than expected quality before using service. The quality that has the largest difference between expected level and real level is appreciation(0.77).
The result of integrated performance evaluation showed that there are two profitable organizations and two non-profitable organizations which got higher results of organizations offering social services (efficiency) - service offering man power (effectiveness), and organizations offering social services (efficiency) - users (effectiveness) in both CCR model and BCC model.
There is only one profitable organization and three non-profitable organizations which got lower results in CCR model, and there is one non-profitable organization in BCC model.
Especially, the non-profitable organization which showed the lowest result in both models had been participated the social service project since 2007, but, as organizations offering same social service are increasing, the organization is not offering any service in 2013 due to management difficulty. Therefore, the result underpins the credibility of field evaluation.
As a result of interview research, organizations offering social services' inconveniences in the process of project are uncertainty of carrying out project according to local government's budget assignment, local government's lack of interest, lack of specialty of the office in charge and lack of awareness by the Ministry of Health and Welfare regardless of the type of organization.
Especially, non-profitable organizations pointed out that they have difficulty in collecting partial payment from users, securing users and service offering man powers. Meanwhile profitable organizations mentioned that they have difficulty in inefficiency of management due to the extremely user-centered project and lack of cooperation with related organizations.
Service offering man powers pointed out that poor wage level compared to their specialty and work load as their most inconvenient factor in the process of the project. Users' unreasonable demand, undervalue of service due to low coat of service, lack of communication with service offering organization, lack of service related education, miss-matching of service content and service period (or hours) and need of parent education in case of child service are the other factors they mentioned.
Service users pointed out that program content and available using hours are set depending on the organizations offering services' convenience. Also they mentioned that lack of specialty of organizations offering services and service offering man powers, lack of convenient facility and lack of promotion on the service are the factors which should be fixed. However, users satisfied with the high quality service at a low cost.
Based on the field evaluation result and interview research result, this study suggested long-term development plan at a local level and short-term development plan at organizations offering services level of local social service's investment project's development direction.
The meanings of this study are : first, it can offer new view for researchers of this field because there is lack of advanced researches on integrated performance analysis in the field of existing public service and human service.
Second, analysis model of this study can be used various public service sectors including lifelong education service, community center programs because it includes three parties which are organizations offering social services, service offering man powers and users. Especially as the role of service offering man power is increasing in social service sector, this study highlighted the fact that performance evaluation should be separately carried out as two aspects of organizations offering social services and service offering man powers.
Third, this study carried out both field analysis and interview research. Therefore it suggested specific and realized development plan reflecting regional characteristics which cannot be analyzed with only field evaluation.

국문 초록 (Abstract)

우리나라는 저출산·고령화, 소득 양극화 등 새로운 사회적 위기에 대응하기 위해 기존의 취약계층에 집중되어 있는 전통적인 복지와는 다른 가족과 공동체를 위한 보편적 사회서비스를 도입하였다. 2007년부터 보편적 복지를 지향하며 시작된 사회서비스 사업은 관련 실적이 축적되면서 정부재원의 효율적인 사용을 점검하고, 서비스 품질을 향상시키기 위해 성과 평가를 실시하고 있다.
기존의 사회서비스 성과 평가는 바우처를 통해 서비스 이용자에게 직접 서비스비용을 지원하고, 서비스비용의 일부는 이용자가 부담하는 특성상 서비스 이용자를 대상으로 한 성과 평가가 중요한 의미를 가짐에 따라 서비스 이용자 대상의 서비스 만족도 평가, 서비스 품질 평가 등 결과 중심 평가가 주를 이루고 있다. 그러나 이러한 서비스 이용자 단일 주체의 결과 중심 평가로는 사업 전반을 평가한다고 보기는 어렵기 때문에 본 연구는 사회서비스의 중요성과 사회적 요구의 확대가 점증하면서, 사회서비스의 안정적 정착을 위해 사업 전반을 평가할 수 있는 성과 평가 모형을 구축하고자 하였다.
본 연구는 이러한 문제의식을 바탕으로 성과 평가 대상을 공급기관, 제공인력, 이용자로 선정하였고, 성과 평가 기준은 효율성, 효과성, 서비스 질로 도출하여 사회서비스의 통합적 성과 평가 모델을 구축하였다. 본 연구의 대상사업은 사회서비스 중에서도 지방자치단체가 주도적인 역할을 수행하는 지역개발형 지역사회서비스투자사업으로 선정하여 실증 평가 하였다. 이 사업은 지방자치단체가 서비스 제공방식을 어떻게 설계하느냐에 따라 동일한 내용의 서비스라 할지라도 지역별로 서비스의 내용이 달라질 수 있기 때문에 면접조사를 병행하였다. 이러한 실증 평가와 면접조사를 토대로 지역개발형 지역사회서비스투자사업의 구체적인 발전방안을 제시하였다.
효율성 평가는 자료포락분석(DEA)의 CCR모형(규모수익불변), BCC모형(규모수익가변)을 이용하여 분석하였고, 효과성 평가는 SPSS 18.0을 이용하여 분석하였다. 서비스 품질 평가는 서비스 질 측정의 가장 대표적인 모형인 SERVQUAL척도를 이용하였다. 그리고 개별 주체의 평가 결과를 통합적으로 살펴보기 위해 IPA분석을 이용하여 공급기관(효율성)-제공인력(효과성)의 성과 관계 및 공급기관(효율성)-이용자(효과성)의 성과 관계를 통합 매트리스로 제시하였고, 이를 토대로 제주지역 지역개발형 지역사회서비스투자사업의 공급기관(효율성)-제공인력(효과성)-이용자(효과성)의 통합적 성과를 분석하였다. 마지막으로 서비스가 제공되는 지역적 특성을 파악하기 위해 공급기관과 제공인력에게는 사업(업무) 수행하는데 있어 어려운 점이 무엇인지, 서비스 이용자에게는 제공받는 서비스의 내용, 시간 등의 결정에 있어 ‘이용자 중심’으로 제공되고 있는지를 조사하였다. 본 연구의 결과를 요약하면 다음과 같다.
우선 공급기관의 효율성 평가 결과, CCR모형에서는 영리기관 3곳, 비영리기관 3곳의 효율성 값이 1로 나타나, 전체기관(20개소)의 30%가 상대적으로 효율적인 기관으로 나타난 반면, BCC모형에서는 영리기관 3곳, 비영리기관 8곳의 효율성 값이 1로 나타나, 전체기관의 55.5%가 상대적으로 효율적인 기관으로 평가되었다. 즉, CCR모형에서 비효율적으로 평가됐던 기관 중 5개 비영리기관이 효율적인 기관으로 추가되었는데, 이는 추가된 비영리기관의 비효율이 순수 기술적인 요인이라기보다는 규모의 요인에 의한 영향을 받고 있음을 알 수 있다.
제공인력의 성과 평가 결과, 전문성(3.79), 대응성(3.78), 직무만족도(3.28) 모두 평균이 3점대로 나타난 가운데, 효과성 전체 지표는 3.62로 보통보다 조금 높은 수준으로 나타나 전반적으로 이용자의 효과성보다 낮게 평가되었다.
서비스 이용자의 효과성 평가 결과, 서비스 재이용의사(4.20)가 서비스 이용 후 긍정적인 변화(4.17), 이용자 만족도(4.07)보다 상대적으로 높게 나타난 가운데, 효과성 전체 지표는 4.15로 약간 만족하는 수준으로 평가되었다. 서비스 이용자의 품질 평가 결과, 서비스 전체 품질은 서비스 이용전 기대품질(E)이 3.38, 서비스 이용후 지각품질(P)이 4.03점으로 나타나 평균차이(P-E)가 0.65점으로 서비스의 품질을 비교적 높게 평가하는 것으로 나타났다. 그리고 6개 하위 품질지표(유형성, 신뢰성, 공감성, 대응성, 보증성, 사회성) 모두 서비스 이용 후의 지각수준이 서비스 이용전의 기대수준보다 높게 나타났으며, 기대수준과 지각수준의 차이가 가장 큰 품질은 공감성(0.77)으로 나타났다.
통합적 성과 평가 결과, 서비스 공급기관(효율성)-제공인력(효과성)-이용자(효과성)이 CCR모형과 BCC모형에 관계없이 모두 높게 나타난 기관은 영리기관 2곳, 비영리기관 2곳으로 나타났다. 공급기관-제공인력-이용자의 성과가 모두 낮은 기관은 CCR모형에서는 영리 1곳, 비영리 3곳으로 나타났고, BCC모형에서는 비영리 1곳으로 나타났다. 특히 이 두 모형으로 분석시 동일하게 가장 낮은 성과를 보인 비영리기관은 2007년 사업 초기부터 참여했던 기관이지만 등록제 실시 후 동일한 서비스를 제공하는 공급기관이 늘어나면서 2013년에는 운영난 등으로 인해 본 사업을 제공하지 않고 있어, 실증 평가의 신뢰성을 어느 정도 뒷받침하는 결과라고 할 수 있다.
면접조사 결과, 서비스 공급기관의 사업 수행시 불편사항은 기관유형에 관계없이 자치단체 예산 배정에 따른 사업수행 여부의 불확실성, 자치단체의 관심 부족 및 담당자 전문성 부족, 보건복지부와 보건복지정보개발원의 현장문제 인지 부족을 지적하였다. 특히 비영리기관은 이용자 확보의 어려움, 본인부담금 수령의 어려움, 제공인력 확보 문제를 지적하였고, 영리기관은 과도하게 이용자 위주의 사업으로 운영상 비효율적, 행정 매뉴얼 부재와 유관기관과의 협조부족을 지적하여 기관유형에 따라 불편사항이 상이하게 관찰되었다. 다음으로 서비스 제공인력의 업무 수행시 불편사항은 인력의 전문성 및 업무량에 비해 열악한 급여수준이 가장 주요하게 지적하였고, 기타 의견으로는 이용자의 무리한 요구, 저렴한 서비스 가격으로 인한 서비스 가치 하락, 공급기관과의 소통 문제, 서비스 관련 교육 부족, 서비스 기간(또는 이용시간)과 서비스 성격 간의 미스매칭, 아동서비스의 경우 부모교육 필요 등을 지적하였다. 그리고 서비스 이용자는 프로그램 내용 및 이용할 수 있는 시간이 기관 중심적이라고 지적하였고, 기타의견으로는 공급기관 및 제공인력의 전문성 부족, 편의시설 제공 미흡, 서비스에 대한 홍보 부족 등을 지적한 반면, 저렴한 비용으로 질 좋은 서비스를 받을 수 있어 만족한다는 의견도 있었다.
이러한 실증 평가 결과 및 면접조사 결과를 토대로 지역사회서비스투자사업이 나아가야할 방향을 지방정부 차원에서의 거시적 발전방안과 서비스 공급기관 차원의 미시적 발전방안으로 구분하여 제안하였다.
본 연구의 의의는 첫째, 기존의 공공서비스 및 휴먼서비스 분야에서 통합적 성과분석에 관한 선행연구들이 부족하기 때문에 관련 연구자들에게 새로운 시각을 제공해 줄 수 있다. 둘째, 본 연구의 분석모형은 지역사회서비스투자사업과 같이 공급기관-제공인력-이용자 3자 구도로 수행되는 평생교육서비스, 주민센터 프로그램 등 다앙한 공공서비스 영역에 걸친 연구모형으로 활용될 수 있으며, 특히 사회서비스 분야는 제공인력의 역할이 중대해짐에 따라, 공급자 측면의 성과를 공급기관과 제공인력으로 분리하여 평가해야 한다는 점을 부각시켰다. 셋째, 본 연구는 실증 분석과 면접조사를 병행한 연구로서 실증 평가만으로는 파악하기 어려운 서비스가 제공되는 지역적 특성을 반영하여, 구체적이고 현실적인 발전방안을 제안하였다.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 제 1절 연구 목적 1
• 1. 연구 필요성 1
• 2. 연구 목적 3
• 제 2절 연구 문제 5
• 제 3절 연구 방법 9
• 1. 연구 범위 9
• 2. 연구 방법 및 과정 10
• Ⅱ. 이론적 배경 및 선행연구 검토 13
• 제 1절 사회서비스와 지역개발형 지역사회서비스투자사업의 의의 13
• 1. 한국의 사회서비스 개념 및 특성 13
• 2. 사회서비스의 새로운 전달체계 : 바우처(Voucher) 15
• 3. 지역개발형 지역사회서비스투자사업의 의의 및 중요성 20
• 4. 제주지역의 지역개발형 지역사회서비스투자사업 현황 22
• 제 2절 사회서비스 성과 평가의 필요성 및 평가체계 수립 29
• 1. 사회서비스 성과 평가의 개념 및 필요성 29
• 2. 성과 평가 체계의 구성 31
• 3. 성과 평가 대상의 선정 33
• 4. 성과 평가 기준의 선정 36
• 5. 성과 평가의 유형의 선정 56
• 제 3절 선행연구 검토 61
• 1. 사회서비스 성과 평가 관련 선행연구 61
• 2. 기존연구와의 차별성 67
• 제 4절 성과 평가 분석기법 69
• 1. 객관적 성과 평가 : 자료포락분석(DEA) 69
• 2. 주관적 성과 평가 : 서브퀼(SERVQUAL) 73
• 3. 통합적 성과 평가 : IPA 78
• Ⅲ. 연구 설계 81
• 제 1절 연구 분석틀 설정 81
• 제 2절 평가지표 선정 및 변수 측정 84
• 1. 서비스 공급기관 차원 84
• 2. 서비스 제공인력 차원 86
• 3. 서비스 이용자 차원 88
• 제 3절 자료수집 및 분석방법 91
• 1. 자료수집 91
• 2. 분석방법 93
• Ⅳ. 분석결과 95
• 제 1절 서비스 공급기관 성과 평가 결과 95
• 1. 연구대상기관의 일반적 특성 95
• 2. 서비스 효율성 평가 결과 96
• 제 2절 서비스 제공인력 성과 평가 결과 108
• 1. 연구대상자의 일반적 특성 108
• 2. 서비스 효과성 평가 결과 109
• 제 3절 서비스 이용자 성과 평가 결과 118
• 1. 연구대상자의 일반적 특성 118
• 2. 서비스 효과성 평가 결과 120
• 3. 서비스 품질 평가 결과 127
• 제 4절 통합적 성과 평가 결과 144
• 1. 서비스 공급기관 - 서비스 제공인력의 성과 관계 분석 145
• 2. 서비스 공급기관 - 서비스 이용자의 성과 관계 분석 148
• 3. 서비스 공급기관-제공인력-이용자의 통합적 평가 150
• 제 5절 면접조사(인터뷰) 결과 163
• 1. 인터뷰의 목적 및 자료수집 163
• 2. 연구질문 및 분석방법 164
• 3. 인터뷰 대상자의 일반적 특성 165
• 4. 인터뷰내용 분석 결과 169
• Ⅴ. 결론 189
• 제 1절 주요 연구결과 요약 189
• 제 2절 지역개발형 지역사회서비스투자사업의 발전방안 194
• 1. 지방정부 차원 194
• 2. 서비스 공급기관 차원 198
• 제 3절 연구의 의의 및 한계 201
• 1. 연구의 의의 201
• 2. 연구의 한계 203
• 【참고문헌】 206
• ABSTRACT 221
• 【부록 1】서비스 공급기관 설문지 226
• 【부록 2】서비스 제공인력 설문지 230
• 【부록 3】서비스 이용자 설문지 235