사회서비스 성과평가 체계 개발에 관한 연구 : 사회복지관 성과평가를 중심으로

국문 초록 (Abstract)

사회복지서비스 수요의 급격한 증가에 따른 사회서비스의 확대는 서비스를 제공하는 조직의 책임성 확보를 위해 공공재원의 사용이 어떠한 성과를 가져왔으며 투입된 재원은 얼마나 효과적이고 효율적으로 쓰여 졌는지를 시민들에게 보여줄 것을 요구하고 있다. 그동안 성과평가의 일환으로 인식되었던 사회복지시설평가는 산출이나 결과보다는 주로 투입을 중심으로 시설운영과정 전반을 점검하는 모니터링 방식의 광범위한 지표를 사용하는 경우가 대부분이어서 서비스의 효율성과 효과성을 입증하는 데는 한계가 있었다.
본 연구의 목적은 사회복지시설평가를 둘러싼 이러한 한계를 극복하고 사회복지시설의 합리성을 강화하며 동시에 책임성을 확보하기 위한 수단으로서 성과중심의 사회서비스 평가지표 및 운영체계를 개발하는데 있다. 이를 통해 기존의 사회복지시설평가를 대체할 수 있는 합리적인 성과평가 방안을 모색하는 것이다.
본 연구의 목적을 달성하기 위하여 다음과 같이 연구내용을 구성하였다.
첫째, 성과평가에 관한 선행 연구 및 국외의 성과평가체계에 대한 문헌 검토를 통하여 본 연구 수행에 기초가 되는 자료들을 체계적으로 정리․분석하였으며 사회서비스 환경에 대한 검토를 병행하였다.
둘째, 사회서비스와 정부부문의 성과평가 현황과 기존 사회복지시설 평가를 둘러싼 주요 쟁점을 파악하였다. 아울러 성과평가체계 개발을 위한 기준을 검토하고 사회서비스 성과평가의 국내 적용 가능성과 한계를 고찰하였다.
셋째, 평가체계개발을 위해 본 연구의 분석단위가 되는 사회서비스의 조직과 프로그램을 중심으로 선행연구와 기존의 평가 모형들이 갖는 성과평가 영역과 내용들을 검토하여 평가체계의 기초 안을 도출하였다. 이를 위해 Martin & Kettner(2010)의 투입․과정․산출․결과의 확장된 체계분석적 접근방법을 활용하여 효과성, 효율성, 품질성의 3가지 수준을 가늠할 수 있는 평가지표체계를 도출하였다.
넷째, 선행연구를 통해 도출된 요인들을 바탕으로 평가모형이 신뢰성과 타당성을 확보하도록 통계적 검증을 수행하였다.
마지막으로 통계적 검증을 통해 정제된 한국형 사회서비스 성과평가체계를 최종 확정하고 합리적인 성과평가방안을 제시하였다.
본 연구는 우리나라의 대표적인 사회복지전달체계인 사회복지관의 관장과 중간관리자를 조사대상으로 하였다. 세부적으로는 선행연구를 통해 영국의 결과중심의 사회서비스 지표와 미국의 투입, 산출, 결과를 중심으로 측정하는 SEA 지표, 그리고 성과계획의 합리성과 기관 자체의 성과모니터링 시스템을 평가하는 미국의 PART를 활용하여 1차 성과평가지표를 도출하였다. 도출된 지표를 중심으로 문항의 내용타당도를 검증하기 위해 시설평가 지표개발, 시설평가위원장 및 평가위원 경험이 있는 교수들의 자문과 사회복지관 실무자들을 대상으로 초점집단 인터뷰를 실시하였다. 이를 통해 개발된 설문지를 중심으로 부산지역 사회복지관을 대상으로 전수조사를 실시하였다. 조사 결과 분석을 위해 기술통계분석, 빈도분석, 요인분석, 집단차이분석, 상관관계 분석 등을 실시하였다.
조사결과 응답자의 특성은 여성(68.6%)의 비율이 높았고 4년제 대학이상을 졸업(100%)하였고 절반이상이 1급 사회복지사 자격을 소지(87.6%)한 중간관리자(96.1%) 이상 인 것으로 나타났다. 응답자들의 평균 연령은 36.7세이고 30대가 52.3%로 응답자의 절반 이상을 차지하였다. 현재 근무기관에서의 근무연수는 평균 7년 2개월이며 사회복지시설 총 종사기간은 평균 10년 4개월로 나타났다. 조사대상자들은 기관 성과중심의 평가체계로의 전환에 대해 기관 운영과 클라이언트에 대한 영향력 그리고 새로운 평가제도로서 비교적 긍정적인 인식을 가지고 있는 것으로 나타났다. 성과평가지표체계에 대한 분석결과 선행연구를 토대로 도출한 1차 지표는 문항분석을 통해 제외할 항목은 없었다. 문항별 지표의 중요도에 대한 인식 분석결과 투입과 과정 지표를 여전히 중시하고 성과측정의 핵심적인 지표인 결과지표를 상대적으로 등한시하는 것으로 나타났다.
성과평가지표체계의 타당도를 보기 위하여 실시한 탐색적 요인분석결과 총 분산 60.7%의 설명력을 갖는 5개의 요인으로 분류되어졌다. 이들 요인들은 과정요인, 산출 요인, 결과 요인, 투입1 요인, 투입2 요인으로 나타났다. Cronbach's alpha 계수를 이용하여 본 연구에서 개발된 성과평가 지표의 신뢰도분석을 시행한 결과 측정도구의 신뢰도 계수는 0.925로 상당히 높게 나타나 요인분석에서 묶인 요인들의 타당도를 만족한다. 성과평가지표와 국가별 지표체계 및 확장된 체계모델에 따른 요소별 지표의 관련성 또한 높았고 지표체계가 타당하게 설정되어 있는 것으로 나타났다.
조사 분석결과 성과평가지표는 4개영역에 29개의 지표체계가 구성되었으나 일부 문항이 선행연구와 위배되었다. 또한 영국과 미국의 사회서비스 성과평가는 국가별 역사적 맥락과 시대적 여건에 따라 체계화된 것으로 우리나라의 사회서비스 여건과 매우 상이한 점을 감안하여 도출

다국어 초록 (Multilingual Abstract)

The expansion of social service due to sudden increase in demand of social welfare is asking to show the public what kind of performance the use of the public finance has brought about and how efficiently and effectively the inputted finance was used for the security of the accountability of organization providing the service. The facility evaluation recognized as a part of performance evaluation has so far focused on input more than output and outcome, and because the method of monitoring the facility management process with the use of a broad indicator often, there remain limitations to confirming the service’s efficiency and effectiveness.
The study aims to overcome these limitations, strengthen the rationality of social welfare facility and to develop an operating system and performance centered social service evaluation indicator as a method to secure the responsibility. Through this the research looks to replace the current social welfare facility evaluation with a more rationalized performance evaluation.
In order to complete the aim of the study, the following research method was constructed.
Firstly, through examining previous studies of performance evaluation and references of international performance evaluation system, the foundational research materials were systematically analyzed and organized parallel with examination of the social welfare environment.
Secondly, the major issues concerning present condition of social service, government sector performance evaluation and current social welfare facility were identified. The criteria for development of performance evaluation system were reviewed and the possibility and limitation of domestic application of social service performance evaluation was studied.
Thirdly, the criteria and contents of the previous studies and current evaluation models were reviewed, according to the organization and program of social service, which are measuring indicators for this research, and the foundation of evaluation system was drawn out. By applying Martin & Kettner (2010)’s performances of social service programs measurement system by systematical analyzing the input, process, output and outcome, the evaluation indicator system possible to estimate the standard of efficiency, effectiveness and quality was developed. This paper utilized the expanded systematic analytical approach on institutional input, process, output, and outcome for the performance evaluation of the community welfare center, and developed the final performance indicators through advice from academic experts and focus group interviews with field experts.
Fourthly, through literature review, the evaluation models were statistically analyzed for its credibility and validity.
Lastly, confirming the refined Korean social service performance evaluation system through statistical analysis and propose a rational performance evaluation method.
The research subjects were director and middle manager of the community welfare center which is Korea’s representative social welfare delivery system. In detail, drawing out preliminary performance evaluation indicator by using UK’s outcome centered social service indicator, America’s input, output, outcome centered SEA indicator and America’s program assessment rating tool (PART). To review the evidence based on test content, focus group interview was carried out with facility assessment indicator development and facility evaluation chairman, experienced professors and community welfare center workers. The complete enumeration based on social welfare centre in Busan province, centering on the questionnaire devised through the interview, was carried out. Descriptive statistical analysis, frequency analysis, factor analysis, ANOVA, correlation analysis was carried out for research analysis.
The results showed that out of the respondents, female ratio (68.6%) was higher, all graduated from 4 year university (100%), majority were first class social workers (87.6%) who were middle managers (96.1%). The respondents average age was 36.7 and majority were in their 30s with 52.3%. The average working year at the current working sectors was 7 years 2 months, while average year for working within the social welfare sector was 10 years 4 months. The subjects had relatively positive view towards the new evaluation system, and towards the influence brought on by change in sector and client management with more outcome centered evaluation system. The analysis of the preliminary indicator, drawn from performance evaluation indicator system and previous studies, showed no item to be exempted. By analyzing the perception of the test contents importance, it still showed high consideration towards input and process indicators, while outcome indicator, which is the core of performance evaluation, was relatively neglected.
The exploratory factor analysis to test the validity of the performance evaluation indicator system showed there were 5 main criteria with 60.7% validity rate. These criteria were process, output, outcome, input 1 and input 2. The reliability analysis for the newly developed performance evaluation indicator showed quite high cronbach’s alpha value of 0.925, satisfying the criterion-related validity for the analyzed criteria. The relation of elementary indicators, from performance evaluation indicators and international indicator system and expanded system models, was also high, therefore leading to the validity of the indicator system.
Out of 4 sectors of the performance evaluation indicator analyzed, there were 29 indicator systems, but a part of the questions was against the previous studies. The UK and America’s social service performance evaluation was systematized following historical context and periodic conditions, which is very different to Korea’s social service conditions and considering this the devised evaluation system was revised by examining the awareness and condition

목차 (Table of Contents)

• 제1장 서 론 1
• 제1절 연구의 필요성과 목적 1
• 제2절 연구방법 5
• 제3절 연구의 범위 6
• 제2장 이론적 배경 7
• 제1절 성과평가의 동향과 주요 논의 7
• 1. 성과평가의 배경 7
• 2. 성과의 개념과 의미 10
• 제2절 한국의 사회서비스 성과평가의 주요 동향 13
• 1. 사회서비스의 개념 13
• 2. 사회서비스에서의 성과평가 14
• 3. 사회복지시설 평가의 주요 쟁점 15
• 제3절 사회서비스 성과평가의 국내 적용 가능성 18
• 1. 사회서비스정책 환경 18
• 2. 정부부문의 성과평가 동향 20
• 3. 사회서비스 성과평가의 가능성과 한계 22
• 제4절 사회서비스 성과평가체계 개발을 위한 기준 23
• 1. 성과 측정 기준 23
• 2. 성과평가의 관점 26
• 제3장 성과평가에 대한 주요 국가 사례 30
• 제1절 영국의 사회서비스 성과평가의 주요 동향 30
• 1. 사회서비스정책 환경 30
• 2. 사회서비스 성과평가 현황 34
• 3. 사회서비스 관리체계의 논의 39
• 제2절 미국의 사회서비스 성과평가의 주요 동향 41
• 1. 사회서비스정책 환경 41
• 2. 사회서비스 성과평가 현황 49
• 3. 사회서비스 관리체계의 논의 56
• 제3절 영국과 미국의 사회서비스 성과평가의 특성과 시사점 57
• 1. 영국 57
• 2. 미국 58
• 3. 주요 국가 사례의 시사점 59
• 제4장 사회서비스 성과평가체계 개발을 위한 조사 61
• 제1절 선행연구를 통한 사회서비스 성과평가체계 개발 61
• 제2절 초점집단인터뷰를 통한 사회서비스 성과평가체계 개발 65
• 1. 조사방법 65
• 2. 조사결과 65
• 제3절 설문조사를 통한 사회서비스 성과평가체계 개발 72
• 1. 조사방법 72
• 2. 조사결과 74
• 제4절 논의 98
• 제5장 한국형 사회서비스 성과평가체계 104
• 제1절 주요국가 사회서비스 성과평가체계의 구성 104
• 제2절 한국 사회서비스 성과평가 지표체계의 구성 108
• 제3절 성과평가체계의 한국적 적용과 함의 111
• 제6장 결론 115
• 제1절 결론 및 제언 115
• 제2절 연구의 한계 117
• 참고문헌 119
• Abstract 127
• 부록 131
• < 그림 목차 >
• <그림 1> 확장된 체계모델과 성과측정 27
• <그림 2> 2009년 성과심사(performance judgement) 38
• <그림 3> GPRA의 세 가지 주요한 요건 45
• <그림 4> 영국형 사회서비스 성과평가체계 105
• <그림 5> 미국형 사회서비스 성과평가체계 107
• <그림 6> 한국형 사회서비스 성과평가체계 114
• < 표 목차 >
• <표 1> 학자별 사회서비스 성과측정의 주요 기준 23
• <표 2> 영국의 사회서비스 평가 영역 및 내용 37
• <표 3> PART의 평가영역 및 내용 48
• <표 4> 사회서비스 프로그램의 성과측정 보고 양식 모델 51
• <표 5> 의미단위 분류 및 범주화 66
• <표 6> 조사 설문지의 구성 73
• <표 7> 응답자의 일반적 특성 75
• <표 8> 성과 중심 평가 도입 유용성 76
• <표 9> 측정 지표와 지표 총합과의 상관관계를 이용한 문항분석 77
• <표 10> 문항별 기술통계 지표와 중요도 79
• <표 11> 상관행렬을 이용한 주성분법에 의한 요인분석 81
• <표 12> 요인별 기술통계 82
• <표 13> 요인별 신뢰도 분석결과 84
• <표 14> 과정 관련문항의 상관분석 86
• <표 15> 산출 관련문항의 상관분석 87
• <표 16> 결과 관련문항의 상관분석 87
• <표 17> 투입 1 관련문항의 상관분석 88
• <표 18> 투입 2 관련문항의 상관분석 88
• <표 19> 지표총합과 요소별 상관분석 89
• <표 20> 성별에 따른 차이 90
• <표 21> 연령에 따른 차이 90
• <표 22> 학력에 따른 차이 91
• <표 23> 전공에 따른 차이 91
• <표 24> 사회복지 업무에 종사한 기간에 따른 차이 93
• <표 25> 자격증에 따른 차이 94
• <표 26> 직위에 따른 차이 95
• <표 27> 성과평가 운영체계에 대한 분석 결과 97
• <표 28> 시설평가 수행 주체 98
• <표 29> 사회복지관 성과평가 지표 110