청소년활동 프로그램의 논리주도적 평가준거체제 개발 = (The)development of evaluative criteria set for the youth activity program

국문 초록 (Abstract)

이 연구의 목적은 청소년활동 프로그램 평가의 이론적 개념모형을 구안하여 이론적 실증적으로 타당화된 논리주도적 평가준거체제를 개발하는 것이다. 연구목적을 달성하기 위한 연구문제는 첫째, 청소년활동 프로그램의 평가준거체제의 영역과 주요 평가준거항목은 어떻게 구성되어야 하는가, 둘째, 개발된 평가준거체제의 영역과 평가준거항목이 타당하고 신뢰할 만한가, 셋째, 평가준거체제의 영역과 평가준거항목의 적절성에 대한 평가핵심관련자의 평가경험의 유무와 소속에 따른 집단 간 인식의 차이는 어떻게 나타나는 가로 설정하였다.
평가준거체제 개발의 이론적 타당화 과정으로서 프로그램논리를 적용한 이론적 개념모형을 구안하고 평가준거체제 개발을 위한 메트릭스를 작성하였다. 이 개념모형과 메트릭스를 활용하여 논리주도적 평가준거체제의 초안을 작성하였다. 이 평가준거체제 초안을 3회에 걸친 전문가의 검토와 자문을 거쳐 수정하고 보완하여 평가준거체제로 확정하였다.
확정된 평가준거체제를 실증적인 방법으로 타당화하기 위하여 청소년활동 프로그램에 대한 이해를 가지고 있는 평가핵심관련자로서 청소년지도자 및 청소년정책관련자를 대상으로 설문조사를 실시하여 278부를 분석하였다. 평가준거체제의 영역분류의 타당화를 위한 통계분석 방법은 상관관계분석, 신뢰도분석, 탐색적 요인분석을 사용하였다. 또한 평가준거체제의 영역구분에 대한 평가핵심관련자 집단 간의 인식차이를 분석하기 위하여 F-검증과 t-검증을 실시하였다. 주요 분석결과는 다음과 같았다.
첫째, 확정된 평가준거체제에 대한 요인분석 결과, 최종 평가준거체제는 13개 영역의 63개의 항목으로 최종 확정되었다. 프로그램 평가준거의 13개 영역은 프로그램 논리사정, 평가 설계 준비, 내용선정, 구체적 내용, 참여촉진, 모집․활동방법, 안전․위생관리, 운영자 역할, 사후관리․연계협력, 운영환경, 반응평가, 학습 및 행동평가, 결과평가로 나타났다.
둘째, 최종 평가준거체제에 대한 평가핵심관련자 집단 간의 인식차이는 다음과 같다. 평가경험의 유무에 따른 집단간 인식차이는 F-검증을 실시하고 사후비교로서 집단 간의 이질성 검증을 위한 Scheffe 검증(p< .05) 결과, 전체 63개 항목 중에서 7개 항목에서 차이가 검증되었다. 차이가 검증된 항목은 목적을 반영한 내용, 참여자 수준에 적합한 내용, 융통성 있는 내용, 적합한 참가자 모집, 프로그램 운영자의 전문성, 장소 시설 및 장치의 적절성, 목표성취 파악의 항목에서 집단 간의 이질성이 검증되었다. 또한 청소년지도자와 청소년정책관련자의 집단간 인식차이는 t-검증(p< .05) 결과, 평가결과 활용의 항목에서 차이가 검증되었다.
이 연구는 프로그램 논리를 적용한 청소년활동 프로그램 평가의 이론적 개념모형을 구안하고 평가준거체제 개발 메트릭스를 제시하여 논리주도적 평가준거체제를 개발한 것이다. 이를 실증적인 타당화 과정을 거쳐 최종적인 평가준거체제로 제시하였다. 따라서 이 연구에서 개발된 논리주도적 평가준거체제는 평가 대상 프로그램의 논리를 파악하여 맞춤평가를 위한 이론적 근거를 갖는 평가준거체제를 개발하였다는 점에서 의의가 있다. 또한 평가준거체제를 적용하는데 있어서는 프로그램의 특성, 평가목적에 따라 평가핵심관련자의 다양한 관점을 반영하여 필요한 준거를 융통성 있게 선별하여 활용할 수 있도록 개발된 종합적인 평가준거체제라는 점에서 의의가 있다.

* 주요어 : 논리주도평가, 맞춤평가, 평가준거체제, 프로그램논리, 프로그램 평가, 청소년활동 프로그램, 통합적 평가접근방법, 평가준거체제의 타당화, 평가논리, 평가모형, 평가핵심관련자

다국어 초록 (Multilingual Abstract)

This study purports to develop a theory-driven evaluative criteria set for youth activities which is validated from not only theoretical but empirical points of view. Prior to empirical validation process, conceptual framework for evaluation is produced. Specifically, this study tries to answer the following questions. First of all, how should we develop appropriate categories and subsequent items for youth activity evaluation? Secondly, are those categories and items reliable and valid? Finally, are there any significant differences among major stakeholders in terms of their responses to evaluation items?
As a theoretical validation process, conceptual framework for evaluation is developed based upon the program theory. In order to construct evaluative criteria set, matrix is also developed. The final version of criteria set is confirmed after three times of experts'' examination.
The survey is performed to empirically validate the final version of criteria set. Respondents mostly consist of youth-related workers, such as youth leaders and youth policy experts who are presumed to have some level of knowledge on youth programs. Statistical techniques for this study include descriptive statistics, correlation analysis, reliability test using Cronbach-alpha, and exploratory factor analysis. In addition, this study analyzes the group differences in respondents'' attitudes on the criteria set. The major findings are as followings.
First, the results of exploratory factor analysis show that the final criteria set could be classified into thirteen categories and the number of items in thirteen constructs is sixty three. Those thirteen constructs are program theory assessment, evaluation design preparation, content selection, specific content elements, participation facilitation, recruitment activity method, safety&#8228;hygiene management, role of operator, follow-ups and cooperation, operation environment, reaction evaluation, learning and behavior evaluation, result evaluation.
Second, the results of F-test and subsequent post-hoc comparison suggest that significant differences(a=.05) are found in seven items out of sixty three among those groups which are divided in terms of existence of evaluation experiences. Those seven items are contents of purpose, contents of participant level, contents of flexibility, suitable participants recruitment, operators'' professionalism, appropriate facilitation and equipments, objectives'' achievement. Besides, youth leaders and youth policy experts show different attitudes in response to the statement on evaluation result application and the difference is statistically significant(a=.05).
The construction of theory-driven evaluative criteria set is an on-going process and this study hopefully contributes to this process by adopting theoretical framework for youth program evaluation. This study recognizes the importance of representation of various perspectives from major stakeholders in youth program evaluation when applying evaluative criteria set. Finally, this study emphasizes that the criteria set developed here is very comprehensive in its scope, which means that people in youth programs or evaluation field could use the items with high level of flexibility depending upon their specific contexts as well as interests.

Key words: theory-driven evaluation, fitting/tailoring evaluation to program, evaluative criteria set, program theory, program evaluation, youth activity program, integrating evaluation approaches, validation of evaluative criteria, evaluation logic, evaluation model, major stakeholder

목차 (Table of Contents)

• 목 차
• Ⅰ.서론
• 1.연구의 필요성 및 목적
• 2.연구의 문제 및 내용
• 3.용어의 정의
• Ⅱ.이론적 배경
• 1.청소년활동 프로그램
• 가.청소년활동 프로그램의 개념과 구성요소
• 나.청소년활동 프로그램 평가를 위한 개발모형평가모형
• 다.청소년활동 프로그램 평가의 현황
• 2.논리주도평가와 논리주도적 평가준거체제
• 가.논리주도평가의 개념과 하위체계
• 나.평가모형과 통합적 평가접근방법의 타당성
• 다.논리주도적 평가준거체제의 개념과 특성
• Ⅲ.청소년활동 프로그램 평가의 개념 모형 구안
• 1.프로그램 논리를 적용한 이론적 개념 모형의 구안
• 2.평가준거체제 개발 메트릭스
• Ⅳ.청소년활동 프로그램 평가준거체제의 타당화
• 1.타당화 방법 및 절차
• 가.평가준거체제의 개발과정
• 나.조사대상
• 다.조사도구
• 라.자료수집 방법
• 마.자료처리
• 2.평가준거체제 영역별 분류에 대한 신뢰도와 타당도 검증
• 가.평가가능성 사정
• 나.프로그램 내용
• 다.프로그램 운영
• 라.프로그램 평가
• 3.최종 평가준거체제
• 4.평가핵심관련자 집단 간 평가준거에 대한 인식 차이 검증
• 가.평가경험의 유무에 따른 평가핵심관련자의 인식 차이
• 나.소속에 따른 평가핵심관련자의 인식 차이
• Ⅴ.논의
• 1.평가준거 영역별 분류에 대한 요인분석 결과를 중심으로 한 논의
• 2.평가핵심관련자 집단간 이질성 검증 결과를 중심으로 한 논의
• Ⅵ.결론 및 제언
• 참고문헌
• 부 록:설문지
• Abstract
• 표 목차
• <표 Ⅱ-1>청소년시설의 현황
• <표 Ⅱ-2>특성화된 청소년수련거리 개발 현황
• <표 Ⅱ-3>청소년활동 프로그램 분류
• <표 Ⅱ-4>청소년활동 프로그램의 활동영역별 현황
• <표 Ⅱ-5>청소년활동 프로그램의 평가이해관련자
• <표 Ⅱ-6>청소년활동 프로그램과 학교교육과정 개발모형과 평가모형의 비교
• <표 Ⅱ-7>우수 청소년수련시설 선정인센티브 조사지표(?
• <표 Ⅱ-8>시범청소년수련시설 지정인센티브부여 평가지표체계 및 가중치()
• <표 Ⅱ-9>청소년수련시설 청소년운영위원회 평가지표체계(2003-2004)
• <표 Ⅱ-10>청소년 수련시설 특성화프로그램 공모지원사업 선정평가지표(?? 비교
• <표 Ⅱ-11>서울시 청소년활동프로그램 운영 평가지표(2004)
• <표 Ⅱ-12>서울시 청소년활동프로그램 운영 평가지표(2005)
• <표 Ⅱ-13>청소년육성기금 공모사업 성과평가표(2004)
• <표 Ⅱ-14>청소년육성기금 지원사업 평가준거체제(2005)
• <표 Ⅱ-15>청소년수련활동인증제 인증기준(2004)
• <표 Ⅱ-16>교회 교사양성 프로그램 평가준거체제(2001)
• <표 Ⅱ-17>성인교육프로그램에 대한 학습자의 차원 및 평가준거(2000)
• <표 Ⅱ-18>형성평가와 총괄평가 비교
• <표 Ⅱ-19>프로그램 논리에 관한 다양한 개념정의
• <표 Ⅱ-20>평가접근방법에 따른 주요 평가모형
• <표 Ⅱ-21>주요 평가 접근법의 유형분류
• <표 Ⅱ-22-1>대안적 평가접근방법의 비교분석 및 평가준거 요소 탐색
• <표 Ⅱ-22-2>대안적 평가접근방법의 비교분석 및 평가준거 요소 탐색
• <표 Ⅱ-22-3>대안적 평가접근방법의 비교분석 및 평가준거 요소 탐색
• <표 Ⅱ-23>주요한 평가모형과 관련한 체크리스트
• <표 Ⅱ-24-1>평가 이론가에 따른 평가접근 방법에 대한 비교
• <표 Ⅱ-24-2>평가 이론가에 따른 평가접근 방법에 대한 비교
• <표 Ⅱ-24-3>평가 이론가에 따른 평가접근 방법에 대한 비교
• <표 Ⅱ-25>평가준거,평가지표,평가기준
• <표 Ⅲ-1>프로그램제공자와 프로그램참여자 중심 평가접근의 성격 비교
• <표 Ⅲ-2>청소년활동 프로그램의 평가주관자,평가목적,평가내용 추론
• <표 Ⅲ-3>주요 평가논리와 평가모형 관계 추론
• <표 Ⅲ-4>프로그램논리,평가논리,평가모형의 관계 추론
• <표 Ⅲ-5>평가모형과 평가전략 관계 추론
• <표 Ⅲ-6> 이론에 입각하여 도출된 평가준거 요소와 기존 선행연구의 평가준거요소의 비교
• <표 Ⅲ-7>청소년활동 프로그램에 적합한 평가준거체제 개발 매트릭스
• <표 Ⅳ-1> 요인분석 전 청소년활동 프로그램 평가준거체제의 11개 영역에 대한설명
• <표 Ⅳ-2>개발된 평가준거체제의 준거항목 구성
• <표 Ⅳ-3>조사 대상자의 표본 크기
• <표 Ⅳ-4>전체 응답자의 일반적 특성
• <표 Ⅳ-5>탐색적 요인분석 결과-평가가능성 사정
• <표 Ⅳ-6>요인분석 결과 최종 구성항목-평가가능성 사정
• <표 Ⅳ-7>프로그램논리 사정 영역의 분석결과 종합
• <표 Ⅳ-8>평가설계 준비 영역의 분석결과 종합
• <표 Ⅳ-9>탐색적 요인분석 결과-프로그램 내용
• <표 Ⅳ-10>요인분석 결과 최종 구성항목-프로그램 내용
• <표 Ⅳ-11>내용선정 영역의 분석결과 종합
• <표 Ⅳ-12>구체적 내용요소 영역의 분석결과 종합
• <표 Ⅳ-13>탐색적 요인분석 결과-프로그램 운영
• <표 Ⅳ-14>요인분석 결과 최종 구성항목-프로그램 운영
• <표 Ⅳ-15>참여촉진 영역의 항목간 분석결과 종합
• <표 Ⅳ-16>모집활동방법 영역의 분석결과 종합
• <표 Ⅳ-17>안전위생관리 영역의 분석결과 종합
• <표 Ⅳ-18>운영자 역할 영역의 분석결과 종합
• <표 Ⅳ-19>사후관리연계협력 영역의 분석결과 종합
• <표 Ⅳ-20>운영환경 영역의 분석결과 종합
• <표 Ⅳ-21>탐색적 요인분석 결과-프로그램 평가
• <표 Ⅳ-22>요인분석 결과 최종 구성항목-프로그램 평가
• <표 Ⅳ-23>반응평가 영역의 분석결과 종합
• <표 Ⅳ-24>학습 및 행동평가 영역의 분석결과 종합
• <표 Ⅳ-25>결과평가 영역의 분석결과 종합
• <표 Ⅳ-26>요인분석결과-청소년활동 프로그램 평가준거체제 영역 및 항목
• <표 Ⅳ-27>요인분석결과-청소년활동 프로그램의 평가준거체제 13개 영역에 대한설명
• <표 Ⅳ-28>개발된 평가준거체제 영역과 요인분석 결과 평가준거체제 영역의 비교
• <표 Ⅳ-29>평가경험의 유무에 따른 평가핵심관련자의 인식 차이 검증
• <표 Ⅳ-30>소속에 따른 평가핵심관련자의 인식 차이 검증
• 그림 목차
• [그림 Ⅱ-1]프로그램 활동영역 흐름
• [그림 Ⅱ-2]프로그램 개발 상호작용 모형
• [그림 Ⅱ-3]Stake의 반응적 평가절차
• [그림 Ⅱ-4]ISD모형의 ADDIE과정개발 절차모형
• [그림 Ⅱ-5]CIPP평가모형
• [그림 Ⅱ-6]프로그램 논리의 개념 틀
• [그림 Ⅱ-7]금연 캠페인의 프로그램 논리
• [그림 Ⅱ-8]House의 평가모형 분류체계:철학적 자유주의와 관련된 주요평가 접근법
• [그림 Ⅱ-9]공리주의와 직관적 다원주의에 의해 구분된 House의 5가지 평가접근법
• [그림 Ⅱ-10]평가의 일반적 절차
• [그림 Ⅲ-1]4단계로 개념화한 프로그램평가 관련 변인의 총체적 관계
• [그림 Ⅲ-2]청소년활동 프로그램의 개념화 모형 제1단계:프로그램논리 차원
• [그림 Ⅲ-3]청소년활동 프로그램의 개념화 모형 제2단계:평가논리 차원
• [그림 Ⅲ-4]청소년활동 프로그램의 개념화 모형 제3단계:판단근거 자료수집 차원
• [그림 Ⅲ-5]청소년활동 프로그램의 개념화 모형 제4단계:평가결과 차원
• [그림 Ⅲ-6]평가준거체제 도출 흐름도
• [그림 Ⅳ-1]평가준거체제의 개발과 타당화 연구 절차
• [그림 Ⅳ-2]평가준거체제의 타당화 방법 절차