대학평생교육원의 BSC 성과평가모형 개발 = Development of BSC performance evaluation model for university lifelong education center

국문 초록 (Abstract)

평생교육의 중요성이 나날이 강조되면서 양적으로 꾸준한 성장을 이루어온 대학평생교육원은 최근에 ‘고등교육기관의 평생교육 기능 강화’를 목표로대학을 중심으로 한 평생교육 정책이 시행됨에 따라 대학평생교육의 중심기관으로 경영차원에서 질적 제고의 필요성이 제기되고 있다. 그리고 평생교육 이념의 실현이라는 대학평생교육원의 미션과 비전 달성을 위해서도 중장기적 경영전략과 연계할 수 있는 성과평가가 필요하다. 또한 기존의 평생교육학의 평가 연구는 주로 평생교육 프로그램의 참여 지속 및 확산을 위한 프로그램 및 사업의 효과성 분석에 편중되어 왔고, 기관차원의 성과평가를 통해 경영을 지원하려는 시도는 미비한 편이었다.
따라서 본 연구는 대학평생교육원의 성과평가체계 구축을 위해 기관차원의 포괄적 BSC 성과평가모형의 개발과 모형의 실용성을 고려하여 BSC 성과평가모형의 상대적 중요도를 산출하는 것을 목적으로 하였다. 이러한 연구의 목적을 달성하기 위해 연구문제는 첫째, 대학평생교육원의 BSC 성과평가모형은 어떤 체계로 구안, 설계되는가? 둘째, 대학평생교육원의 BSC 성과평가모형의 관점, 핵심성과요인, 핵심성과지표의 내용타당도는 어떠한가? 셋째, 대학평생교육원의 BSC 성과평가모형의 관점, 핵심성과요인, 핵심성과지표의 상대적 중요도는 어떠한가?로 설정하였다.
본 연구에 사용한 연구방법은 문헌연구와 전문가 면접 조사, 델파이 기법, 계층화 분석법이었다. 이와 같은 방법으로 수행되어 도출된 본 연구의 결과는 다음과 같다.
첫째, 대학평생교육원 BSC 성과평가모형의 체계는 문헌연구와 평생교육원 실무자 및 평생교육 전문가 10명의 면접 조사를 병행하여, 대학평생교육원의 미션과 비전으로부터 설정된 관점과 핵심성과요인, 핵심성과지표의 위계구조로 구안하여 성과평가모형 초안이 설계되었다. 초안의 첫 번째 위계에서 대학평생교육원의 미션과 비전을 달성을 위한 성과를 조망할 수 있는 시각인 관점은 ‘학습자 및 이해관계자’ 관점, ‘업무프로세스’ 관점, ‘조직(원)의 학습 및 성장’ 관점, ‘자원’ 관점 4가지가 도출되었다. 두 번째 위계인 핵심성과요인은 각 관점별로 3~4개씩, 총 13개가 도출되었고, 마지막 위계인 핵심성과지표는 각 핵심성과요인에 따라 3~5개씩, 총 56개를 도출하였다.
둘째, 대학평생교육원 BSC 성과평가모형의 내용타당도를 확보하기 위해 평생교육 전문가 패널 34명을 대상으로 두 차례 델파이 조사를 실시하였다. 델파이 조사의 내용타당도는 패널의 의견 일치 정도를 산출하는 CVR 값으로 확인하였다. 본 연구의 1차 델파이 조사 결과에서 CVR 최소값 0.33을 기준으로 통계치가 낮은 항목은 수정하거나, 문항 교체, 항목 통합 등의 방법으로 보완하였고, 이 과정을 거친 2차 델파이 조사 결과에서는 성과평가모형의 내용타당도가 모든 항목에서 개선된 것으로 확인이 되었다. 이와 같이 내용타당도가 확보되어 ‘학습자 및 이해관계자’, ‘업무수행 프로세스’, ‘조직(원)의 학습 및 성장’, ‘자원’의 4개 관점과 13개 핵심성과요인과 각 핵심성과요인에 따른 54개의 핵심성과지표가 대학평생교육원의 BSC 성과평가모형으로 확정되었다.
셋째, 계층화 분석법을 이용하여 다수 전문가 패널의 의견 수렴과정을 통해 성과평가 항목 간의 가중치를 분석하여 모형의 관점, 핵심성과요인, 핵심성과지표 항목 간의 상대적 중요도를 제시하였다. 대학평생교육원 BSC 성과평가모형의 중요도는 첫 번째 위계인 관점에서는 ‘학습자 및 이해관계자’ 관점이, 두 번째 위계인 핵심성과요인 13개 중에서는 ‘학습자 만족 제고’가, 마지막 위계인 핵심성과지표 54개 가운데는 ‘학습자 만족도’가 가장 중요한 것으로 도출되었다. 이를 통해 대학평생교육원의 질적 제고를 위한 경영에서 집중적으로 성과관리를 해야 할 관점, 핵심성과요인, 핵심성과지표를 확인하였고, 경영에서 주요 관심을 가져야 하는 영역을 안내하였다. 또한 우선순위로 분석된 관점, 핵심성과요인, 핵심성과지표는 향후 성과평가를 바탕으로 대학평생교육원 경영 및 평생교육 사업 등에 대한 개선 및 혁신을 할 방법론의 역할을 제공할 것이다.
이상의 결과을 통해 본 연구는 다음과 같은 함의를 도출할 수 있다.
대표적 평생교육기관인 대학평생교육원의 BSC 성과평가모형은 대학평생교육원을 대상으로 개념적이고 실증을 위한 평가도구로 활용할 수 있다. 대학평생교육원의 사회적 책무성 확보 및 대학의 예산 지원과 확산을 위한 객관적 자료를 제공할 수 있는 경영차원 평가도구의 개발이라는 점에서 의미가 있다.
또한, 본 연구의 대학평생교육원의 BSC 성과평가모형과 모형 구성 항목의 상대적 중요도 확인에 의한 가중치 성과평가지표 도출은 대학평생교육원을 비롯한 평생교육기관 평가실무에 중요한 기준을 마련하였다는 데 의의가 있다.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1. 연구의 필요성 및 목적 1
• 2. 연구 문제 5
• 3. 용어 정의 6
• 4. 연구의 제한점 7
• Ⅱ. 이론적 배경 8
• 1. 대학평생교육원의 가치와 경영 특성 8
• 2. 기관 성과평가와 BSC의 이론적 접근 21
• 3. BSC 성과평가모형 설계 37
• 4. 성과평가모형 개발 방법의 탐구 43
• Ⅲ. 연구 방법 56
• 1. 연구 절차 56
• 2. BSC 성과평가모형 초안 설계 방법 59
• 3. BSC 성과평가모형의 타당화 방법 63
• 4. BSC 성과평가모형의 가중치 산정 방법 67
• Ⅳ. 연구결과 71
• 1. 대학평생교육원의 BSC 성과평가모형 초안 71
• 2. 대학평생교육원의 BSC 성과평가모형 타당화 87
• 3. 대학평생교육원의 BSC 성과평가모형 중요도 산출 124
• Ⅴ. 결론 149
• 1. 요약 149
• 2. 논의 151
• 3. 제언 158
• 참고문헌 161
• 부 록 173
• 1. 전문가 면접 조사 참여자 174
• 2. 전문가 면접 조사 질문지 175
• 3. 델파이 전문가 패널 179
• 4. 1차 델파이 조사 질문지 181
• 5. 2차 델파이 조사 질문지 190
• 6. 가중치 평정 델파이 질문지 199
• 7. 핵심성과지표 산출 방법 207
• Abstract 210

참고문헌 (Reference)

1. 평가모형, 배호순, , 1998

2. BSC 실천매뉴얼, 성은숙, 김희경, , 2001

3. 미래학의 이해, 박순창, 청목, , 2013

4. 평생교육경영학, 오혁진, 학지사, , 2003

5. The Balanced Scorecard, Kaplan,R.S., , 1996

6. 2004 평생교육백서, 교육인적자원부, , 2004

7. 전략 BSC 성과혁신, 성은숙, , 2009

8. 2006 평생교육 백서, 한국교육개발원, 2006 평생교육백서, , 2006

9. 2010년 평생교육백서, 평생교육진흥원, 교육과학기술부, , 2010

10. 2011?2012 평생교육백서, 국가평생교육진흥원, , 2013

11. TheAnalyticHierarchyProcess-, Zahedi, , 1986

12. 리더를 위한 의사결정, 권철신, 홍순욱, , 2000

13. Terminology of Adult Education, UNESCO, TerminologyofAdultEducation, , 1979

14. 2013 평생교육통계자료집, 교육부, 한국교육개발원, , 2013

15. 평생교육 지표 개발 연구, 최돈민, 평생교육 지표 개발 연구, , 2003

16. 평생교육프로그램개발론, 김용현, 양서원, , 2010

17. 인적자원개발 : 이론과 실천, 장원섭, 학지사, , 2015

18. 시·도교육청 평가 준거 개발, 김귀숙, 시?도교육청 평가 준거 개발, , 2010

19. TP 사회복지 program 개발과 평가, 우수명, 인간과복지, , 2007

20. Decision Making forLeaders.RWS Publishings, Saaty, , 1995

21. The Balanced Scorecard-Measures that Drive, Norton,D.P., , 1992

22. A quantitative approach to content validity, Lawshe, A Quantitative Approach to Content Validity, , 1975

23. Techniques for evaluating training programs, Kirkpatrick, Techniques for Evaluating Training Programs, , 1959

24. TheDelphimethodinFuturesResearchMethodology, Gordon, The DelphiMethod in Futures Research Methodology, , 1994

25. 진로상담전문가의 역량모형 개발, 유현실, 서울대학교 대학원, 서울대학교 대학원 박사학위논문, , 2009

26. AHP에 의한 의사결정 : 이론과 실제, 박용성, 교우사, , 2012

27. Basic principles of curriculum and instruction, Tyler, Ralph W, Chicago University Press, BasicPrinciplesofCurriculum andInstruction, , 1971

28. The Origins and Functions ofEvaluative Criteria, Sadler, , 1985

29. 지방교육행정기관 평가제도의 평가, 김태환, , 2007

30. 대학평생교육 발전방안에 관한 연구, 한상훈, 충남대학교 교육발전연구소, "교육발전논총, , 2001

31. 교육행정부문의 BSC 적용에 관한 연구, 김영준(Kim Young-joon), 라은종(Ra Eun-jong), 한국교육행정학회, "교육행정학연구, , 2006

32. 평생교육경영학의 지향점과 연구과제, 오혁진, 한국평생교육학회, "평생교육학연구, , 2002

33. 제3차 평생교육진흥기본계획(2013∼2017), 교육부, , 2013

34. The Delphimethod an experimentalstudy ofgroupopinion, Dalkey, TheDelphiMethod:An ExperimentalStudy ofGroupOpinion, , 1969

35. 평가의 원리:교육 프로그램을 중심으로, 배호순, , 1990

36. 평생교육 기관의 역할과 기능 정비방안, 최돈민, , 2013

37. 평생학습도시 사업 평가체제 구축 방안, 권두승(Kwon Doo-Seung), , 2006

38. 고등교육기관에 대한 BSC 참조 모형 개발, 서우종(Suh, Woojong), 홍진원(Hong, Jinwon), 인하대학교 산업경제연구소, "경상논집, , 2010

39. 비영리조직에서의 균형성과표 적용방안, 김순기, 김봉기, 서강대학교 경영학연구원, "서강경영논총, , 2001

40. 앞서가는 리더들의 계층분석적 의사결정, 강현수, 조용근, 조근태, , 2005

41. Current Validity of the Delphi Method in SocialSciences, Landeta, , 2006

42. 공공부문 BSC시스템 수용에 관한 실증연구, 권오준, 단국대학교, 단국대학교 대학원 박사학위논문, , 2008

43. 비영리조직에서의 BSC의 적용에 관한 연구, 박민서, , 2008

44. 성인문해교육 지원 사업의 성과 분석 연구, 변종임(Byun, Jong-Im), 박소연(Park So-Yeon), 이경아(Lee Kyung-Ah), 한국평생교육학회, "평생교육학연구, , 2007

45. 내부마케팅에 의한 대학평생교육기관 경영, 정기수(Jung, Ki Soo), 한국평생교육학회, "평생교육학연구, , 2009

46. 소믈리에 자격증 평가항목개발에 관한 연구, 고재윤, 정미란, 소믈리에 자격증 평가항목 개발에 관한 연구, , 2006

47. The Analytic Hierarchy Process-What It Is and How It IsUsed, Saaty, TheAnalyticHierarchyProcess:Whatitisand how itisused, , 1987

48. The DelphiTechnique as a ForecastingTool:Issuesand Analysis, Rowe, G., Wright, Rowe, , 1999

49. 방과후 학교 프로그램 평가준거 및 도구 개발, 임현성, 동의대학교 대학원, 동의대학교 대학원 석사학위논문, , 2007

50. An Overview ofAnalyticHierarchy Processand It‘sApplications, Vargas, , 1990

51. High LevelDecisions:ALessonfrom theIranHostageRescueOperation, Saaty, Vargas, Barzliay, , 1982

52. Using the Balanced Scorecard as a Strategic Management System, Kaplan,R.S., , 1996

53. 정부와 공공부문 BSC:성과관리체계 구축방법론, 삼일PwC컨설팅, , 2005

54. 평생학습 지표개발 및 통계조사체제 수립연구, 최지희, 한숭희, 조대연, , 2007

55. Shaping the balanced scorecard for use in UK social enterprise, Somers, , 2005

56. 마케팅 개념에 의한 평생교육 참여현상의 이해, 김한별, 한국성인교육학회, "AndragogyToday, , 2007

57. Strategy Map:Converting IntangibleAssets into Tangible Outcomes, Kaplan, Norton, , 2004

58. 대학 부설 평생교육원 프로그램 평가 도구 개발, 이규영, 한국평생교육학회, "평생교육학연구, , 2004

59. 평생학습도시 교육사업의 통합적 성가평가모형, 박혜영, , 2009

60. 평생학습도시 교육사업의 통합적 성과평가모형, 박혜영, 박혜영, 고려대학교 대학원, "박사학위 논문, , 2009

61. BSC 관점에서의 지역정보화 성과평가에 관한연구, 성도경, 장철영, 이지영, , 2008

62. Balanced Scorecard Step by Step: Maximizing andMaintainingResult, Niven, , 2002

63. 평생교육기관에서의 학습성과에 대한 질적 분석, 정민승(Jung Min-Seung), 최운실(Choi Un-shil), 한국평생교육학회, "평생교육학연구, , 2007

64. The Research Act: A Theoretical Introduction toSociologicalMethod, Denzin, , 1970

65. 비지니스 영어 평가내용 개발을 위한 델파이연구, 최윤미, , 2001

66. 평생교육기관 경영전략분석에 관한 SWOT 조사연구, 이장익, 한국성인교육학회, "AndragogyToday, , 2006

67. 장애인직업재활시설의 경영성과평가에 관한 연구, 나운환, 김동주, , 2007

68. BSC를 활용한 출연연구기관 기관평가제도의 유효성, 김병태, , 2007

69. 경인지역 평생교육기관의 경영특성과 성과의 관계, 이만표, , 2003

70. 대학평생교육원 성인학습자의 학습성과 인식 연구, 김애련, 김애련, 단국대학교 대학원, "평생교육학연구, , 2004

71. 한국의 평생학습지도:KEDI평생교육통계를 중심으로, 홍영란, 현영섭, , 2009

72. BSC를 활용한 물류기업간 제휴성과에 관한 실증연구, 권오경 ( Oh Kyoung Kwon ) , 방희석(Heeseok Bang), 한국해운물류학회 (구 한국해운학회), BSC를 활용한 물류기업간 제휴성과에 관한 실증연구, , 2009

73. 대학 부설 평생교육원 담당자의 직무역량 요구분석, 이윤수, 권대봉, 김희동, 김재현, 한국방송통신대학교 원격교육연구소, "평생학습사회, , 2013

74. 대학 행정지원부문에서의 BSC 도입방안에 관한 연구, 서대석, 嶺南大學校社會科學硏究所, "사회과학연구, , 2002

75. The Methodology of Evaluation.In R.E.Stake(Ed.).Curriculum evaluation, Scriven, , 1967

76. The CIPP Model for Evaluation In D. L.Stufflebeam & T. Kellaghan(Eds.), Stufflebeam, , 2003

77. Performance drivers : a practical guide to using the balanced scorecard, Olve, Nils-Go@an, J. Wiley, , 1999

78. 비영리조직에서의 BSC(균형성과표)의 적용에 관한 연구, 박민서, , 2008

79. 성인교육 프로그램 질에 대한 학습자의 평가준거 연구, 전주성, 오혁진, 한국평생교육학회, "평생교육학연구, , 2003

80. 장애인 복지기관의 BSC 성과평가모형 개발에 관한 연구, 김은희(金銀嬉), 한국정책과학학회, "한국정책과학학회보, , 2010

81. 부산지역 대학 평생교육원의 운영 실태 및 활성화 방안, 윤명희, 김영미, 박재국, 이충렬, 서희정, 숭실대학교 한국평생교육 · HRD연구소, "평생교육?HRD 연구, , 2009

82. 청소년활동 프로그램의 논리주도적 평가준거체제 개발, 임지연, 고려대학교 대학원, 고려대학교 대학원 박사학위논문, , 2006

83. 전문대학교의 성공요인과 BSC적용 성과관리에 관한 고찰, 윤여송, 윤여송, 서울시립대학교 경영대학원, , 2011

84. BSC를 활용한 서울시내 특1급 호텔의 KPI 개발에 관한 연구, 김학준 ( Hak Jun Kim ) , 김대관 ( Dea Kwan Kim ) , 박양우 ( Yang Woo Park ), 한국호텔외식경영학회, , 2009

85. 평생교육의 활성화를 위한 고등교육 체제 개혁 방안 연구, 윤여각, , 2000

86. 균형성과표를 활용한 공공병원의 성과관리 모형개발 연구, 김영환, 순천향대학교 일반대학원, 순천향대학교 대학원 박사학위논문, , 2006

87. 공무원이 지각한 교육청 BSC 성과관리제도 운영에 관한 연구, 변영훈, , 2009

88. BSC(균형성과표)운영개선 방안연구:경기도 교육청을 중심으로, 최진용, , 2012

89. 평생교육기관의 사업성과 평가시스템 개발 및 운영방안 연구, 김경화(Kim Kyung-Hwa), 한국교육행정학회, "교육행정학연구, , 2005

90. 학교정보화사업의 BSC 평가모형 개발과 성과분석에 관한 연구, 천무영, , 2011

91. 평가모형에 기반한 보험전문직 계속교육의 변천과정 사례연구, 이봉섭, 중앙대학교 대학원, 중앙대학교 대학원 박사학위논문, , 2010

92. 외항선사의 효율적인 전략관리를 위한 BSC의 유용성에 관한연구, 이윤재, , 2007

93. BSC를 이용한 학술정보 유통기관의 성과지표 개발 및 중요도 분석, 곽승진, Kim, Hwan-Min, 최재황, 김환민, Choi, Jae-Hwang, Kwak, Seung-Jin, 한국문헌정보학회, , 2007

94. 평생교육기관 성과평가를 위한 균형성과표(BSC)의 적용 가능성 탐색, 서희정, , 2013

95. CIPP 평가모형을 활용한 시ㆍ도교육청 직업교육 발전 방안 분석 연구, 김대들, 이찬주, 이병욱, , 2011

96. R&D 평가시스템 이론적 체계 구축 및 적용방안에 관한 연구.정책연구, 이정원, , 2000

97. 평생교육기관 이미지 측정모델 개발 및 평생교육기관간 이미지 비교, 권두승(Kwon Doo-Seung), 한국평생교육학회, "평생교육학연구, , 2006

98. CIPP평가모형 적용을 통한 중학교 방과후학교 프로그램 평가지표 개발, 한홍련, , 2011

99. 초등학교 특별보충과정 프로그램 평가척도 개발:CIPP 평가모형의 적용, 전화춘, , 2009

100. Focus on quantitative methods: Selection and use ofcontent experts for instrument development, Davis, Grant, , 1997

101. BSC 성과관리제도의 수용성 제고 방안 연구:충청남도 교육청을 중심으로, 유희성, , 2011

102. BSC관점에서 과학기술계 정부출연연구교육기관 성과측정 평가체계 개발, 신서경, 송해덕, 숭실대학교 한국평생교육 · HRD연구소, , 2010

103. 평생학습 중심대학의 성과 분석을 통한 대학의 평생학습체제 전환 방안, 최홍선, 광운대학교, 평생학습 중심대학의 성과 분석을 통한 대학의 평생학습체제전환 방안, , 2011

104. 영국의 대학확장 연구:대학사회교육 이념 형성과 제도화 과정을 중심으로, 양병찬, , 1997

105. 사회적 위험과 위기대응적 사회정책의 평가:AHP를이용한 상대적 중요도 분석, 김병규, 이곤수, , 2010

106. 성인학습자 관점에 기초한 사이버대학 교육프로그램 평가준거 개발 및 적용, 최종철, 홍익대학교 대학원, 성인학습자 관점에 기초한 사이버대학 교육프로그램 평가준거개발 및 적용, , 2008

107. ExpertOpinionsin Forecasting:TheRoleof the Delphi Technique in J. Armstrong (Ed.) Principles ofForecasting, Rowe, , 2001

108. 평생교육기관의 교육서비스질과 학습자만족에 영향을 미치는 마케팅 요인 분석, 김경희, , 2008

109. 평생교육기관 종사자 대상의 델파이 조사에 기초한 평생교육기관 경영의 변화 동향, 권대봉 ( Dae Bong Kwon ), 현영섭 ( Young Sup Hyun ), 한국인력개발학회, , 2007

110. 교육행정의 성과관리시스템 연계운영 방안에 관한 연구:부산광역시 교육청을 중심으로, 오진희, 부경대학교 행정학과, 부경대학교 대학원 석사학위논문, , 2008

111. AHP를 활용한 학술연구조성사업 발전 방향에 관한 연구:이공계분야 기초연구지원을 중심으로, 류세은, 노유진, , 2007

112. 제3차 평생교육포럼ㆍ제4차 평생교육정책포럼평생학습도시 발전을 위한 지원시스템 체계화 전략, 권두승, 양병찬, 이희수, , 2006

113. BSC의 비재무적 관점이 재무적 관점에 미치는 영향에 관한 실증적 연구 -경기지역 제조업을 중심으로, 장석인, 한국인적자원관리학회, , 2010

114. 장애인 직업재활시설의 경영성과평가에 관한 연구-균형성과표(BSC)와 계층분석적(AHP) 접근을 중심으로, 김동주, 장애인직업재활시설의 경영성과평가에 관한 연구:균형성과표(BSC)와 계층분석적(AHP)접근을 중심으로, , 2007

115. 2007년도 한국평생교육학회 하계학술연차대회 자료집:정착기 한국 평생교육의 발전과 과제(2000년 이후), 김진화, , 2007

116. The Critical Success Factor Method: Establishing aFoundation for Enterprise Security Management. Carnegie MellonSoftwareEngineeringInstitute, Caralli, , 2004