정보화지원사업의 인과적 평가모형 개발에 관한 실증적 연구 = (An)empirical study on the development of the causal evaluation model for informatization programs

다국어 초록 (Multilingual Abstract)

The purpose of this research is to develop theperformance evaluation model of the informatization programs within the framework of 5W1H, through theoretically reviewing the related theoretical paradigms, models, systems, and the domestic and foreign cases of IT management evaluation. The developed model focuses on systematically and analytically evaluating the performance of the informatization supporting programs, and assuring the reliability and usefulness of the evaluation result.

The model consists of three evaluation phases, five evaluation areas, and twenty-two evaluation items through logically reasoning the interrelationship between components of the performance evaluation system. The model is empirically validated by using the coincidence analyses, causality analyses, and AHP analyses.
The implications of this research are as follows.
First, the diverse components related to performance evaluation systems are systematically integrated within the framework of 5W1H.
Second, the integrated performance evaluation model can provide the comprehensive and analytical view for the desirable performance management of the various types of informatization programs including the informatization supporting program.
Third, the measurements of the model are identified and developed to systematically measure the performance of the informatization supporting program from the viewpoint of prior evaluation, on-going evaluation, and post evaluation according to the phases of the informatization program.
Fourth, the criteria and procedures of the coincidence analyses, which until now have been overlooked in the practice, are established.
Fifth, the causal relationships between the evaluation items belong to system performance area, user performance area, and organization performance area are empirically verified.
Sixth, the difference of the weights among evaluation phases, evaluation areas, and evaluation items are derived by AHP analyses.

국문 초록 (Abstract)

본 연구에서는 정보화지원사업 성과평가체계에 관한 이론적 패러다임, 주요 이론적 모형, 국내·외 주요 성과평가 제도 및 사례분석을 통하여 정보화지원사업의 중요한 제반 측면과 그 가치를 체계적이고 분석적으로 평가하고 평가결과의 신뢰성과 유용성을 추구하기 위한 5W1H기반의 성과평가체계를 정립하였다.
또한 성과평가체계의 제구성요소간의 상호 논리적인 관계추론을 통하여 3개 평가시점 및 5개 평가영역, 22개 평가항목으로 구성된 정보화지원사업의 통합적 성과평가모형을 구축하고 이를 대상으로 부합성 분석, 인과관계 분석, AHP 분석 등의 실증적인 검증을 수행하였다.
본 연구의 주요 의의는 다음과 같다.
첫째, 성과평가와 관련한 주요 이론 및 실제 현장에서 활용되고 있는 평가제도 및 사례에서 부분적으로 나열식으로 제시되고 있는 다양한 주제의 성과평가체계 관련 요소들을 5W1H 관점에서 체계적·통합적으로 정립을 했다는 점이다. 이를 통해서 연구대상 평가모형의 장단점 및 한계점을 파악하고자 할 때 비판적 아이디어를 얻을 수 있을 것이다.
둘째, 정보화지원사업을 비롯한 다양한 유형의 정보화사업 추진전반과정을 대상으로한 바람직한 성과관리를 위한 통합적·분석적 시각을 제공할 수 있는 통합적 성과평가모형을 개발했다는 점이다. 사업추진단계에 맞추어 평가시점, 투자효과 창출단계, 평가단위, 평가관련기관, 평가목적, 평가영역 및 평가항목, 그리고 상황적 요인 등 평가모형의 개발 및 실제평가업무실시상황에서 고려되어야 하는 제반 요소들간에 어떻게 적합성을 유지하고 서로 연계되도록 해야 하는지에 대한 준거모형으로 활용될 수 있을 것이다.
셋째, 정보화사업 추진단계에 따른 사전평가-진행평가-사후평가 관점에서 정보화지원사업의 성과를 체계적으로 측정할 수 있는 측정지표들을 포괄적으로 도출하였다. 개발된 통합적 성과평가모형은 다양한 유형의 정보화지원사업에 적용될 수 있으므로 각 평가현장의 상황에 맞추어 본문에서 제시된 측정지표를 적절히 활용함으로써 실질적이면서도 체계적인 평가가 이루어질 수 있을 것이다.
넷째, 그동안 실제 성과평가 현장에서 간과시 되어 왔던 부합성 분석과 관련하여 그 기준 및 분석절차를 체계적으로 확립했다는 점이다. 측정용이성 및 측정신뢰성, 내용타당성 등의 부합성 평가기준에 따라 이를 충족하지 못하는 측정지표들이 구체적으로 탈락되는 것을 보여줌으로써 타당도와 신뢰도가 확보된 측정지표에 대한 방대한 수집 및 개발과 병행하여 측정용이성 및 측정신뢰성, 내용타당성 등의 실질적인 적용가능성에 대한 고려가 반드시 수반되어야 할 것이다.
다섯째, 투자효과 창출단계, 즉 시스템성과영역→사용자성과영역→조직성과영역의 성과의 흐름에 따라 성과가 차별적으로 발생한다는 인과적인 관계설정을 실증적으로 규명해 내었다는 점이다.
이를 통해 그동안 선행적인 연구문헌들에서 개념적인 차원에서 또는 부분적인 실증분석을 통해서 제시되었던 정보화투자성과의 인과적인 메커니즘을 실증적으로 뒷받침할 수 있게 됨에 따라 각 단계별로 평가영역 및 평가항목 등의 적용시에 분명한 관계설정 및 규명이 가능한 지표의 사용이 요망된다.
여섯째, 통합적 성과평가모형을 구성하는 평가시점간, 평가영역간, 평가항목간의 가중치가 다르다는 점을 AHP 분석을 통해서 밝힘으로써 성과평가에 대한 다양한 이해관계 및 입장을 합리적으로 통합·조정할 수 있는 방법을 제시하였다.

목차 (Table of Contents)

• Ⅰ. 서 론
• 1.1 연구의 배경 및 목적
• 1.2 연구의 범위 및 방법
• 1.3 연구의 구성
• II. 정보화지원사업 성과평가체계에 관한 이론적 고찰
• 2.1 정보화지원사업 성과평가체계의 개념
• 2.1.1 정보화정책과 정보화사업, 정보화지원사업
• 2.1.2 성과와 성과관리, 성과평가, 성과감사
• 2.1.3 성과평가체계와 성과평가모형
• 2.2 정보화지원사업 성과평가체계의 이론적 패러다임
• 2.2.1 IT투자의 생산성 역설
• 2.2.2 IT투자 성과평가 패러다임
• 2.3 정보화지원사업 성과평가와 관련된 주요 이론적 모형
• 2.3.1 Porter(1980)의 5대 경쟁세력모형
• 2.3.2 Hamilton & Chervany(1981)의 평가모형
• 2.3.3 Porter & Millar(1985)의 가치사슬모형
• 2.3.4 Benson & Parker(1988)의 정보경제학모형
• 2.3.5 DeLone & McLean(1992)의 정보시스템성공 모형
• 2.3.6 Saunders & Jones(1992)의 IS부서성과모형
• 2.3.7 Kaplan & Norton(1992)의 BSC 모형
• 2.3.8 Heatley, Agarwal & Tanniru(1995) 모형
• 2.3.9 Grover, Jeong & Segars(1996) 모형
• 2.3.10 Marchand, Kettinger and Rollins(2000, 2001)의 IO모형
• 2.3.11 DeLone & McLean(2003)의 수정된 IS성공모형
• 2.4 정보화지원사업 성과평가체계의 국내·외 주요 사례분석
• 2.4.1 국내 정보화지원사업 성과평가 동향 및 체계
• 2.4.2 해외 정보화지원사업 성과평가 동향 및 체계
• 2.4.3 국내·외 정보화지원사업 성과평가체계의 한계점 및 개선방향
• 2.5 정보화지원사업 성과평가체계의 정립
• 2.5.1 성과평가체계와 메타평가
• 2.5.2 정보화지원사업 성과평가체계의 구성요소
• III. 정보화지원사업 성과평가모형
• 3.1정보화지원사업 성과평가모형의 구축
• 3.1.1 사업추진단계와 평가시점의 관계
• 3.1.2 평가시점별 평가단위와 관련 기관의 관계
• 3.1.3 투자효과 창출단계별 평가목적 및 평가영역과의 관계
• 3.1.4 평가영역별 평가항목의 설정
• 3.2 정보화지원사업의 통합적 성과평가모형
• 3.3 정보화지원사업 평가시점별 평가항목 및 측정지표
• 3.3.1 사전평가
• 3.3.2 진행평가
• 3.3.3 사후평가
• 3.4 상황요인별 정보화지원사업 성과평가모형
• 3.4.1 정보화지원사업 성과평가시 상황적 접근의 필요성
• 3.4.2 정보화지원사업 성과평가시 고려해야할 주요 상황요인
• 3.4.3 정보화지원사업 유형별 성과평가 모형
• IV. 연구설계
• 4.1 부합성 분석을 위한 연구설계
• 4.1.1 부합성 분석 실시의 의의
• 4.1.2 부합성 분석을 위한 평가기준의 설정 및 설문 개발
• 4.1.3 부합성 분석을 위한 표본추출 및 자료수집
• 4.2 인과적 분석을 위한 연구설계
• 4.2.1 인과적 분석 실시의 의의
• 4.2.2 인과적 분석을 위한 연구모형의 설정 및 가설도출
• 4.2.3 인과적 분석을 위한 변수의 조작적 정의 및 측정
• 4.2.4 인과적 분석을 위한 표본추출 및 자료수집
• 4.3 AHP 분석을 위한 연구설계
• 4.3.1 AHP 분석 실시의 의의
• 4.3.2 AHP 분석모형 설정 및 쌍대비교표 개발
• 4.3.3 AHP 분석을 위한 표본추출 및 자료수집
• V. 실증분석
• 5.1 부합성 분석
• 5.1.1 부합성 분석절차
• 5.1.2 부합성 검증절차별 주요내용
• 5.1.3 부합성 분석 결과 및 논의
• 5.2 인과적 분석
• 5.2.1 연구변수 및 측정지표의 구성
• 5.2.2 연구모형 및 측정지표의 타당도와 신뢰도 검증방향
• 5.2.3 측정지표의 타당도 및 신뢰도 분석
• 5.2.4 가설검정
• 5.3 AHP 분석
• 5.3.1 AHP 분석 절차 및 절차별 주요 내용
• 5.3.2 AHP 분석결과 및 논의
• VI. 결 론
• 6.1 연구의 요약
• 6.2 연구의 의의 및 시사점
• 6.2.1 이론적 측면
• 6.2.2 실천적 측면
• 6.3 연구의 한계 및 향후 연구방향
• 6.3.1 연구의 한계
• 6.3.2 향후 연구방향
• <참고문헌>