사용성 관점에서 호주 전자정부 포털사이트의 평가 방법론 영문: A USABILITY FOCUSED METHODOLOGY FOR EVALUATING E-GOVERNMENT WEB PORTALS IN THE AUSTRALIAN CONTEXT

국문 초록 (Abstract)

전자정부의 성공요인 중 하나로 포털사이트의 구축을 들 수 있다. 포털사이트는 정부관련 웹사이트가 링크되고 있는 관문으로써, 이를 통해 시민들은 보다 편리하고 쉽게 정부관련 기관의 정보 획득 및 민원서비스를 제공받을 수 있어야 한다. 정부 포털사이트가 성공적으로 운영되기 위해서는 이용자들이 만족할 수 있어야하고, 적절한 평가를 통한 지속적인 개선이 요구된다. 지금까지 사용성은 웹사이트 평가를 위한 보편적 기준으로 인식되어 왔다. 사용성을 평가하기 위해서는 분석적인 방법이 요구된다. 사용성이 높은 정부 포털 사이트는 정보획득을 용이하고 각종 민원서비스 처리에 도움을 준다.
본 연구는 사용성 관점에서 호주 전자정부 포털사이트를 평가하는 것이 목적이다. 계층적 분석과정(AHP)과 이용자 테스트를 결합한 방법을 제안하였다. 평가 대상 사이트에는 6개의 주정부와 2개 영토 포털사이트가 포함된다. 본 연구는 웹사이트 평가를 의사결정 문제라는 새로운 관점으로 접근하고 기존의 체크리스트 평가 방법을 개선하였다. AHP 모델에서 평가기준의 중요도는 사용자의 주관적인 판단에 의존한다. 본 연구에서는 두 개의 의사결정 그룹이 참여할 때 종합적인 중요도를 합성하는 방법을 제안하였다. 또한 평가기준이 많을 경우 쌍비교 회수를 줄이기 위한 방법으로 7점 척도의 체크리스트를 개발하여 각 세부기준에 대한 중요도를 측정하였다.
본 연구 내용은 다음과 같다. 첫째, 전자정부의 기본 개념과 세계 전자정부 평가 방법 및 결과를 소개하고 문헌고찰을 통하여 웹사이트에 대한 사용성의 기본 개념, 사용성 측정 방법에 대한 선행연구 결과를 기술하였다. 그리고 대한민국 전자정부 사이트를 대상으로 한 사용성 평가 결과를 정리하였다. 우리는 이러한 연구를 통하여 어떤 기준들이 호주 전자정부 사용성 평가에 사용되어야 하는지를 밝혔다. 둘째,호주 주정부 포털사이트의 사용성 준수 여부에 대한 내용분석을 실시하고 상호 비교하였다. 셋째, 65개 기준으로 구성된 AHP 모델을 구축하였다. 넷째, 두 개의 의사결정자 그룹이 참여할 때 평가기준의 중요도와 평가대안의 합성된 중요도를 계산하는 새로운 알고리즘을 제안하였다. 다섯째, 이용자 테스트를 대신한 난수 발생방법을 사용하여 제안된 방법을 구현하였다.

다국어 초록 (Multilingual Abstract)

The e-government portal as a gateway linking many e-government websites is one of the most important factors in successful e-government implementation. Citizens should be comfortable with their use of the e-government portal and visit the site as frequently as needed without any difficulties. To achieve this, the portal design should be improved through appropriate assessment. Usability concepts are significant criteria for website evaluation. Usable e-government portals make citizens willing to search for helpful information or solve their civil applications. As usability is regarded as one of the most significant criteria for evaluation of e-government websites, it is useful to develop an analytical method to evaluate usability. Generally analytical methods provide more accurate, consistent, and verifiable results than checklist methods.
The objective of this paper is to suggest an Analytic Hierarchy Process (AHP) method for evaluating Australian e-government portals at state levels, with a primary focus on usability. The Australian e-government portals are alternatives of the AHP model, which represent Australian six states and two territories. E-government users or citizens judge the satisfaction with portals, because the weighting is based on subjective concepts and is dependent on users’ perceptions. Two decision maker groups should be involved and the overall weights of portals should be synthesized through the judgements of two groups. A pairwise comparison in the AHP is time-consuming and not cost effective with many criteria. If the number of sub-criteria exceeds the main criteria and there are many alternatives, a pairwise comparison may be virtually impossible and it becomes necessary to reduce the number of comparisons. For evaluating a portal with respect to a sub-criterion, we develop checklist items as measure scales with a seven-point rating. This method is efficient as it enable us to avoid the pairwise comparison mechanism between sub-criteria.
In this paper, first, through a literature survey, we derived usability criteria suitable for e-government portals. We reviewed the previous work related to the evaluation of e-government, e-government websites and the usability principles for commercial website. In particular, we investigated and summarized the result of evaluation of Korean e-government web sites based on usability. Second, we described the characteristics of the Australian state government portals from the perspective of usability and compared them to determine how well they observed general usability principles. The comparison on the four dimensions of major content topics, page layout and positive and negative viewpoints regarding usability was summarized. Third, we developed an AHP model hierarchy, classifying usability criteria and questions to measure portals. The AHP model consists of 65 criteria. The significance or weight of portals was rated with respect to usability criteria through a user testing method using a questionnaire survey instead of a pair-wise comparison. A new computation procedure for the AHP was developed that combined and synthesizes priorities of portals in the case that two decision maker groups of web designers and citizens were involved. Fourth, we proposed an algorithm to synthesize the overall priority of criteria and portals when the two groups of decision makers were involved. Finally, in order to demonstrate our methodology, we developed judgment data for users by random number generation as an alternative of user testing with actual subjects.