The Development and Validation of an Evaluation Use Scale for Multi-site Evaluations

Johnson, Kelli A ProQuest Dissertations & Theses University of Minn 2016 해외박사(DDOD)

Evaluation researchers and practitioners share a commitment to evaluation use, and the research community has focused on evaluation use because it is an essential component of the practice of evaluation. While evaluation use is among the most frequently studied topics in the field, a scale for measuring the use of evaluations in multi-site settings has yet to be validated. This study describes the development and validation of the Evaluation Use Scale for assessing program evaluation use and the factors associated with evaluation use in multi-site science, technology, mathematics, and engineering (STEM) education programs. The data used in this study were collected as part of the NSF-funded Beyond Evaluation Use study (Lawrenz & King, 2009) and included the development and administration of the NSF Program Evaluation Follow-up Survey, a web-based survey of project leaders and evaluators in four multi-site STEM education programs. The study used Messick's unitary concept of validity as a framework for assembling empirical evidence and theoretical rationales to assess the adequacy and appropriateness of inferences and actions based on the Evaluation Use Scale. The overall evidence in support of the validity of the Evaluation Use Scale as a measure of evaluation use in multi-site evaluations is mixed and varies by aspect of validity. In four of the six aspects, the evidence is adequate to strong. However, the evidence in the remaining two aspects is sharply split and, therefore, inconclusive.

중국과 미국 대학의 교수평가 비교 연구

염리한 우석대학교 대학원 2020 국내박사

In recent years, with the rapid development of Chinese society, it has put forward a constant increasing demand for talents, as well as higher requirements on the quality of instructors. Instructor evaluation is an important basis for university management, which can also guarantee university instructorsʼ quality. However, there still are many problems in China's university instructor evaluation system, which hinders the improvement of both instructor and student quality, thus making it necessary to reform the system. With the significant impact of the Higher Education System in America on global education pattern, and even thought the evaluation system of instructors in America ranks first in the world, American universities once had the same problems as Chinese universities. But through the guidance of the fourth generation evaluation theory and the integration of other countriesʼ experiences, American universities have formed a relatively mature instructor evaluation that is worth learning for Chinese universities. This thesis adopts literature review method and comparative method to conduct an in-depth research, and selects four universities as research objects, namely Beijing Normal University, Nanjing Normal University, University of California, Berkeley, and Georgia University, in which three questions are studied. First, What differences between a Chinese university and an American university about instructor evaluation? Second, What reform measures are needed for instructor evaluation at a Chinese university? Third, After the reform, what is the model of instructor evaluation in a Chinese university? First of all, the aim of Chinese and American university instructors evaluation are different. The aim of instructors evaluation is about rewarding or punishing in Chinese university, while the aim of instructors evaluation is to promote their career development of instructors in American university. Secondly, the teaching evaluation between Chinese and American university are also different. The instructor evaluation subject in Chinese universities is the group of administrators, while the subject in American universities is instructors themselves. Different from the evaluation methods of Chinese universities including student evaluation, peer evaluation, teaching supervision evaluation and teacher self-evaluation, those of American universities contain student evaluation, peer evaluation, teacher self-evaluation, alumni evaluation and teaching portfolio evaluation. Both them attach great importance to student and peer evaluation, but the American universities emphasizes more on peer evaluation. Chinese universities usually evaluate instructors by quantity, while quality becomes the major evaluation indicator in American universities. The result of instructor evaluation are used for the reward, punishment and promotion of instructors in Chinese universities, and those of American universities help the self-improvement and curriculum development of instructors. Finally, there are differences in academic evaluation on instructors between Chinese universities and American universities. The subjects of academic evaluation in Chinese universities are ʻadministratorsʼ, The subjects of academic evaluation in American universities are pluralistic with more attention paid to democratic participation, respectively. Chinese universities adopt ʻbibliometricʼ, peer evaluation and network measurement, while American universities employ peer evaluation as the main evaluation method, supplemented by quantification. The evaluation standard of Chinese universities is quantity, while the evaluation standard of American universities is quality. The instructor evaluation results of both Chinese and American universities are used for the promotion of instructors. Through comparison, the fourth generation evaluation theory is combined to propose reform measures. In order to ensure the authoritativeness of the evaluation results, the evaluation subject in Chinese universities should enlarge its scope, highlight the its advantages, and increase the participation of peers and experts. The method of instructor evaluation in Chinese university is supposed to highlight the negotiation behavior of relevant stakeholders, and not be limited to orders assigned by administrators, but focus on the implementation process of evaluation. The improvement of instructorsʼ values should be regarded as the standard rather than the number. The diversity of instructor should be fully respected, and corresponding evaluation policies should be formulated. The results of instructor evaluation should be evaluated twice, instead of being just a result, so as to assist in forming a circular evaluation process. At the same time, the participation of third-party evaluation institutions is also needed to guarantee the fairness of evaluation results. Based on reform measures, this thesis puts forward the model of Chinese university instructor evaluation, which provides the possibility for the establishment of instructor evaluation community. 최근 중국 사회가 급속도로 성장하고 있고, 인재에 대한 수요가 계속 높아지는 만큼 대학교수의 수준에 대한 기대치가 높아지고 있다. 대학의 교수평가는 대학의 정책 결정에 중요한 근거가 되고 교수의 수준도 보장할 수 있지만, 중국 대학의 교수평가 체계에 여러 문제가 나타하면서 교수의 수준과 학생의 수준이 떨어지게 되었고, 중국 대학의 교수평가 체계에 개혁이 불가피하게 되었다. 미국의 고등교육 평가시스템은 세계교육 구도 전반에 걸쳐 중요한 위치를 차지하고 있고 미국 대학의 교수평가 시스템이 세계의 선두에 위치해 있으나, 미국의 대학 역시 중국 대학과 유사한 문제가 있었다. 그러나 미국의 대학은 4세대 평가이론을 적용하고, 다른 국가의 경험을 융합하여 현재 비교적 성숙한 대학 교수평가 체계를 형성하고 있다는 점은 중국 대학이 참고할 만하다. 본 논문은 문헌 종합서술법과 비교법을 적용해 중국의 북경사범대학(北京師範大學)과 남경사범대학(南京師範大學)의 2개 대학과 미국의 버클리대학(University of California, Berkeley)과 조지아대학(Georgia University)의 2개 대학교를 대상으로 비교 연구를 실시하였다. 연구문제로는 첫째, 중국 대학의 교수평가와 미국의 대학 교수평가 사이에 어떤 차이가 있는가? 둘째, 중국 대학의 교수평가에 어떤 개혁이 필요한가? 셋째, 개혁을 통한 중국 대학의 교수평가 모형구축은 어떻게 해야 하는지를 설정하였다. 중국과 미국의 대학 교수평가는 평가목표의 측면에서 다르다. 중국 대학의 교수평가는 대학교수의 관리를 목적으로 하여 교수들을 격려하거나 징계하는 것이 목표이지만, 미국의 대학 교수평가는 교수들의 직업 전문성 발전을 촉진시키는 데 있다. 또한, 교수평가의 주체 측면에서 중국 대학의 평가 주체는 대학관리자이지만, 미국 대학의 평가 주체는 교수들 자신이다. 중국 대학의 평가방법으로는 학생평가, 동일종사자 평가, 교수감독평가, 교수자율평가가 있고, 미국 대학의 평가방법은 학생평가, 동일종사자평가, 교사자율평가, 교우평가, 교수파일포트폴리오평가가 있다. 중국과 미국 모두 학생평가와 동일종사자평가를 중시하지만, 미국에서 더 중시하는 것은 동일종사자평가이다. 중국 대학의 평가 기준이 양적이라면, 미국 대학은 질적이라 할 수 있다. 중국 대학의 평가결과는 대학교수의 상벌과 승진에 활용되지만, 미국 대학의 평가결과는 교수 자기계발과 수업과정 발전에 활용이 된다. 마지막으로 중국과 미국은 대학 교수들의 학술평가에도 차이가 있다. 중국 대학의 학술평가 주체는 ʻ행정가ʼ이지만, 미국 대학의 학술평가 주체는 다원적이고 민주적 참여를 중시한다. 중국 대학은 ʻ문헌표본계측법ʼ, ʻ동일종사자평의ʼ와 ʻ인터넷표본계측법ʼ을 차용하지만, 미국의 대학은 ʻ동일종사자평의ʼ를 주로 하고 표본계측은 부차적인 것으로 하는 평가 방법을 채택하고 있다. 중국 대학의 평가기준은 수량인 반면, 미국 대학의 평가 기준은 가치라고 할 수 있겠다. 중국과 미국 양국 대학의 평가 결과는 모두 교수 승급에 활용된다. 중국과 미국 대학의 교수평가 비교를 통해 4세대 평가이론을 적용한 개혁방안을 제시하였다. 중국 대학의 교수평가 주체는 그 범위를 넓혀 평가 주체의 이점을 부각시키고 동일종사자나 전문가의 참여도를 높임으로 평가 결과의 권위성을 보장해야 한다. 중국 대학의 교수평가 방법은 이해관계가 있는 이들의 협상 행위를 부각시켜야 하는데 행정가가 명령을 내리는 데 그치지 않고 평가의 집행 과정에 집중해야 한다. 양적인 면보다는 대학 교수들의 가치향상 여부를 기준으로 삼아 교사의 다양성을 충분히 존중하고 그에 상응하는 평가정책을 마련해야 한다. 도출되는 평가결과는 2차 평가로 연결되어 단 한 번의 결과 도출만이 아니라 순환적인 평가프로세스가 형성되고, 동시에 제3자인 평가기관이 참여해 평가결과의 공정성을 보장하도록 해야 한다. 본 논문은 개혁방안을 통해 중국 대학의 교수평가 모형을 제시하고, 이를 토대로 평가공동체 마련을 위한 가능성을 열고자 하였다.

대학교 무용교수법의 평가에 관한 연구

조정 세한대학교 일반대학원 2021 국내박사

Evaluation is an important means for colleges and universities to monitor teachers' teaching quality and ensure the quality of talent training. At present, the focus of teaching work in colleges and universities has been gradually transformed into improving the connotation quality of education and teaching through the development of school scale. In the period of dance from minority to popularization, dance teaching in colleges and universities should establish value orientation and realize sustainable development. There is no substitute for the scientific and rational evaluation of dance classroom teaching quality by university administrators and dance teaching workers in colleges and universities. Scientific and rational teaching evaluation can determine a clear idea of running a school for dance teaching in colleges and universities. It is also an important measure to improve the teaching of dance major in colleges and universities to establish a diversified teaching quality view and to construct a clear, operable and suitable evaluation index system. This study adopts the form of quantitative research, uses the SPSS 20.0 statistical analysis software to carry on the statistics to the collected data, the research result shows: Based on the overall evaluation level of dance classroom teaching quality in colleges and universities, M=4.065,SD=.479, the evaluation level is higher than the theoretical intermediate level, indicating that the overall evaluation level of dance classroom teaching quality in colleges and universities is above average. Based on the statistics of gender differences in the evaluation of dance classroom teaching quality in colleges and universities, there are significant differences in the writing of teaching plans, scenario creation, and organization and management. There are no significant differences in overall and other dimensions (overall male M=4.115, SD=.519; female M=4.033, SD=.450, p>.05); overall and there are significant differences in teaching plan writing, organization management, context creation, teaching guidance, teacher-student interaction, learning evaluation, knowledge comprehension rate, skill mastery rate, musical sense and stage beauty, exercise physiological load, student subjective performance, and teaching log (Bachelor and below M=3.988, SD=.486; Master's degree and above M=4.185, SD=.444; t=-3.863; p<.001); Based on the statistics of the difference of professional titles in the evaluation of dance classroom teaching quality in colleges and universities, there are significant differences in learning evaluation, knowledge understanding rate, skill mastering rate, exercise physiological load, student subjective performance, music and stage beauty, teacher-student interaction, and situation creation (p<. 05), (overall teaching assistant M=4.010, SD=.503; lecturer M=3.996, SD=.487; associate professor M=4.146, SD=.443, professor M=4.288, SD=.352, F=5.258,p <.001), there is no difference in teacher titles in teaching design, teaching plan writing, organization and management, teaching guidance, teaching log, and teaching reflection The curve model shows that the current linear regression analysis shows that each sub-variable has a significant predictive effect on the evaluation of the quality of dance classroom teaching. (1) The standard regression equation of the linear curve model with the classroom teaching preparation as the independent variable and the overall mean as the dependent variable is: Y=.806X+.759, the standard regression equation of the quadratic curve model is: Y=.717X 2+.012X+.91 (2) The standard regression equation of the linear curve model with the classroom teaching implementation as the independent variable and the overall mean as the dependent variable is: Y=.912X+.564, the standard regression equation of the quadratic curve model is: Y=1.375X 2+.064X+.261 (3) The standard regression equation of the linear curve model with the teaching effect as the independent variable and the overall mean as the dependent variable is: Y=.625X+.1.396, the standard regression equation of the quadratic curve model is: Y=.130X 2+064X+2.321 (4) The standard regression equation of the linear curve model with after-school reflection as the independent variable and the overall mean as the dependent variable is: Y=.693X+.1.042, the standard regression equation of the quadratic curve model is: Y=.513X 2+.023X+1.391. In view of the above conclusions, it is recommended to cultivate teachers' comprehensive teaching ability in the process of dance classroom teaching in the future, including classroom teaching preparation, classroom teaching implementation, classroom teaching effect and after-school teaching reflection.

Evaluation for Quality Education : Capability-based Evaluation Framework for Basic Education Quality

이은혜 서울대학교 대학원 2022 국내박사

International education development goals such as MDG2, EFA, and SDG4 have helped to provide educational opportunities to thousands of children around the world. Andover the last 20 years, the amount of international aid invested in education sector has steadily increased, reaching around $15.9 billion in 2019. (OECD CRS 2021). A significant quantitative result was achieved in enrolling a large number of children in elementary school through the MDG's second goal, 'Achieving universal primary education.' Since then, the international community has set a more challenging goal (SDG4) to ensure ‘inclusive and equitable quality education and promote lifelong learning opportunities for all’ based on these achievements (UN 2015). However, despite steady policy and financial support from the international community, many statistical data predict that changes in international social education indicators after the MDG will stop or even worsen in some regions (UNESCO 2019; UN 2015). In particular, with the exception of the enrollment rate indicator, which was a major measure of achievement of the MDG goal, indicators such as dropout rate and graduation rate show no room for improvement at all. Assuming that the indicator is one of the tools for capturing the essence of any state or the most appropriate moment of the certain process, the enrollment rate indicator can be considered as a first step in a long educational development process. This is why it is used as the most common and basic indicator when discussing educational development. In addition, it is also classified as Tire I indicator by the IAEG-SDGs based on its methodological development and the availability of data. So, what about other indicators such as dropout rates, graduation rates, or academic achievement rates? What I can say at a common-sense level, even at the risk of overgeneralization, is that these indicators contain a higher level of complexity than the enrollment rate indicators. This study is not intended to blame those indicators for the slowing of educational development. Rather, it tries to highlight the shortcomings of how fragmentary and result-oriented the interpretation of the indicators of development evaluation to ensure the achievement of specific goals. And, as an alternative to overcoming it, I propose an evaluation framework that places the ‘interaction between students and instructors in the learning space’, which has not been actively discussed so far in development evaluation, in the center of evaluation when evaluating the quality of education. Indian economic philosopher Amartya Sen, who won the Nobel Prize in Economics for his theory of welfare economy, had a truly revolutionary effect on numerous fields of development cooperation through his Capability Approach in the 1990s. In particular, he made a great contribution to providing a conceptual framework for measuring the well-being, as he extended the development of the country, which had been evaluated only by GDP, to the fields of education and health. The key contribution of the Capability approach as a theoretical framework in conceptualizing the evaluation framework for quality of education presented in this study is that it includes the 'diversity' of individuals, social and environmental contexts as a very important factor in the evaluation. In other words, it reveals that the process and results of individual choices are influenced by a various combination of personal, social, and environmental factors. Sen referred to this as the conversion factor. A qualitative approach to assessing the quality of education requires a relatively significant amount of time and resources. Nevertheless, the proposal of such an alternative evaluation framework is for the following reasons. First, it is because many educators have already shown a correlation between the qualitative improvement of the education and ‘process’ of teaching and learning. The process here refers to the interaction between the learner and the instructor. Second, it is because the current development evaluation approach completely excludes evaluation of this learning process. In particular, the indicators used in the evaluation of development cooperation projects and programs do not reflect the most important learning process and qualitative change for economic reasons such as ease of data collection and measurability. The evaluation framework of basic education quality proposed in this dissertation is based on the core value of Amartya Sen's capability approach, and it borrows many theories and approaches that have been used for quality evaluation in the education field. In addition, to assist more comprehensive manner of evaluation of quality education, the ‘Basic Education Quality Index’ is proposed. It is expected the Capability-based evaluation will contribute to find answers to the more fundamental question of evaluating the quality of education through ‘what’ as well as the methodological question of ‘how’ to evaluate. Finally, I wish it is also to bring a more educational perspective in defining and evaluating the quality of basic education in educational development cooperation. 대표적으로 MDG2, EFA, SDG4와 같은 국제사회 교육 개발 협력의 목표는 전세계 수많은 아이들에게 교육의 기회를 제공하는데 기여하였다. 특별히 MDG 두번째 목표인 ‘Achieving universal primary education(보편적 초등 교육의 달성)’을 통해 많은 수의 아이들을 초등학교에 등록하게 하는 획기적인 양적 성과를 이뤘다. 이후 국제 사회는 이러한 성과를 바탕으로 보다 도전적인 목표로서(SDG4) ‘모두에게 통합적이고 평등한 양질의 평생학습 기회’ 확보를 세웠다(UN 2015). 실제 교육 분야로 투입된 원조의 양은 지난 20년간 꾸준히 증가하여 2019년에는 약 159억 달러에 달하였다(OECD CRS 2021). 하지만 국제사회의 꾸준한 정책적 재정적 지원에도 불구하고 많은 통계자료는 MDG이후 국제 사회 교육 지표의 변화가 멈추거나 심지어 일부 지역의 경우 악화되는 모습을 전망하고 있다(UNESCO 2019; UN 2015). 특히 MDG 목표 달성의 주요 척도였던 등록률 지표를 제외하고는, 중도탈락률, 졸업률 등의 지표는 전혀 개선의 여지를 보이지 않고 있다. 지표(Indicator)를 어떠한 상태의 본질이나 과정의 가장 적절한 순간을 포착하는 도구 중 하나라고 가정하였을 때, 등록률 지표는 교육 발전의 긴 과정의 문을 여는 기초 단계라고 할 수 있다. 교육 발전을 논의할 때 가장 보편적이고 기초적인 지표로 활용되는 이유이다. 뿐만 아니라 등록률 지표는 UN이 Tier I 으로 구분한 것과 같이 데이터 수집의 용이성 측면에서도 기초적이며, 지표 측정의 방법론적 측면에서도 기초적이다. 그렇다면 중도탈락률, 졸업률, 혹은 학업성취율과 같은 지표는 어떠한가? 저자가 과도한 일반화의 위험을 감수하고도 상식적 수준에서 말할 수 있는 것은, 해당 지표들은 등록률 지표와는 다른 수준의 복잡성을 내포한다. 본 논문은 등록률 외의 교육 지표의 변화가 멈춘 이유를 단순히 지표의 해석적 다양성 혹은 데이터 수집의 어려움에서 찾고자 하지 않는다. 오히려 우리가 특정 목표의 달성을 점검하기 위해 수행하는 평가에서 지표를 활용하는 것이 얼마나 단편적이며 결과 중심적인 해석을 가져오는지 그 한계를 드러내고자 한다. 그리고 그것을 극복하기 위한 대안으로서 개발평가에서 교육의 질을 평가할 때 지금까지 활발하게 논의되지 않았던 ‘학생과 교수자와의 학습 공간에서의 상호 작용’을 평가의 한 가운데로 놓는 평가틀을 제안한다. 후생 경제 이론으로 노벨 경제학상을 받은 인도의 경제 철학자 아마티아센은 1990년대 Capability Approach를 통해 개발협력의 수많은 분야에 가히 혁명적 영향을 미쳤다. 특히 삶의 질을 평가하는 개념적 틀을 제공하는데 큰 기여를 했는데, 그간 GDP로만 평가되었던 국가의 발전 정도를 교육과 보건의 영역까지 확장 시켰기 때문이다. 본 논문이 제시하는 교육의 질 평가틀을 개념화하는데 있어 Capability Approach가 이론적 근거로서 갖는 핵심적 기여는 개인과 사회의 ‘다양성’을 평가의 매우 중요한 요소로 포함시킨다는 것에 있다. 즉, 개인의 선택의 과정과 그 결과는 개인적, 사회적, 환경적 요인의 다양한 조합에 의한 영향의 결과임을 드러낸다. 이것은 센에 의해 conversion factor라는 용어로 표현되었다. 교육의 질을 평가하기 위한 질적 접근은 상대적으로 많은 노력과 재원이 필요하다. 그럼에도 불구하고 이러한 대안적 평가틀을 제안하는 것은 다음의 이유가 있다. 첫째, 이미 많은 교육학자들의 연구를 통해 교육의 ‘과정’의 질적 개선과 교육 발전과의 상관관계를 보여줬기 때문이다. 여기서 말하는 과정은 학습자와 교수자 간의 상호작용을 이야기하며 공교육의 형태에서는 교실 안 수업 시간의 모습을 예로 들 수 있다. 둘째, 현재의 개발 평가의 접근은 이러한 학습 과정에 대한 평가를 철저하게 배제하고 있기 때문이다. 특히 개발협력의 프로젝트와 프로그램 평가에서 활용되는 지표들은 데이터 수집의 용이성, 측정 가능성 등의 경제적 이유로 가장 핵심적이라고 할 수 있는 학습 과정, 질적 변화에 대한 반영이 너무나 미흡한 실정이다. 본 논문에서 제안하는 기초교육의 질 평가틀은 아마티아 센의 Capability Approach의 핵심적 가치를 기반하였으며, 기존 교육 분야에서 질 평가를 위해 활용되어온 이론과 접근 방법을 상당 부분 차용하였다. 또한 ‘기초 교육의 질 지표(Index)’를 제안함으로써 보다 포괄적인 접근에서의 교육의 질 평가가 이뤄질 수 있도록 하였다. Capability에 기반한 평가는 ‘어떻게’ 평가하느냐에 대한 방법론적 질문 뿐만 아니라 ‘무엇을’통해 교육의 질을 평가하느냐에 대한 보다 근본적인 질문에 대한 답을 찾게 한다. 본 연구가 교육개발협력에서의 기초 교육의 질을 정의하고 평가하는데 보다 교육적 관점을 제공하는데 기여할 수 있기를 기대한다.

Evaluation of product-service system: sustainability, acceptability and functionality

이소라 서울대학교 대학원 2013 국내박사

제품-서비스 시스템(product-service system: PSS)을 향한 피할 수 없는 변화의 흐름과 함께, 제품-서비스 시스템을 다루기 위한 체계적인 방법론들에 대한 요구는 급속하게 증가하고 있다. 전통적 재화와는 다른 제품-서비스 시스템의 차별적 특성으로 인해, 전통적 재화를 다루어왔던 기존의 방법론들은 제품-서비스 시스템 적용에 한계를 갖는다. 이에, 본 학위 논문은 제품-서비스 시스템을 다루는 방법론적 접근 제시를 목적으로 하며, 특히 제품-서비스 시스템의 성공적 도입을 위한 평가의 중요성에 주목하여 관련한 주요 문제를 다룬다. 구체적으로, 본 학위 논문은 제품-서비스 시스템의 공공성에 따라 정의된 프레임워크에 기반하여 네 가지 측면에서의 평가를 다룬다. 공적 영역의 제품-서비스 시스템의 주요 평가 관점으로서 포괄적 지속가능성을, 사적 영역의 제품-서비스 시스템의 주요 평가 관점으로서 고객 수용성, 기능적 성능, 기능적 동태성을 포함하는 시장성이 고려된다. 각 관점에서의 제품-서비스 시스템의 평가를 다룬 네 가지 세부 연구는 관련한 주요 문제를 구체적으로 제시하며 적합한 방법론들의 창조적이고 유익한 결합을 통해 각 문제들을 효과적으로 다룬다. 첫번째 연구는 공적인 영역에서 제품-서비스 시스템의 지속가능성의 측정을 다룬다. 지속가능한 대안으로서 제품-서비스 시스템에 대한 전세계적 주목에도 불구하고, 제품-서비스 시스템의 지속가능성을 측정하는 체계적인 방법은 놀라울 정도로 드물다. 제품-서비스 시스템의 지속가능성 측정에 관한 기존 문헌들은 정적이거나 단편적인 접근에 그치고 있고, 이것은 제품-서비스 시스템의 특성을 충분히 반영할 수 없다. 제품-서비스 시스템은 다양한 참여자를 포함하는 동적인 시스템이며 다차원적 영향을 갖는 크고 복잡한 시스템인 것이다. 본 연구에서 제안한 접근은 이러한 제품-서비스 시스템의 동적인 특성을 다루기 위해 시스템 다이내믹스(system dynamics)가, 다차원적인 특성을 지원하기 위해 지속가능한 발전의 3대축(triple bottom line: TBL)이 도입한다. 공공 자전거 시스템에 관한 사례 연구는 제안한 방법론적 접근의 이해와 활용을 도우며, 결론적으로 제안된 방법론적 접근은 제품-서비스 시스템의 지속가능성을 포괄적 관점에서 효과적으로 측정할 것으로 기대된다. 두번째 연구는 사적인 영역에서의 제품-서비스 시스템 평가에 관한 첫번째 관점으로서 고객 수용성을 다룬다. 제품-서비스 시스템이 시장의 치열한 경쟁 속에서 살아남기 위한 필수적 생존 전략으로서 도입됨을 고려할 때, 제품-서비스 시스템 평가에서 고객은 매우 중요하다. 하지만, 그럼에도 불구하고, 전통적인 고객 관점의 평가 방법이 제품-서비스 시스템의 특성을 충분히 반영하지 못하는 가운데 제품-서비스 시스템에 대한 고객 관점의 평가는 기존 문헌에서 거의 제시되지 않고 있다. 이러한 연구 공백을 채우기 위해, 본 연구는 고객의 수용가능성에 초점을 두고 제품-서비스 시스템을 평가하는 방법을 제시한다. 제안된 접근은, 제품-서비스 시스템의 고객 수용성은 기존 제품들과 제품-서비스 시스템과의 비교 결과로서 고객경험주기 동안의 가치에 대한 고객인식에 기반함을 가정한다. 이러한 고객인식의 정량화를 위해 본 연구는 네트워크 분석과정 (analytic network process: ANP)과 니치이론(niche theory)을 도입하며, 세 가지 사례 연구를 통해 그 실행과정과 함께 유용성을 보여준다. 세번째 연구는 제품-서비스 시스템의 기능적 성능 평가에 관한 것이다. 제품-서비스 시스템은 상호의존적이고 이질적인 구성요소들이 결합되었기 때문에, 기능적 성능과 관련한 기존의 평가 방법론들로는 포괄적이고 균형잡힌 시각을 반영하기 어렵다. 이를 해결하기 위해, 본 연구는 네트워크 분석과정을 활용하여 제품-서비스 시스템 구성요소들의 상호의존성을 반영한다. 또한, 효용 지수 (utility index), 퍼지 이론 (fuzzy set theory), 시뮬레이션 기법을 도입하여 본래의 네트워크 분석 과정을 확장적으로 수정함으로써 구성요소들의 이질성을 효과적으로 다룬다. 제시된 하이브리드 네트워크 분석과정 (hybrid ANP)은 제품-서비스 시스템의 기능적 성능의 상대적 평가를 위해 유용하게 활용될 수 있을 것으로 기대되며, 이해를 돕기 위해 u-헬스케어 시스템에 대한 사례를 제시한다. 마지막으로, 네번째 연구는 제품-서비스 시스템 평가를 위한 새로운 관점인 기능적 동태성을 제시한다. 제품-서비스 시스템은 다양한 이해관계자들이 복잡한 가치망 안에서 장기적 상호관계를 통해 기능적 성능을 달성하는 동태적 시스템으로서, 이러한 기능적 성능의 효과성을 측정하기 위해서는 동태적 접근이 요구된다. 하지만 이러한 점은 기존 문헌에서 다루어지지 않았으며, 본 연구는 그 연구공백을 채우는 것을 목적으로 한다. 우선적으로, 제품-서비스 시스템의 기능성에 대한 차별적 척도로서 기능적 동태성을 설명하고, 기능적 동태성의 5단계 분석 전략 (analytic scheme)을 제시한다. 그리고 5단계 분석 전략에 기반한 기능적 동태성 측정을 위해 시스템 다이내믹스를 활용한 실질적 평가 절차를 제시한다. 시스템 다이내믹스는 복잡한 시스템의 장기적 동태성을 측정하는 대표적인 방법으로서, 제품-서비스 시스템의 기능적 동태성을 포괄적 시각에서 측정하는데 유용하다. 제안된 방법론적 접근은 u-헬스케어 시스템 사례에 적용되어 활용을 돕는다. 본 학위 논문의 의의는 두 가지로 정리된다. 첫째 이론적 측면에서, 본 논문은 기존 문헌의 공백을 채우거나 관련 연구의 한계를 극복하며 제품-서비스 시스템 평가에 관한 시의적 요구에 부응한다. 둘째 방법론적 측면에서, 본 논문은 활용된 각 방법론의 장점을 고려하여 활용영역을 확장할 뿐만 아니라 방법론들의 상호보완적 결합을 통해 단점을 보완함으로써 결과적으로 각 방법론을 개선한다. 결론적으로, 본 논문은 제품-서비스 시스템의 주요한 문제들을 다루는 방법론적 접근에 대한 연구 기반 구축에 기여하며, 또한 연구의 결과물들은 제품-서비스 시스템의 체계적 평가에 유용하게 도입될 것으로 기대된다. With the prevailing trend towards product-service system (PSS), the needs for systematic methodologies of dealing with PSS are rapidly increasing since the distinct characteristics of PSS from traditional offerings present radical challenges: the limitations of conventional approaches in PSS business. Responding to the needs, this doctorial thesis aims to suggest methodological approaches to dealing with PSSs. Especially, focusing on the importance of evaluation for successful PSS employment, the thesis covers PSS evaluation from the four perspectives in the defined framework based on the public characteristics of PSS. While sustainability is mainly concerned with public PSS evaluation, viability involving customer acceptability, functional performance and functional dynamics is considered as main viewpoint of private PSS evaluation. Addressing the issues regarding PSS evaluation from each perspective, this thesis effectively deals with them by employing suitable methods with creative and beneficial integration of them. Firstly, measuring sustainability of PSS for the public sector is dealt with. Despite the spotlights on PSS as a sustainable solution, a systematic methodology to measure sustainability is surprisingly sparse. Previous literature in measuring sustainability still remains no more than static or fragmentary, which cannot fully incorporate the characteristics of PSS: a ‘dynamic’ system which includes various actors and a large, complex system with ‘multidimensional’ impacts. To support the dynamic and multidimensional characteristics of PSS, system dynamics and triple bottom line (TBL) are employed to cover the dynamics and to encompass the multidimensionality of PSS sustainability respectively. To illustrate the working of proposed approach, the case study of a public bicycle system is presented. The proposed approach is expected to effectively measure PSS sustainability through a comprehensive view. Secondly, the first perspective of private PSS evaluation, customer acceptability is coped with. Despite the importance of the customer in PSS as an essential strategy for surviving in the modern era of tough competition in industries, previous studies offer little in terms of evaluating new PSS concepts from the customer perspective. To fill this academic lacuna, this study proposes a method for evaluating such concepts focusing on their acceptability to customers. The proposed approach is based on customer perceptions of value throughout the customer experience cycle: customer acceptability results from their comparison of new PSS concepts with existing products. This approach successfully employs the analytic network process (ANP) and niche theory to quantify customers’ perceptions of their experience of PSS. Three short case studies show the usefulness of the proposed approach, which is expected to aid companies in adopting effective PSS strategy. Thirdly, private PSS evaluation in respect of the functional performance is concerned. Because PSS is the integrated offering of interdependent and heterogeneous elements, conventional evaluation methods may fail to reflect a comprehensive and balanced perspective in PSS evaluation. As a remedy, this study applies the ANP by taking into account the interdependency of elements. Moreover, the original ANP is modified and extended to be a hybrid ANP to deal with the heterogeneity of elements. Specifically, a utility index, fuzzy set theory, and simulation technique are employed. Coping with the interdependency and heterogeneity of elements, the proposed approach is expected to be usefully employed in relatively evaluating PSS concepts based on the functional performance. A case involving a u-healthcare system is presented to illustrate the proposed approach. Finally, a new viewpoint of PSS evaluation, functional dynamics is suggested. As a ‘dynamic’ system wherein various stakeholders achieve functional performance through long-term relationships in a complex value network, PSS requires a dynamic approach for measuring the effectiveness of its functional performance, which is missing in the literature. This study aims to fill that void. Firstly, the concept of functional dynamics is addressed as a distinctive measure of PSS functionality with regard to functional performance and a five-phase analytic scheme of functional dynamics is proposed. Then, to measure the functional dynamics of PSS using the analytic scheme, a four-step procedure based on the system dynamics is suggested. As a representative method for measuring the long-term dynamics of a complex system, system dynamics is effectively employed to measure PSS’s functional dynamics comprehensively. To illustrate the proposed approach, a case study of a u-healthcare system is presented. The contribution of this thesis is twofold. First, from the theoretical aspect, it responds to the current needs on PSS evaluation by overcoming the limitations of related work or filling the void in literature. Second, from the methodological aspect, it does not only extend the application of methods taking the benefits of each method into account but also improves the methods by compensating the defects of each method with complementary employment of them. Establishing the foundation of research on the methodological approaches to dealing with critical issues about PSS, the results of this study is expected to be usefully employed for PSS evaluation.

Evaluation of Concrete Bridges Based on Decommissioned Bridge Tests

이주형 서울대학교 대학원 2022 국내박사

The performance of the bridge changes over time after its construction. Due to this aging, the serviceability and durability of the bridge would deteriorate, and if the performance degradation is severe, even collapse accidents could occur. Therefore, the current performance of the existing bridges has been evaluated through regular bridge evaluation. The evaluation of concrete bridges in Korea consists of various methods, such as visual inspection, non-destructive testing, material testing, structural analysis, and loading test. However, since these methods indirectly evaluate the performance of the aged bridges, the actual performance could not be accurately investigated. This study started to verify how the current bridge evaluation for concrete bridges in Korea could evaluate the actual performance of the existing bridges. To this end, first, the level of the current evaluation guideline was compared with that of foreign countries, and the actual bridge evaluation cases were analyzed to figure out how the evaluation was performed. Then, the actual material strength and member flexural strength were experimentally evaluated by conducting tests the in laboratory on the specimens obtained after the demolition of the concrete bridges after several decades of the service year. A result of comparing domestic and foreign bridge evaluation guidelines and analyzing the bridge evaluation cases confirmed that although Korea regularly performs various evaluation methods compared to other countries, the current methods are not efficient. After performing material and structural tests, the material strength of the specimens was above the design strength. Moreover, the actual flexural strength of the specimen was higher than the nominal strength calculated by material design strength. Based on the research results, an efficient bridge evaluation process was proposed. In the essential evaluation regularly, only the condition inspection (visual inspection and rebound test) is performed. Through this inspection, the current condition and changes of the bridge are investigated and tracked. If severe damage or deterioration is investigated in the regular inspection, additional NDT and material tests are performed to determine the extent and cause of the defects. Then, if structural performance degradation is suspected, safety assessment reflecting the bridge’s current condition is performed. As the proportion of old bridges is gradually increasing, the proposed evaluation process could be helpful to conduct an efficient bridge evaluation. 교량은 준공 이후 시간이 경과함에 그 상태와 성능이 변화하게 된다. 노후화로 인해 교량의 사용성 및 내구성이 저하되며, 성능저하가 심각한 경우에는 붕괴와 같은 끔찍한 사고도 발생할 수 있다. 따라서 정기적인 안전진단을 통해 공용중 교량의 현재 성능을 평가하고 그 결과에 따른 보수·보강 조치로 교량 유지관리를 수행하고 있다. 한국의 콘크리트교량 안전진단은 외관조사, 비파괴시험, 재료시험, 구조해석 및 차량재하시험 등의 다양한 방법으로 공용중 교량의 현재 성능을 평가하고 있다. 하지만 이는 노후 콘크리트교량의 성능을 간접적으로 평가하므로, 실제 성능은 정확히 알 수 없다. 이 연구는 한국의 현행 콘크리트교 안전진단 방법이 노후교량의 실제 성능을 어떻게 평가하고 있는지를 검증하기 위해 시작되었다. 이를 위해 먼저 현행 안전진단 지침을 외국과 비교하여 그 수준을 파악하고, 실교량 안전진단 사례를 분석하여 실제 안전진단이 어떻게 수행되고 있는지를 분석하였다. 그리고 수십년의 공용년수가 지난 콘크리트교량의 철거 이후 확보한 부재를 대상으로 재료시험 및 실내 구조실험을 수행하여 실제 재료 및 부재 강도를 실험적으로 평가하였다. 국내외 안전진단 지침을 비교하고 실교량 안전진단 사례를 분석한 결과, 한국은 외국에 비하여 다양한 안전진단 방법을 정기적으로 수행하고 있지만, 그 효율성은 높지 않은 것으로 확인되었다. 철거교량 부재를 대상으로 수행된 재료시험과 구조실험에서 노후 콘크리트교의 실제 재료 강도와 부재 휨강도 모두 설계 강도 이상을 보이는 것을 알 수 있었다. 실험 대상 부재들은 철거 전 외관조사에서 c등급 이상으로 상태가 양호하였다. 따라서 실험 대상 교량과 같이 공용중 외관 상태가 양호한 경우에는 설계기준 강도로 안전 측의 안전성평가가 가능하였다. 연구 결과에 근거하여 기존 콘크리트교량 안전진단의 실효성을 높이는 개선안을 제시하였다. 정기적으로 수행되는 기본 안전진단에서는 상태평가(외관조사, 반발경도 시험)만을 수행하며, 이를 통해 교량의 현 상태와 변화를 조사하고 추적한다. 정기 안전진단에서 심각한 손상 및 열화가 발견되면 그 정도와 원인을 파악하기 위한 추가 비파괴시험 및 재료시험을 수행하도록 한다. 그리고 구조성능 저하가 의심된다면 교량의 현재 상태를 반영한 안전성평가를 수행하며, 구조계산에 의해서도 안전성이 불충분한 것으로 판단된 경우에는 재하시험을 통해 교량의 실제 응답을 평가하도록 한다. 점차 노후교량의 비율이 증가하는 현 시점에서, 제시된 안전진단 방법은 효율적인 교량 안전진단을 수행하는데 도움이 될 수 있다고 생각한다.

Sport Sponsorship Evaluation : The Perception of Sport Sponsorship Practitioners in Botswana

Fredrick Seno 서울대학교 대학원 2017 국내석사

Sport Sponsorship Evaluation: The Perception of Sport Sponsorship Practitioners in Botswana Fredrick Seno Global Sport Management, Department of Physical Education The Graduate School Seoul National University The study of sponsorship has been the subject of many studies in recent decades especially in developed countries, with less attention has been dedicated to developing countries. Typically, sponsors pursue sponsorship association for the attainment of marketing objectives and organizations plow millions in fees yet sponsorship testing is rarely undertaken. The area of sponsorships performance is often overlooked when organizations measure the effectiveness of organizational expenditure or other elements of the marketing mix. The objective of this study is to understand sponsorship evaluation in a less developed context because while there has been rich literature as to the subject in developed contexts, little has been done as to less developed markets. In the current study the research adopts a general approach to determine the perceptions of practitioners of sponsorship and the prevailing landscape of the evaluation aspect in Botswana. Interviews were carried out with practitioners from the various industries where it was evident that the concept is still at its infancy in Botswana. Interview transcripts were coded and summarized and the findings have shown that the concept is still at its infancy stage and there is lack of expertise in the area and similar to developed countries practitioners disregard evaluation despite the huge amount of money plowed into sponsorship and where it is done it is normally very informal and traditional advertising measurement are employed. Keywords : Evaluation, Sponsorship, Sport, Sponsors Student Number : 2015-22368

평가결과 데이터 군집화를 이용한 평가위원 분류 방법

김동철 충북대학교 2019 국내석사

Today, investment in national R&D is steadily increasing. Therefore, it is socially expected to create high quality results as much as an increasing investment. In order to this, it is necessary to carry out the research of good researcher. The evaluation that selects R&D tasks is the starting point of R&D investment and should be selected through objective and fair evaluation. However, it is possible that the evaluation result may be distorted by a specific evaluator who has personal tendency or intention. In order to suppress the distortion, the best/low point exclusion method was mainly used. However, if there are more than two members of the evaluation committee who are likely to cause distortion, existing methods can not suppress the distortion. In this thesis, one of the ways to solve such a distortion problem is to propose a structure of evaluation committee that limits the selection rate of a specific inclination evaluation committee. Classification of KM-Class is performed by measuring the object detection rate of each evaluation committee in the evaluation result of K-means clustering of evaluation result data. It is classified according to the distribution tendency of the evaluation opinion and score to generate the characteristic group. In this process, it is possible to adjust the ratio of specific evaluation committee groups by setting the object detection ratio standard for each cluster differently. The data used in this thesis were extracted and controlled by KH-Group at a higher rate than other groups. As a result of analyzing other evaluation result data, it is also possible to control the group distribution as long as the specific group ratio is high. However, it differs from the case of a group with a specific tendency of tendering and the group with a tendency toward a tendency of evaluation. During the selection process, the two groups should always be balanced and the evaluation results should be suppressed through minimum allocation. Based on the results of this thesis, It is expected that evaluation members of specific inclination which can be a distortion factor may not be allocated more than a certain ratio within the same task, so that distortion of the evaluation result can be reduced, thereby contributing to improvement of fairness and reliability of evaluation. 국가 R&D에 대한 투자는 지속적으로 늘어나고 있고, 그만큼 질 좋은 성과의 창출이 사회적으로 기대되고 있다. 이를 위해서는 우수한 연구자의 연구수행이 필요하며, 그 전제조건은 과제를 선정하는 평가로부터 시작한다고 할 수 있다. 연구개발과제를 선정하는 평가는 R&D 투자의 시작점으로, 공정하고 객관적인 평가를 통해 과제를 선정해야 한다. 하지만 기존의 평가는 특정 평가자의 개인 성향 또는 고의성에 의해 평가 결과가 왜곡될 가능성이 있다. 기존에는 왜곡의 억제를 위해 보편적으로 최고/최저점 제외 방식을 사용하였다. 하지만 왜곡을 유발할 가능성이 있는 평가위원이 한 분과 안에 2인 이상 존재한다면 기존의 방법만으로는 왜곡을 억제할 수 없다. 이 논문에서는 이와 같은 왜곡 문제를 해결할 수 있는 방안 중 하나로 특정 성향 평가위원군 선정 비율을 제한하는 평가위원 구성을 제안한다. 평가위원별 평가결과 데이터의 K-means 군집분석(K-means Clustering) 수행 결과에서 각 평가위원 평가결과의 군집별 오브젝트 검출 비율을 계측하여 KM-Class를 분류하였다. 평가의견 및 평가점수의 분포 성향에 따라 분류하여 특징별 그룹을 생성하는 것이다. 이 과정에서 군집별 오브젝트 검출 비율 기준을 다르게 설정하여 특정 평가위원 그룹의 비율 조정이 가능하다. 본 연구에서 활용한 데이터는 KH-Group이 타 그룹보다 높은 비율로 추출되어 이를 조절하였다. 다른 평가결과 데이터를 분석한 결과 역시 특정 그룹의 비율이 높게 나타난다면 이와 같이 그룹 분배를 조절할 수 있다. 평가점수가 편향되지 않으며 평가의견량 또한 적절한 우수 평가위원 그룹은 평가위원 선정 시 인원의 상한 제한 없이 하한 제한만을 권장한다. 하지만 특정 성향을 가진 고점 부여 성향 평가위원 그룹과 저점 부여 성향 평가위원 그룹의 경우는 다르다. 평가위원 선정 시 항상 두 그룹간의 균형을 맞추고 최소한의 배정을 통해 평가결과 왜곡을 억제하여야 한다. 이러한 연구 결과를 바탕으로 평가위원 구성 비율을 조정·적용한다면, 왜곡요인이 될 수 있는 특정 성향의 평가위원을 동일 과제 내에 일정 비율 이상 배정하지 않을 수 있기에 평가결과의 왜곡 억제가 가능하며, 이를 통해 평가의 공정성 및 신뢰성 향상 측면에 기여할 수 있을 것으로 기대한다.

Evaluation of online services using the MCDM approach : user evaluation and expert evaluation

강대국 서울대학교 대학원 2015 국내박사

The recent development of the Internet technology has drawn attention toward online services. In response, many kinds of online services have been developed. These online services have some distinct characteristics compared with those of traditional offline services. First, online services can provide more service functions than offline services, because there is no restriction of time and space in terms of the service provision. Second, customers often have deficient information about online service providers, because online service provision generally takes place between parties who have never transacted with each other before. Third, online services have difficulty providing the spontaneous responses that can be offered in offline services through face-to-face contact. Given these circumstances, the evaluation of online services through continuous monitoring to reliably provide various service functions has been emphasized. In response, much attention has been paid to the evaluation of online services. Many studies have utilized multiple criteria decision-making (MCDM) approaches for evaluating online services by considering various evaluation criteria simultaneously. Although previous studies contributed to improving our initial understanding of the evaluation of online services, they were limited, as they did not consider the characteristics of evaluators and different types of evaluation data. Accordingly, the focus of this study is to suggest an evaluation framework of online services that considers characteristics of evaluators and types of data in the process of evaluation. The study is composed of two modules and three themes. First, module 1 focuses on the issue of user evaluation of online services using MCDM. Specifically, user evaluation approaches can be divided into two types in terms of the data that can be collected from evaluators: evaluations based on customer reviews and evaluations based on surveys. Therefore, different frameworks for user evaluation in terms of data are provided as different themes. Second, module 2 deals with the issue of expert evaluation of online services using MCDM. This module includes the third theme. The objectives of the three themes are specified as follows. Theme #1 aims to suggest a framework for user evaluation of online services using customer reviews. Customer reviews have been recognized as valuable information sources for monitoring and enhancing customer satisfaction levels, and they provide the real voices of users. Each customer review has concise core content focused on important criteria in comparison with survey data, which contains information about evaluation scores for alternatives in terms of various criteria. It can be useful in situations in which we cannot collect survey data. To analyze a large number of customer reviews effectively and evaluate online services, this study combines VIKOR (in Serbian: ViseKriterijumsa Optimizacija I Kompromisno Resenje) and sentiment analysis. The suggested framework of this study mainly consists of two stages: (1) data collection and preprocessing and (2) customer satisfaction measurement. In the first stage, data collection and preprocessing, text mining is utilized to compile customer-review-based dictionaries of attributes and sentiment words. Then, using sentiment analysis, sentiment scores for attributes are calculated for each mobile service. In the second stage, levels of customer satisfaction are measured using VIKOR. For the purpose of illustration, an empirical case study was conducted on customer reviews of mobile application services. Theme #1 contributes to propose a systematic way of utilizing customer reviews in the evaluation process Theme #2 presents a tailored framework for user evaluation of online services using survey data. In this study, fuzzy hierarchical TOPSIS based on E-SERVQUAL (E-S-QUAL) is suggested for the effective evaluation of online services using information gathered from surveys. To put it more concretely, with E-S-QUAL, which is the extended version of SERVQUAL for the measurement of electronic service quality, information about the gap between the expected and perceived service level collected from users can be extracted effectively. In addition, with fuzzy hierarchical TOPSIS, the hierarchical structure of the evaluation criteria between the main dimensions and their sub-criteria can be considered. With this approach, based on the preservation of the core concept of E-S-QUAL, the hierarchy between the main dimensions and their sub-criteria can be captured. Theme #3 focuses on the suggestion of an integrated model consisting of fuzzy DEMATEL and fuzzy VIKOR as a stepwise method of expert evaluation of online services. This theme mainly focuses on the effective approach for making the best use of knowledge of expert opinions collected from surveys. For expert evaluations, more detailed information (e.g., interrelationships among evaluation criteria) is collected. The evaluation process proceeds as follows. First, several online services providing similar functions are selected as alternatives, and service-based and product-based criteria are defined based on a literature review and expert opinions. Second, interrelationships and importance weights of criteria are calculated using fuzzy DEMATEL. Third, the online service is evaluated using fuzzy VIKOR. In this theme, the inevitable and often conflicting relationships among service-based criteria and product-based criteria can be effectively captured to reflect the evaluation of online services.

Evaluation Practice in Rural Areas A Vertical Case Study of Evaluation in Three Minnesota Districts

Ostgaard, Gayra ProQuest Dissertations & Theses University of Minn 2016 해외박사(DDOD)

The larger purpose of this study was to highlight educational evaluation mandates, practices, and their implementation and impact in a rural context. This was done by examining rural schools that were involved in Professional Learning Communities (PLCs) because PLCs are often required to do evaluation activities for accountability purposes and also have evaluation processes central to their functioning. This research aimed to map out evaluation activities and influences through the analysis of PLC initiatives in three Greater MN school districts and schools. A vertical case study design created a rich description of evaluation practices. The researcher spoke with participants at each level of PLC functioning (state, region, local administration, and classroom), which allowed on the unearthing of similarities and differences in understandings of evaluation. This research illustrated that "evaluation" meant different things to different people. It seems that these differences depended on what level they worked at, their involvement with state initiatives, and how directly they worked with students. Generally speaking, state mandates had a large influence on people's understandings of evaluation, and evaluation done for accountability purposes was not seen as useful or valued as much as evaluation done for self-identified goals and program improvement. Participants tended to focus more on organizational factors that affected evaluation practice than on individual factors. Organizational factors that impacted evaluation practice included, but were not limited to: (a) the size of the district/school, (b) local leadership, (c) time, and (d) the movement towards standards-based grading.