댄스스포츠 연기력 평정척도의 타당도

다국어 초록 (Multilingual Abstract)

This study have the objectives to develop DanceSport rating scale first as a way to objectify dance sports and to verify its validity second by applying rating results which is the purpose of rating through dance sports experts’ opinions.
To accomplish these objectives, total preliminary rating scale with 30 questions were made by expert groups. Also, the rating scale was measured by the logit of questions and the number of questions was carried out for two minutes by 60 instructors and players’ groups. Through this process, the dance sports rating scale composed of six questions was developed and the rating scale was tested to find out if it is suitable to the model based on results of rating outcomes by 295 judges
Also, in order to test the validity of DanceSport performance ratings scale composed of six questions like this, CVR(content validity ratio: CVR) of six questions acquired by 60 experts was tested and in order to test the reliability of criterion related validity, the six questions were compared with criterion ranks by simulation methodology based in the data from 295 judge's analyzing ChaChaCha performances of 6 teams according to the developed ratings scale. As a result, the following consequences were drawn.
First, in the produce of developing the DanceSport performance rating scale, the number of questions
used in rating scale, six questions is suitable to evaluate for any judge to be easily able to measure. And the six questions were selected in the order of the higher logit 20(-1.29), 5(-1.19), 10(-0.93), 1(-0.63), 6(-0.63), and 2(-0.58) were selected in turn to the questions. As for the suitability of each questions, as the infit was scattered in the range of 0.8 to 1.1, the 6 questions of DanceSport in rating scale appeared suitable to the model.
Second, the contents validity, the scale related validity, and validity based on generalization of the six questions developed within the frame of validity analysis suggested by Messick were testified.
Each question in developed six questions in dance sports rating scale appeared CVR. To arrange the results in the order of higher CVR no. 20 (CVR=0.80), no.5 (CVR=0.83), no.10 (CVR=0.73), no.6 (CVR=0.80) no.2 (CVR=0.70), and no.1 (CVR=0.73) appeared the higher figures. And the scale related validity of DanceSport rating scale appeared the range of 0.918 to 0.946 in case that there are 6 to 11 judges. As for the reliability of performance rating scale resulted from simulation with 6 to 11 judges, its median showed the identical figured to 0.942 Semi-interquartile range showed the identical figure to 0.157 with 6 judges and 0.057 with 11 judges. It appeared that the more judges were involved, the narrower deviation was resulted in. So, it turned out that the stable level of reliability was secured. Especially, to secure the stable reliability, the committee of minimum 9 people is necessary.
As a result, the DanceSport rating scale composed of six questions was developed which can be applied to practical sites. It clarify how to develop rating scale and its specific applications were represented by not only its validity confirmed but providing the information, how much judges could secure the validity enough to be used.
The results of this study suggest that more educational feedback can be provided related to dance sports performance ability to non-judges by excluding the subjectivity of judges which has been a problem of rank rating method which has been traditional evaluation method for a long time as much as possible and uniting the point of views of the judges.
In consequent study, it is required to clarify the interactive relation between the judges’ austerity and players (teams) by using developed rating scale and to verify the effects of systematic observation methods as a way to mark the rating scale.

국문 초록 (Abstract)

이 연구는 댄스스포츠 연기력 평정을 객관화하고 평가의 목적인 평가결과를 활용하기 위한 방안으로서 댄스스포츠전문가들의 의견을 통해 첫째, 댄스스포츠 연기력 평정척도를 개발하고 둘째, 개발된 댄스스포츠 평정척도의 타당도를 검증하는데 목적이 있다. 이러한 연구목적을 달성하기 위해 전문가집단을 통해 총 30문항의 예비평정척도를 제작하였으며, 예비평정척도를 60명의 지도자 및 선수집단을 통해 문항의 중요도(logit)와 2분 동안 평정할 수 있는 문항 수를 측정하였다. 이러한 과정을 통해 6문항으로 구성된 댄스스포츠 연기력 평정척도를 개발하였고, 295명의 심사자를 통해 평정결과를 바탕으로 평정적도가 모형에 적합한지를 검증하였다. 또한 이렇게 개발된 6문항으로 구성된 댄스스포츠 연기력 평정척도의 타당도를 검증하기 위해 60명의 전문가를 통해 얻은 6문항의 내용타당도비율(content validity ratio : CVR)을 검증하였고 준거관련타당도 신뢰도를 검증하기 위해 295명의 심사자가 개발된 평정척도로 6개 팀의 댄스스포츠 차차차 연기를 평정한 자료를 바탕으로 컴퓨터 시뮬레이션 기법으로 준거순위와 비교 분석하였다. 분석결과 다음과 같은 결과를 얻었다.
첫째, 댄스스포츠 연기력 평정척도 개발 절차는 댄스스포츠 연기력 평정척도의 문항 수는 심사자라면 누구나 측정 가능한 6문항으로 측정하는 것이 적절하다. 그리고 예비평정척도 30문항 중 중요도(logit)가 높은 순서대로 20번 (-1.29), 5번(-1.19), 10번(-0.93), 1번(-0.63), 6번(-0.63), 2번(-0.58)순으로 총 6문항으로 선정되었다. 문항별 적합도는 내적합지수가 0.8~1.1 사이에 분포되어 댄스스포츠 연기력 평정척도의 6문항은 모형에 적합한 것으로 나타났다.
둘째, Messick이 제안한 타당도의 분석 틀 안에서 개발된 6문항의 댄스스포츠 평정척도의 내용 타당도, 준거관련타당도, 일반화에 기초한 타당도를 검증하였다. 개발된 6문항의 댄스스포츠 평정척도의 각 문항은 내용타당도비율(CVR)은 20번(CVR=0.80), 5번(CVR=0.83), 10번(CVR=0.73), 6번(CVR=0.80) 2번(CVR=0.70), 1번(CVR=0.73) 순으로 높은 것으로 나타났다. 그리고 댄스스포츠 연기력 평정척도의 준거관련타당도는 심사자가 6명 ~11명일 경우 0.918 ~ 0.946의 범위로나타났다. 댄스스포츠 연기력 평정척도의 신뢰도는 시뮬레이션 결과 6명 ~ 11명일 경우 중앙치(Median)가 0.942로 동일하였으며, 사분편차는 6명인 경우 0.157, 11명인 경우 0.057로서 심사자 수가 늘어날수록 편차가 줄어들면서 안정된 신뢰수준을 확보하는 것으로 나타났으며, 특히 안정된 신뢰도를 확보하기 위해서는 최소 9명의 심사위원이 필요한 것으로 나타났다.
결론적으로 현장에서 활용이 가능한 6문항으로 구성된 댄스스포츠 연기력 평정척도를 개발하였으며, 이렇게 개발된 평정척도의 타당도를 확인하였을 뿐만 아니라 실제 이 척도를 사용할 경우 몇 명의 심사자가 심사할 경우 어느 정도의 타당도를 확보할 수 있는지에 대한 정보를 제공함으로써 평정척도의 개발과 적용 방법까지도 구체적으로 규명하였다. 이 연구의 결과는 그동안 전통적인 평가방법인 순위평정방법의 문제점인 심사자의 주관성을 가급적 배제하고 심사의 심사관점을 통일시켜 피평정자들에게 댄스스포츠 연기력과 관련하여 보다 많은 교육적 피드백을 제공 할 수 있다는 것을 시사한다. 후속연구에서는 개발된 평정척도를 활용해 심사자의 엄격성 및 선수(팀)과의 상호작용 관계를 규명하고, 평정척도를 채점하는 방법으로서 체계적인 관찰방법의 효과를 검증하는 연구 등이 요구된다.

목차 (Table of Contents)

• Ⅰ. 서론 = 1
• 1. 연구의 필요성 = 1
• 2. 연구목적 = 7
• 3. 연구문제 = 7
• 4. 용어의 정의 = 8
• 5. 연구의 범위 및 제한점 = 8
• Ⅱ. 이론적 배경 = 9
• 1. 댄스스포츠의 경기 방식 = 9
• 2. 댄스스포츠 연기력 심사 방법 = 12
• 3. 평정척도 = 19
• 4. 선행연구 개관 = 23
• Ⅲ. 연구방법 = 26
• 1. 연구대상 = 26
• 2. 연구 절차 및 방법 = 30
• 3. 댄스스포츠 연기력 평정 도구 = 34
• 4. 자료처리방법 = 36
• Ⅳ. 연구결과 = 38
• 1. 댄스스포츠 연기력 평정척도 개발 = 38
• 2. 댄스스포츠 연기력 평정척도의 타당도 = 44
• Ⅴ. 논의 = 51
• Ⅵ. 결론 및 제언 = 58
• 1. 결론 = 58
• 2. 제언 = 59
• 참고문헌 = 61
• Abstract = 67
• 부록 = 70