스노보드 레벨Ⅱ 심사자간 신뢰도 분석 = Analysis of inter-rater reliability of judges in Snowboard LevelⅡ test

다국어 초록 (Multilingual Abstract)

The purpose of this study is to verify the reliability and to identify the error factors of the Korea Ski Instructor Association snowboard levelⅡ test using generalizability theory. The research data used snowboard levelⅡ test results from 2015 to 2018. The study design was people(p)×judge(j) single facet crossed design.
Data processing exclude missing values from the snowboard LevelⅡ results from 2015 to 2018. Season and event descriptive statistics were conducted using Win SPSS 24.0. For the analysis of generalizability theory, G study was conducted using GENOVA 3.1 program. Estimate of variance components for each phase was calculated, and the relative influence of percentages that influenced the results was identified. The reliability of the results was verified by calculating the generalizability coefficient. The results showed that the generalizability coefficients of all seasons and events were higher(G>.80) than the recognition level except for the 28th (2016 ~ 2017) Intermediate Sliding Middle turn. In every seasons and events, the percentage of error in judges was analyzed to be low. Therefore, in conclusion, Korea Ski Instructor Association Snowboard Level II ensures reliability. And the judges has a low impact of error source to the results.

국문 초록 (Abstract)

본 연구는 일반화가능도 이론(Generalizability theory)을 활용하여 대한스키지도자연맹의 스노보드 레벨Ⅱ 심사의신뢰도와 심사 점수에 영향을 주는 오차원을 확인하는데 목적이 있다. 연구 자료는 대한스키지도자연맹의 2015년~2018 년 동안 실시된 스노보드 레벨Ⅱ 심사결과를 활용하였다. 일반화가능도 이론의 분석을 위한 연구 설계는 대상자(p)×심사자(j)의 단일 국면 교차설계로 설정하였다. 자료처리는 2015년~2018년의 스노보드 레벨Ⅱ 심사결과 원자료에서 결측치를 제외하고, Win SPSS 24.0을 활용하여 시즌별, 종목별 기술통계를 실시하였다. 일반화가능도 이론의 분석은GENOVA 3.1프로그램을 활용한 G연구(Generalizability study)를 통해 각 국면의 분산성분 추정치를 산출하고, 심사에영향을 주는 오차원의 상대적 영향력(%)을 확인하였다. 심사의 신뢰도는 일반화가능도 계수를 산출하여 확인하였으며 이때 인정수준은 .80으로 설정하였다. 연구결과 제 28회(2016년~2017년)의 인터미디어트 슬라이딩 미들턴을 제외한 모든시즌과 종목의 일반화가능도 계수는 인정수준 보다 높게 나타났으며, 모든 시즌과 종목에서 심사자의 오차원 비율(%)은낮은 것으로 분석되었다. 연구결과를 통해 살펴본 대한스키지도자연맹의 스노보드 레벨Ⅱ의 심사는 비교적 신뢰할 수 있는 결과임을 확인할 수 있었으며, 심사자가 결과의 오차에 미치는 영향은 낮은 경향을 나타내고 있었다.

참고문헌 (Reference)

1 이태구, "피겨 스케이팅 심판 판정에 대한 분석" 국민체육진흥공단 한국스포츠정책과학원 27 (27): 756-769, 2016

2 조은형, "태권도 품새 경기의 주관적 평가결과의 오차원 분석: 일반화가능도 이론 적용" 한국데이터정보과학회 27 (27): 395-407, 2016

3 조한무, "체육교육에서 대안평가의 탐색" 1 (1): 61-74, 1999

4 조정환, "주관적 운동기술 평가의 외재변인과 채점전략" 12 : 574-584, 1996

5 신진이, "전문가들의 주관적 평가에 대한 객관적 지수: 동의계수들의 비교" 한국체육학회 54 (54): 601-616, 2015

6 김성숙, "일반화가능도 이론" 교육과학사 2001

7 조은형, "여자 기계체조 이단평행봉 종목 심판 판정에 대한 오차원분석" 한국체육측정평가학회 19 (19): 57-69, 2017

8 석진수, "스키 레벨Ⅱ 심사자의 객관도 평가" 한국체육측정평가학회 18 (18): 63-76, 2016

9 대한스키지도자연맹, "스노보드 교본" 대한스키지도자연맹 2019

10 조은형, "리듬체조경기의 난도(D) 및 실시(E)에 대한 평가결과의 오차원 분석" 한국체육측정평가학회 17 (17): 13-22, 2015

11 이태구, "리듬체조 심판판정의 신뢰도 및 오차요인 분석" 국민체육진흥공단 한국스포츠정책과학원 28 (28): 337-350, 2017

12 "대한스키협회"

13 "대한스키지도자연맹"

14 최윤선, "다국면 Rasch 모형을 적용한 동아무용콩쿠르 현대무용수 심사자의 평정(評定) 분석" 한국체육측정평가학회 13 (13): 53-62, 2011

15 Siedentop, D., "Student learning in physical education. Applying research to enhance instruction" Human Kinetics 1996

16 Baumgartner, T. A., "Measurement for evaluation in physical education and exercise science" WCB McGraw-Hill 2006

17 Gao, X., "Generalizability of Large-Scale Performance Assessments in Science : Promises and Problems" 7 (7): 323-342, 1994

18 Brennan, R. L., "Generalizability Theory" Springer 2001

19 Stiggins, R., "Design and development of performance assessment" 6 (6): 33-42, 1987

20 Hensely, L. D., "Alternative assessment for physical education" 68 (68): 19-24, 1997