학습장애 연구와 영가설 유의성 검증(NHST) 방법의 문제점과 대안

여승수(Seungsoo Yeo) 한국특수교육학회 2021 한국특수교육학회 학술대회 Vol.2021 No.-

학습장애 학생을 위한 어휘-선택 CBM의 개발

여승수(Yeo, Seungsoo) 이화여자대학교 특수교육연구소 2014 특수교육 Vol.13 No.3

본 연구의 주된 목적은 과학교과 영역에서 활용 가능한 CBM의 측정학적 적합성을 평가하는 것이었다. 특별히 본 연구에서는 과학교과의 특성을 고려하여 어휘-선택(vocabulary-matching) 유형의 CBM을 개발하였다. 본 연구에는 A 광역시의 B 초등학교 재학중인 6학년 학생 전원(84명)이 참여하였다. 측정학적 적합성을 평가하기 위한 본 연구의 분석방법으로는 먼저 어휘-선택 과학과 CBM의 동형검사 신뢰도와 준거타당도를 평가하기 위해서 상관계수 분석방법을 사용하였다. 또한 예측타당도를 분석하기 위해서 회기별 CBM 점수를 독립변수로 사용한 로지스틱 회귀분석을 사용하였다. 마지막으로 진단적 평가의 정확성을 분석하기 위해서 ROC 곡선과 AUC지표를 산출하였다. 연구 결과에 따르면 본 연구에서 개발한 어휘-선택 과학과 CBM의 신뢰도와 타당도는 모두 양호한 것으로 확인되었다. 끝으로 본 연구는 향후 연구 및 학교 현장에 대한 교육적 시사점을 제공하고 있다. The main purpose of this study was to evaluate technical adequacy of CBM (Curriculum-Based Measurement) in Science. Especially, considering the characteristics of science subject, vocabulary-matching CBM was developed in this study. In this study, 84 students in sixth grades from B elementary school in the A city were participated. In order to evaluate alternate-form reliability and criterion validity, pearson correlation-coefficients were used. In addition, logistic regression was used for evaluating predictive validity. ROC curve and AUC analyses were used for evaluating accuracy of diagnostic evaluation. This study showed that both the reliability and validity of vocabulary-matching CBM were good, meaning that the vocabulary-matching CBM could be considered as an indicator of progress monitoring in Science. Implication for research and practices are presented.

교육학 양적 연구의 혁신 : 영가설 유의성 검증과 p-값을 넘어서

여승수(Seungsoo Yeo) 교육비평 2021 교육비평 Vol.- No.48

학습장애 학생의 자기효능감에 관한 종단 연구: 국어, 수학, 영어교과를 중심으로

여승수 ( Seung Soo Yeo ) 한국특수교육문제연구소 2010 특수교육저널 : 이론과 실천 Vol.11 No.4

본 연구는 학습장애학생들의 자기효능감의 특성을 분석하는 것이 주된 목표였다. 이 연구는 중학교 학생들을 대상으로 조사를 실시한 한국교육개발원 한국교육종단연구(Korea Education Longitudinal Study; KELS) 패널의 1, 2, 3, 4차 자료를 분석에 사용하였다. 연구에 참여한 6,908명의 학생 중 25명만이 특정학습장애학생으로 판별되었다. 잠재성장모형을 사용하여 학습장애학생들의 국어, 수학, 영어에 대한 자기효능감 발달 특성을 분석하였고, 비장애학생들과의 차이점을 분석하였다. 결과를 살펴보면, 세 교과목에서 학습장애학생들의 자기효능감 발달특성은 비장애학생들과 유의한 차이점이 발견되지 않았다. 그러나 수학과목의 초기값에서 학습장애학생들의 자기효능감이 낮게 나타났다. 끝으로 이 연구가 갖는 교육적 의미와 연구의 제한점을 논의하였다. The main purpose of this study was to examine differences in self- efficacy between students with and without learning disabilities from the Korean Education Longitudinal Study(KELS). Latent growth modeling (LGM) with unconditional and conditional models was employed to estimate growth rate and initial status on self-efficacy among the two groups. Results showed that there were no significant differences in slopes between the two groups in terms of Korean, Math, and English, but initial status on math for students with learning disabilities was significantly lower than students without disabilities. Implications for practice and future research are discussed.

학습장애 연구에서 영가설 유의성 검증(NHST) 방법의 문제점과 대안

여승수(Seungsoo Yeo) 한국학습장애학회 2023 한국학습장애학회 학술대회지 Vol.2023 No.-

연구목적: 지난 100년이 넘는 기간동안 사회과학 분야에서는 NHST의 통계 검증 방법을 꾸준히 비판하고 있음에도 불구하고 한국 학습장애 분야에서는 이와 관련된 주제를 충분히 논의 되지 않았음. 따라서 본 연구에서는 국내 논문으로는 처음으로 학습장애 분야에서 NHST의 문제점을 논의하고 대안을 고찰하고자 하는 연구목적을 갖고 있음. 연구방법: 본 연구에서는 NHST의 주요 개념과 관련된 문제점을 요약하고, NHST의 대안이 될 수 있는 방법을 제안하기 위하여 NHST에 관한 최신 논문과 함께 전통적으로 많은 인용이 된 논문을 참조하였음. 연구결과: 그동안 문헌에서 보고한 NHST의 주요한 문제점 5가지를 제시하였으며, NHST의 문제점을 해결할 수 있는 대안으로 효과 크기와 효과 크기의 신뢰 구간을 제시함. 결론: 국내 학습장애 연구자들은 그동안 관행처럼 사용한 NHST와 p value의 개념을 재고찰 할 필요가 있으며, 향후 수행되는 양적연구에서는 NHST에 기반하기 보다는 효과 크기와 신뢰 구간을 보고하는 방법을 사용할 필요가 있음.

읽기 장애학생을 위한 어절 선택 CBM 분석: 기울기 민감도, 성별, 학년 차이에 초점을 맞추어

여승수(Seungsoo Yeo) 한국학습장애학회 2020 학습장애연구 Vol.17 No.3

읽기장애 학생에게 필요한 교육 프로그램을 제공할 때에는 그 효과성을 지속적으로 점검할 수 있는 진전도 모니터링 검사 도구를 사용할 필요가 있다. 본 연구에서 사용한 Maze 유형의 어절 선택 CBM은 초등학교 학생의 읽기 진전도를 지속적으로 점검할 수 있는 검사방법이다. 본 연구에서는 특별히 이 검사의 기울기 민감도와 성별 및 학년에 차이를 분석하였다. 본 연구에서는 초등학교 1학년 93명, 2학년 122명의 학생이 연구대상자로 참여하였다. 본 연구에서는 회귀분석 확장모형인 LMER(linear mixed effects regression)과 AIC(Akaike information criterion)의 효과크기를 산출하는 분석방법을 사용하였다. 본 연구결과에 따르면, 어절 선택 CBM은 1, 2학년의 기울기를 측정할 수 있는 충분한 민감도를 갖고 있는 것으로 나타났다. 또한 1, 2학년 간에 뚜렷한 읽기 점수의 차이를 확인할 수 있었다. 끝으로 본 연구에서는 연구의 제한점과 시사점을 제공하였다. It is necessary for teachers to use a progress monitoring tool to evaluate the effectiveness of their interventions for students with reading disabilities. Korean maze CBM in reading used in this study can be applied for measuring students’ progress in reading over time. The main focus of this study was on the sensitivity of slope as well as the difference in grade and gender. Participants were 93 first graders and 122 second-graders from three elementary schools. LMER(linear mixed effects regression) and AIC(Akaike information criterion) were used for answering research questions suggested in this study. Results from this study showed that Korean maze CBM possessed the good sensitivity of slope for first and second students. In addition, grade was an important predictor of Korean maze CBM scores. Implication for practice and research limitation are discussed.

쓰기장애 위험군 학생의 조기선별 정확성을 위한 그림-단어제시검사의 신뢰도와 예측 타당도 연구: 2년간의 종단자료

여승수 ( Seungsoo Yeo ),손지영 ( Ji Young Son ) 한국특수교육문제연구소 2014 특수교육저널 : 이론과 실천 Vol.15 No.4

본 연구는 쓰기 위험군 초등학교 저학년(1,2학년)학생들을 조기에 선별할 수 있는 목적으로 사용이 가능한 저학년용 쓰기검사 도구를 개발하고 측정학적 적합성을 평가하는 주된 목적을 갖고 있다. 특히 본 연구에서는 그림-단어제시검사를 활용하여 쓰기 위험군 학생의 조기선별 여부를 검증하고 있다. 본 연구에 참여한 연구대상 학생은 A시에 소재하고 있는 B 초등학교 42명이었다. 검사에서 사용된 분석방법은 신뢰도와 예측타당도를 분석하기 위해서 피어슨 상관계수를 사용하였으며 진단의 정확성을 측정하기 위해서 ROC 곡선 분석방법이 사용되었다. 본 연구결과에 따르면, 그림-단어제시검사는 양호한 신뢰도와 타당도를 나타내는 것으로 확인되었다. 또한 ROC 곡선 분석에서 제공된 절단점 점수를 활용할 경우 진단의 정확성이 양호한 것으로 확인되었다. 마지막으로 본 연구의 의의와 제한점에 대하여 논의하였다. The main purpose of this study was to develop and evaluate writing measures for early screening for first-second graders at risk. Especially, in this study, picture-word prompt measure was used as a measure for identifying struggling beginning writers. In this study, 42 students from B elementary school in the A city were participated. In order to evaluate alternate-form reliability and predictive validity, pearson correlation-coefficients were used, while ROC curve analyses were used for evaluating accuracy of classification. This study showed that the picture-word prompt measure could be considered as an adequate indicator of predicting struggling beginning writers. In addition, the use of ROC curve analyses resulted in increasing the probability of accuracy of classification. Implication for research and practices are presented.

수학 위험군 조기 선별을 위한 보편적 선별검사의 측정학적 적합성 연구: 2015년 개정교육과정을 중심으로

여승수(Seungsoo Yeo) 한국학습장애학회 2020 학습장애연구 Vol.17 No.1

수학교과에서의 보편적 선별검사의 필요성이 증대되고 있음에도 불구하고 그동안 관련된 연구의 수가 매우 부족한 상황이었다. 따라서 본 연구에서는 2015년 개정교육과정에 근거한 수학 보편적 선별검사를 개발하고 검사의 신뢰도와 타당도를 검증하고자 하는 연구목적을 설정하였다. 연구 대상자는 A 광역시에 속한 B 초등학교 1학년에 재학중인 112명의 학생이었다. 본 연구에서는 보편적 선별검사의 일반적인 특성을 고려하여 1, 2학기 동안 총 6회기의 검사를 실시하였다. 또한 예측 및 준거 타당도를 검증하기 위하여 12월 학기 말에 수학종합검사를 실시하였다. 연구결과에 따르면 수학 보편적 선별검사에서 산출한 기울기는 변화에 민감한 특성을 갖고 있는 것으로 나타났다. 또한 검사도구의 신뢰도와 타당도는 모두 양호한 것으로 나타났다. 결론적으로 본 연구결과를 바탕으로 새롭게 개발한 수학 보편적 선별검사의 측정학적 적합성을 증명할 수 있었다. 끝으로 본 연구의 제한점과 시사점을 논의하였다. Schools need universal screening measures in mathematics, but there is little research evaluating these measures in mathematics. The main purpose of this current study was to develop the mathematics universal screening measure in grade 1 and evaluate the reliability and validity of the measure in the 2015 revised national curriculum in mathematics. The participants were 112 students attending the first grade of A elementary school in B city. Given the general characteristics of universal screening measures, screening measures were administered 6 times per year (3 times per semester). In addition, the mathematics comprehensive assessment administered at the end of December was used to evaluate the criterion and predictive validity of universal screening measures. The results of this study showed that slopes were sensitive to growth on performance. In addition, good evidence of reliability and validity was found for universal screening measures. Collectively, this study supported the evidence of the technical adequacy of universal screening measures in mathematics. Practical implications and directions for future research are discussed.

읽기학습장애 진단을 위한 교육과정중심측정(CBM)의 효율적인 측정주기(Frequency) 분석

여승수 ( Seung Soo Yeo ),홍성두 ( Sung Doo Hong ),정평강 ( Pyung Gang Jung ) 한국특수아동학회 2011 특수아동교육연구 Vol.13 No.4

본 연구의 주된 연구주제는 CBM 구두읽기 검사의 효율적인 측정주기를 분석하는 것이었다. CBM은 특수교사의 중재전략 효과를 평가하기 위해서 개발된 검사도구로서 다른 전통적인 검사와 비교했을 때, 반복 측정할 수 있는 장점을 가지고 있다. 이러한 특성으로 인해 CBM을 교육현장에서 사용하게 된다면 학생들의 진전도를 민감하게 평가할 수 있으며 새로운 학습장애판별 모형인 중재반응모형에서도 CBM은 대안적인 검사도구로 사용될 수 있다. 하지만 CBM을 반복측정 해야 한다는 사실은 현장의 교사들에게 추가적인 평가 업무를 과중 시킬 수 있는 단점으로 인식될 수도 있다. 따라서 학교현장에서 CBM이 활발히 사용되기 위해서는 매주 측정해야하는 횟수보다 감소된 측정횟수를 제안할 필요가 있다. 본 연구에서는 효율적인 측정주기를 분석하기 위해서 7주 동안 매주 반복 측정된 CBM 기울기와 다양한 측정주기에서 산출된 기울기 값을 비교하였다. 본 연구결과에 따르면 다양한 측정주기 중 홀수 번째 측정주기에서 산출된 기울기가 가장 신뢰롭고 타당하다는 사실을 확인하였다. 마지막으로 본 연구의 제한점과 추후연구에 대한 제언을 제공하였다. This study examined the efficient frequency method of estimating the CBM reading aloud slope. Comparing to other traditional tests in education, CBM holds a unique feature: It is repeatedly sampled across time. However, due to such a feature of CBM, it seems that some teachers hesitate to employ the use of CBM. For this reason, it would be necessary to examine the reduced frequency of CBM data. Results showed that showed that the odd week schedule allowed for calculating the most valid and reliable CBM slopes in reading. Future research and limitations are discussed.

한국 특수교육에서 반복 연구의 개념 및 개선방안 고찰

여승수(Seungsoo Yeo) 한국학습장애학회 2021 학습장애연구 Vol.18 No.2

특수교육연구에서 반복 연구는 연구 결과의 신뢰성과 일반화 정도를 검증하기 위해 필요한 연구 유형이다. 특히 증거기반교수를 선별하기 위해서는 반복 연구의 결과들을 확인할 필요가 있다. 하지만 한국 특수교육에서는 반복 연구의 특성을 지닌 중재전략의 연구 수가 부족한 상황이며, 관련된 논의도 충분히 이뤄지지 않고 있었다. 따라서 본 연구에서는 한국 특수교육에서 반복 연구의 개념과 중요성 및 개선방안을 검토하는 연구 목적을 설정하였다. 본 연구에서는 이러한 목적을 달성하기 위하여 먼저 반복 연구의 주요 개념을 살펴보았다. 개념의 설명과 함께 반복 연구가 특수교육연구에서 중요한 이유를 살펴보았다. 마지막으로 한국 특수교육에서 반복 연구를 증진시킬 수 있는 10가지 개선 방안을 제공하였다. 본 논문을 기점으로 더 많은 반복 연구가 특수교육에서 수행되길 기대해 본다. Replication study is an important component of estimating both reliability and generalization of research on special education. Especially, it is necessary to test the results from replication studies because it is available to identify what evidence based practices work for in special education. Despite of these importances, few replication-based studies are reported in special education in Korea. In addition, this issue has not been fully discussed in special education research. The main purpose of this study was to review the important concepts and solutions of replication in special education. First, two different types of replication were discussed in this paper. Second, some reasons why replication of a study is important for special education research were provided. Finally, this paper provided 10 strategies that may increase the number of replication study in Korea.