프로그램 성과 연구에서 통계적 유의성과 효과강도의 활용 = The Practical Use of Statistical Significance and Measure of Association in Program Research

다국어 초록 (Multilingual Abstract)

The purpose of this study is to suggest the use of measures of association accounted for measures in addition to statistical significance(p value) in order to understand the magnitude of effects in program research. The 32 articles using ANOVA in two refereed journals(Korean Journal of Counseling, Korean Journal of Counseling and Psychotherapy) published in 2011 and 2012 were reviewed to examine the practical use of statistical significance and measure of association. In these articles, the fashion of reporting and interpreting results was also examined. p values given in these articles were 305 in total and 250(82%) of them were statistically significant. In eight articles, effect size(d) were given which range from .01 to 9.40. It was found that 24 articles ranging in the measures of association from .00 to .82. among them still interpreted the results by only the p value. Continued heavy reliance on the p value, the misinterpretation of the p value, and the need of reporting the measures of association in the future studies were discussed.

국문 초록 (Abstract)

본 논문의 목적은 프로그램 성과 연구에서 결과의 의미 있는 해석을 위해서는 통계적 유의성 이외에 효과강도 값의 활용 필요성을 제안하는 것이다. 이를 위해 최근 2년간(2011-2012년) 한국상담학회와 한국상담심리학회 발행 학술지 20 개권에 게재된 370편의 논문 가운데 프로그램 효과를 살펴본 32편의 논문을 대상으로 결과 제시 방식을 살펴보았다. 대상 논문에서 종속변인과 직결하여 제시한 유의수준은 305개였다. 이 가운데 250(82%)개는 통계적으로 유의했으며, 나머지 55개(18%)는 유의하지 않았다. 효과강도 값을 제시한 논문은 8편이였으며, 이들 가운데 효과크기를 d 값으로 제시한 6편은 .01에서 9.40까지의 효과크기를 나타냈고, R2과 에타제곱(η2)을 제시한 각 논문들의 효과강도는 각각 .96, .72를 나타냈다. 효과강도를 제시하지 않은 24편은 .00에서 .82까지의 효과강도 값을 가지는 것으로 나타났다. 이상의 결과에 기초하여 몇 가지 제언과 함께 통계적 유의성과 효과강도에 기초한 실제적 유의성에 대해서 함께 논의하였다.

참고문헌 (Reference)

1 박문규, "희망증진 집단상담 프로그램이 중학생의 학습동기와 성취목표지향성에 미치는 영향" 한국상담학회 12 (12): 505-522, 2011

2 윤성민, "행복증진을 위한 긍정심리활동들의 효과비교:개인-초점적 활동과 관계-초점적 활동" 한국상담심리학회 24 (24): 121-148, 2012

3 두정일, "파괴적 행동문제가 있는 아동과 그 부모를 대상으로 실시한 집단 부모-아동 상호작용 치료(PCIT)효과 검증" 한국상담심리학회 24 (24): 339-363, 2012

4 김미정, "통합학급 초등학생의 배려증진을 위한 집단상담 프로그램 개발" 한국상담학회 13 (13): 2881-2897, 2012

5 권영배, "초등학생의 학업발달을 위한 학급단위 학업상담 프로그램 개발" 한국상담학회 12 (12): 2177-2199, 2011

6 이현주, "초등학생의 주관적 안녕감 증진을 위한 강점 기반 집단상담 프로그램 개발" 한국상담학회 12 (12): 467-488, 2011

7 장미경, "청소년 게임중독 예방을 위한 부모교육프로그램의 개발 및 효과검증" 한국상담심리학회 23 (23): 277-297, 2011

8 김윤경, "집단치료놀이가 주간보호시설 노인의 자아존중감과 우울에 미치는 효과" 한국상담학회 12 (12): 1527-1544, 2011

9 권희경, "집단상담에서의 정서인식, 정서표현 및 정서수용이 상담성과에 미치는 영향" 한국상담심리학회 23 (23): 811-831, 2011

10 최영희, "집단 미술 치료 프로그램이 유아의 다중지능 향상에 미치는 효과" 한국상담학회 12 (12): 1035-1050, 2011

11 이선화, "직관 프로그램이 초보상담자의 자기효능감과 영적안녕감에 미치는 효과" 한국상담학회 12 (12): 1173-1192, 2011

12 조한익, "중학생을 위한 웹기반 학습상담 프로그램의 개발 및 효과 연구" 한국상담학회 12 (12): 1857-1871, 2011

13 장정주, "정서자각에 기초한 정서표현 훈련이 정서자각, 정서표현, 정서표현의 억제 및 대인관계에 미치는 효과" 한국상담심리학회 23 (23): 861-884, 2011

14 오정영, "자활사업참여자들의 임파워먼트를 위한 긍정심리프로그램 개발 및 효과 연구" 한국상담학회 12 (12): 2047-2064, 2011

15 조현주, "자애명상 기반 수용전념치료 프로그램 개발과 효과: 우울경향 대학생을 중심으로" 한국상담심리학회 24 (24): 827-846, 2012

16 오창홍, "인터넷 중독 청소년을 위한 숲 체험 프로그램 개발 및 효과" 한국상담학회 13 (13): 2395-2415, 2012

17 박성주, "이혼위기 부부를 위한 문제해결 단기상담프로그램의 개발" 한국상담심리학회 23 (23): 47-73, 2011

18 김혜숙, "예비부부를 위한 관계향상 프로그램 개발 및 효과 -PREPARE 도구를 기초로-" 한국상담학회 12 (12): 1193-1210, 2011

19 정민, "아들러의 사회적 관심과 격려 기법에 근거한 인터넷 중독과 사이버 비행 아동 집단상담 프로그램의 효과" 한국상담심리학회 24 (24): 533-553, 2012

20 이명희, "수능 직전 고3 학생을 위한 진로저널 프로그램 연구" 한국상담학회 13 (13): 1975-2000, 2012

21 이선영, "불안에 대한 수용-전념 치료의 치료과정 변인과 치료효과" 한국상담심리학회 24 (24): 223-254, 2012

22 김정모, "마음챙김에 기초한 인지치료가 공감 능력에 미치는 효과" 한국상담심리학회 23 (23): 27-45, 2011

23 김소희, "마음챙김명상에 기반한 스트레스 감소(MBSR) 프로그램이 여대생의 이성 관계 집착행동과 관계만족에 미치는 영향" 한국상담학회 13 (13): 2289-2307, 2012

24 이재정, "대학생을 대상으로 한 불면증 인지행동치료 프로그램(CBT-I)의 효과" 한국상담학회 12 (12): 693-707, 2011

25 정여주, "대학생 연인관계 향상 집단상담 프로그램 개발 및 효과 검증" 한국상담학회 13 (13): 169-191, 2012

26 함경애, "남자 중학생을 위한 학업적 지연행동 극복 프로그램 개발과 효과" 한국상담학회 12 (12): 861-879, 2011

27 이정상, "구치소 재소자의 자아존중감 및 대인관계 향상을 위한 집단상담 프로그램의 효과" 한국상담학회 12 (12): 1413-1431, 2011

28 김유미, "고위험군 학생들의 학교적응력 향상을 위한 상담프로그램의 효과연구 -전문대학생을 대상으로-" 한국상담학회 13 (13): 215-230, 2012

29 이경희, "고등학생의 사회성 향상을 위한 집단상담 프로그램 개발" 한국상담학회 13 (13): 1537-1561, 2012

30 김은영, "게슈탈트 집단치료 프로그램이 여성 재가노인의 우울 및 생활만족도와 자아통합감에 미치는 효과" 한국상담학회 12 (12): 261-281, 2011

31 유태용, "가설검증에서 통계적 유의도와 효과강도 통계치 간의 관계" 319-330, 1993

32 신혜린, "‘전반적 영역의 사회불안’ 유형과 ‘발표 영역의 사회불안’ 유형의 비디오 피드백 효과 차이 검증" 한국상담학회 13 (13): 1679-1695, 2012

33 Tabachnick, B. G., "Using multivariate statistics" Harper & Row 1989

34 Cohen, J., "Things I have learned(so far)" 45 : 1304-1312, 1990

35 Bakan, D., "The test of significance in psychological research" 66 : 423-437, 1966

36 Eysenck, H. J., "The effects of psychotherapy : an evaluation" 16 : 319-324, 1952

37 Lykken, D. T., "Statistical significance in psychological research" 70 : 151-159, 1968

38 Rosnow, R. L., "Statistical procedures and the justification of knowledge in psychological science" 44 : 1276-1284, 1989

39 Cohen, J., "Statistical power analysis for the behavioral sciences" Academic Press 1988

40 Heppner, P. P., "Research design in counseling" Brook/Cole 1992

41 Dunnette, M. D., "Fads, fashions, and folderol in psychology" 21 : 343-352, 1966

42 Keppel, G., "Design and analysis: A researcher's Handbook" Prentice-Hall 1982

43 Kazdin, A. E., "Assessing the clinical or applied significance of behavior change through social validation" 1 : 427-452, 1977

44 Meehl, P. E., "Appraising and amending theories : The strategy of Lakatosian defense and two principles that warrant it" 1 : 108-141, 1990

45 김윤희, "ADHD 성향 청소년을 위한 학업적 자기관리기술 프로그램의 효과" 한국상담심리학회 23 (23): 577-602, 2011