검사의 문항 표현에 따른 방법효과 검증

국문 초록 (Abstract)

본 연구는 자기보고식 검사의 반응편파를 줄이기 위해 부정문항과 긍정문항을 혼용하였을 경우, 의도치 않게 발생하여 검사의 타당성을 위협하는 방법효과에 대한 심층 분석을 목적으로 수행되었다.
이러한 목적에 따라 부정문항의 방법효과와 긍정문항의 방법효과를 각각 분석하여 방법효과의 본질을 규명 하고자 하였다. 방법효과의 본질을 지속적인 행동패턴인 반응양식으로 규명하기 위해 1)검사가 측정하고자 하는 실제적 요인과의 분리가능성을 확인하였고, 2)특정 검사에서만 나타나는 현상이 아님을 의미하는 검사 독립성을 검증하였으며, 3)검사 내용에 따라 유의미하게 발생되는 효과인지를 파악하여, 4)일정시간 동안 그 특성이 안정적으로 유지되는가를 체계적으로 분석하였다. 이 검증 단계는 부정문항의 방법효과와 긍정문항의 방법효과 각각에 대해 동일하게 적용되어졌고, 각 방법효과 검증결과에 따른 공통점과 차이점을 토대로 방법효과의 궁극적 실체에 대한 결론을 제시하였다.
또한 방법효과에서 나타나는 반응양식의 특성화 검증을 통해 반응양식으로서의 방법효과 본질을 재차 확인하였다. 반응양식에 영향을 미치는 대표적 변인인 교육수준, 성별, 인종, 성격적 특징에 따른 방법효과 분석을 실시한 결과, 방법효과의 발생 원인과 배경, 처리방법 등에 관한 유용한 제언들을 보고하였다.
방법효과 연구를 위해 한국청소년패널조사자료, 청소년 생활태도 및 가출실태 조사자료, 미국교육종단연구 자료로부터 다양한 검사들을 사용하였고, 연구 설계 목적에 따라 비교집단 설정과 횡․종단 연구를 혼합하여 수행하였다. 확인적 요인분석을 통한 모형비교와 구조방정식을 활용하여 방법효과의 통계적 분석을 실시하였다.

본 연구의 결과는 다음과 같다.

1. 부정문항의 방법효과와 긍정문항의 방법효과 모두 실제적 요인과 분리 가능한 개별적인 요인임이 증명되어졌고, 다양한 검사들을 통해 각 방법효과의 검사 독립성이 검증되었다. 또한 검사가 측정하고자 하는 실제적 요인과 방법효과 간의 유의미성이 부정문항과 긍정문항의 방법효과에서 모두 확인되었으며, 이러한 각 방법효과의 특성은 종단 자료 분석을 통해 시간의 흐름에도 매우 안정적인 특성으로 나타났다. 이러한 연구 결과를 통해 독립적 요인으로 간주되는 방법효과의 본질은 방법론적 허구가 아닌 검사 내용과 유의미한 관계를 갖는 반응양식으로 결론지을 수 있다.

2. 방법효과에 대한 반응양식의 다양한 특성화 검증 연구를 통해 부정문항과 긍정문항의 방법효과는 큰 틀에서 사회적 바람직성이라는 성격적 특성에 영향을 받아 발생하는 본질적으로는 동일한 효과라고 결론 내릴 수 있다.
그러나 부정문항의 방법효과 경우, 문항해석에 대한 언어적 능력과 관련이 있어 교육수준에 따른 차이가 나타나고, 긍정문항의 방법효과는 교육수준에 따른 차이보다는 심리적 성숙과 더 밀접한 관련이 있는 효과라 할 수 있다. 또한 부정문항의 방법효과의 경우 성별에 따른 차이는 없는 것으로 나타났으나 긍정문항의 방법효과의 경우 심리적 성숙이 연령과 관계가 있는 것으로 나타났다. 따라서 연령에 따른 고려 없이 성별에 대한 차이를 단독으로 논하는 것은 적절치 않은 것으로 확인되었다.
부정문항과 긍정문항의 방법효과가 본질적으로는 동일한 반응양식이라는 존재로 규명되었으나 동전의 양면처럼 발생 배경과 그 특성에 있어서는 다소 차이가 있는 것으로 나타났다. 특히 한국 학생들과 백인, 미국계 아시아인, 흑인, 히스패닉 학생들에게서 나타나는 인종에 따른 부정문항의 방법효과 차이검증결과, 한국 학생들이 다른 인종의 학생들 보다 부정문항의 방법효과를 크게 나타내고 있는 것을 확인할 수 있었다. 4인종의 학생들과 한국학생들 간의 부정문항 방법효과에 대한 효과크기 비교 결과, 모두 보통 이상의 유의한 차이를 나타내었고, 한국 학생을 제외한 4인종 학생의 부정문항 방법효과 간 차이는 거의 없는 것으로 확인되었다.

본 연구 결과를 토대로 방법효과에 대해 다음과 같은 제언을 할 수 있다. 방법효과는 성격적 특성에 따라 나타날 수 있는 반응양식이라는 안정적인 요인이기 때문에 방법론적으로 최소화 하거나 제거될 수 있는 성질이 아님을 상기해야 하며, 긍정문항과 부정문항이 혼재된 검사의 요인구조 탐색 시 반드시 부정문항과 긍정문항에 대한 방법효과를 고려한 모형을 추가하여 비교 분석할 것을 제안한다.
방법효과의 발생이 검사 내용과 유관하므로, 방법효과가 검증된 검사 간 관계 연구에서도 반드시 방법효과를 고려한 관계 분석이 수행되어야 한다. 부정문항과 긍정문항의 방법효과 모두 충분한 시점에 걸쳐 안정적인 행동 패턴인 반응양식으로 검증되었기 때문에, 검사에 영향을 미치는 다른 성격적 변인들과 마찬가지로 검사 목적에 따라 유의미한 변인으로 고려될 필요가 있다.
부정문항의 방법효과 경우 교육적 수준에 따른 유의한 차이가 나타나는 것이 확인되었으므로, 저학년 학생들에게 부정문항이 포함된 검사의 실시와 해석을 할 경우 이에 대한 주의를 요한다. 긍정문항의 방법효과 경우 교육적 수준에 따른 차이는 나타나지 않았으나, 심리․성격적 특성이 안정적으로 발현되기 시작한 표본에서 타당한 검사 결과가 나타날 수 있다. 그러므로 긍정문항과 부정문항을 혼용하여 정의적 특성을 측정하는 검사의 경우, 긍정문항의 방법효과가 발생할 가능성이 있다면 특히 표본의 선택과 경향성을 반영한 결과 해석이 이루어져 한다.
각 방법효과와 관련한 성별에 따른 연구는 단독적으로 수행하기 보다는 다른 인지․심리적 변인들과 함께 그 관계를 탐색하는 것이 바람직하다. 인종 및 다양한 특성에 의한 집단에 따른 방법효과의 유의한 차이가 예상되기 때문에 긍정문항과 부정문항이 혼재된 검사 결과 분석 시 국가 간 비교 및 집단 특성을 고려한 방법론적인 처리를 제안한다.
부정문항의 방법효과와 긍정문항의 방법효과가 포괄적인 의미에서는 사회적 바람직성과 관련된 성격적 특성들에 영향을 받는 것으로 분석되었다. 그러나 부정문항의 방법효과는 부정적 평가에 대한 두려움 및 외모 스트레스로 대변되는 타인 평가에 대한 민감성과 유의한 관계가 있고, 긍정문항의 방법효과는 자기 신뢰감과 정서 조절감과 사회적 바람직성의 인상관리 요인과 유의한 관계가 있는 것으로 나타났다. 따라서 검사의 목적과 의도에 따라 응답자들의 특성이 편파 되어 나타날 경우, 각 방법효과에 영향을 미치는 성격적 특성들을 고려한 검사 결과의 보고를 제안한다.

목차 (Table of Contents)

• I. 서 론 1
• 1. 연구의 필요성 및 목적 1
• 2. 연구문제 7
• II. 이론적 배경 8
• 1. 반응편파 8
• 가. 반응편파의 개념 8
• 나. 반응양식 8
• 다. 반응편파를 줄이기 위한 전략 13
• 2. 방법효과 14
• 가. 방법효과의 개념 14
• 나. 방법효과에 대한 연구 15
• 3. 방법효과 분석을 위한 확인적 요인분석 24
• 가. MTMM에서의 확인적 요인분석 모형 26
• 나. 확인적 요인분석을 통한 측정 동일성 검증 31
• III. 연구방법 36
• 1. 연구설계의 개요 36
• 2. 연구설계Ⅰ: 반응양식으로서의 방법효과 검증 39
• 가. 연구설계Ⅰ-1: 방법효과의 존재 검증 39
• 나. 연구설계Ⅰ-2: 방법효과의 검사 독립성 검증 51
• 다. 연구설계Ⅰ-3: 방법효과의 유의미성 검증 52
• 라. 연구설계Ⅰ-4: 방법효과의 시간적 불변성 검증 56
• 3. 연구설계Ⅱ: 방법효과에 대한 반응양식 특성화 검증 60
• 가. 연구설계Ⅱ-1: 교육 수준, 성별, 인종에 따른 방법효과 분석 60
• 나. 연구설계Ⅱ-2: 성격적 특성에 따른 방법효과 분석 64
• 4. 분석자료 및 측정도구 67
• 가. 한국청소년패널조사 68
• 나. 청소년 생활태도 및 가출실태 조사 75
• 다. NELS 79
• 5. 분석방법 81
• IV. 연구결과 82
• 1. 연구설계Ⅰ: 반응양식으로서의 방법효과 검증결과 82
• 가. 연구설계Ⅰ-1: 방법효과의 존재 검증결과 82
• 나. 연구설계Ⅰ-2: 방법효과의 검사 독립성 검증결과 88
• 다. 연구설계Ⅰ-3: 방법효과의 유의미성 검증결과 92
• 라. 연구설계Ⅰ-4: 방법효과의 시간적 불변성 검증결과 97
• 2. 연구설계Ⅱ: 방법효과에 대한 반응양식 특성화 검증결과 102
• 가. 연구설계Ⅱ-1: 교육수준, 성별, 인종에 따른 방법효과 분석결과 102
• 나. 연구설계Ⅱ-2: 성격적 특성에 따른 방법효과 분석결과 119
• V. 논의 및 결론 126
• 1. 반응양식으로서의 방법효과 검증결과 요약 및 논의 126
• 2. 방법효과에 대한 반응양식 특성화 검증결과 요약 및 논의 133
• 3. 결론 및 제언 142
• 참고문헌 147
• 부록 160
• ABSTRACT 169