온라인 설문에서의 불성실 응답 방지 방법에 대한 연구: 객관적 자기인식 이론의 적용 = A study on preventing careless responding in online survey: Applying objective self-awareness theory

다국어 초록 (Multilingual Abstract)

Due to the ease of implementation and considerations of cost-effectiveness compared to conventional paper-pencil surveys, online surveys are widely used not only in general survey research but also in organizational research, such as in customer and employees surveys. There have been much researches on detecting careless respondents in order to improve the quality of data collected through surveys, but there has been lack of empirical research on how to prevent careless responding in advance. Therefore, this study aimed to find a way to prevent careless responding in online surveys by applying the objective self-awareness theory in social psychology. In study 1 and 2, undergraduate students were surveyed, and in the study 3, the survey was conducted for the employees. The key research question with regards to three studies concerns whether the careless responding decrease in experimental conditions where the objective self-awareness is manipulated; compared to control conditions using general instructions. Further statistical properties of several existing indicators developed for detecting various types of careless respondents were compared among the conditions.
In study 1, I designed an online survey page (inserting mirror images on the screen) to induce self-awareness, which was compared with the condition using warning instructions and with the control group using general survey instructions. Results in study showed that there was a tendency that the careless responding of the mirror condition decreased (four indicators of psychometric antonyms, Mahalanobis distance, time index, bogus items) compared to the control condition. In addition, there was a tendency that the careless responding of the mirror decreased (two indicators of time index, bogus items) compared to the warning condition, suggesting that the use of the mirror image to induce self-awareness is likely to reduce the careless responding. However, Study 1 does not directly measure the level of objective self-awareness, so there is a limitation that the use of the mirror image has not been tested to increase self-awareness.
In study 2, I tried to replicate the effects of the mirror image insertion on preventing careless responding shown in study 1 and explored the effects of other methods for manipulating self-awareness (image selection in terms of facial features, recall of a personal episodic memory). The results of Study 2 showed that there was a tendency that the careless responding of the mirror condition decreased (two indicators of even-odd consistency, time index) compared to the control condition, and the careless responding was also decreased (only time index) in the image condition, but there was no difference between the control condition and the recall condition. Compared to study 1, the effect is somewhat weakened, but the result suggests that manipulation to induce self-awareness could prevent careless responding. However, since there was no difference between the conditions in the score of the self-awareness scale inserted for the manipulation check, there was a limit in explaining the difference in the careless responding between the conditions as the effect of self-awareness. Therefore, in study 3, I used the Linguistic Implications Form to measure self-awareness.
In study 3, I tried to replicate the effects of the mirror image insertion on preventing careless responding shown in study 1,2 and to compare the effect of preventing careless responding with the control condition by using the image selection (study 2) and the I-priming task together. I also added Vignette quiz scores and response lengths to open questions as indicators of careless responding and conducted an online survey on 315 employees of various ages to generalize the results in studies 1 and 2. First, in comparison between control condition and experimental condition 1 using a mirror image, there was a tendency that the careless responding experimental condition 1 decreased(only maximum longstring) compared to the control condition. However, there were no significant differences between the conditions in the self-awareness scores. Therefore, the effect of experimental condition 1 could not be explained by the self-awareness. Next, in comparison between the control conditions and experimental condition 2 (using image selection and I-priming task), there was a tendency that the careless responding experimental condition 2 decreased (maximum longstring, time index, the response length to open questions) compared to the control condition. However, the Mahalanobis distance value was significantly higher in experimental condition 2 than in the control condition. Although the mediation analysis of self-awareness could not be tested for the maximum longstring and the response length to open questions, for time indicators, it was shown that there is a mediating effect of self-awareness.
When reviewing the results of the study as a whole, time index was a indicator of relatively consistent differences between control and experimental conditions. This suggests that the method for inducing objective self-awareness has the effect of keeping people participated in the questionnaire for a longer time. Finally, implications, limitations, and future directions of the current research were discussed.

국문 초록 (Abstract)

온라인 설문은 기존의 지필형 설문에 비해 실시의 편의성과 비용적인 측면에서 이점이 있기 때문에 일반적인 연구 장면뿐만 아니라, 고객 및 종업원 인식조사 등 실무 장면에서도 광범위하게 사용된다. 설문을 통해 수집한 데이터의 질을 높이기 위해 불성실 응답자를 탐지하는 방법에 대한 연구가 활발히 이루어져 왔으나, 불성실 응답을 사전에 방지하기 위한 방법에 대한 실증적인 연구는 매우 부족한 편이다. 따라서 본 연구에서는 사회심리학의 객관적 자기인식의 이론을 적용하여, 온라인 설문에서 불성실 응답을 방지하기 위한 방법을 모색하고자 하였다. 본 연구는 크게 세 개의 온라인 설문 연구로 구성되었고, 연구 1과 2에서는 대학생들을 대상으로, 연구 3에서는 일반 직장인들을 대상으로 온라인 설문을 실시하였다. 세 개의 연구에서 공통된 핵심 연구 질문은 ‘일반적인 지시문을 활용하는 통제조건에 비해서 객관적 자기인식을 조작하기 위한 실험조건에서 불성실 응답이 감소하는가?’이며, 비교를 위해서 기존 불성실 응답 연구들에서 도출된 지표를 활용하였다.
연구 1에서는 자기인식을 유발하기 위해 거울이미지를 배경으로 삽입하는 온라인 설문 화면 구성하였으며, 거울이미지의 불성실 응답 방지효과를 파악하기 위해 경고지시문을 활용한 조건 및 일반적인 조사 지시문을 활용한 통제 조건과 비교하였다. 연구 결과, 심리측정적 반의어, 마할라노비스 거리, 시간지표, 위조문항의 네 개 지표에서 통제조건에 비해 거울이미지를 삽입한 거울조건 응답자들의 불성실 응답이 감소하는 경향성이 나타났다. 또한 시간 지표 및 위조문항 지표에 대해 경고조건에 비해 거울조건 응답자들의 불성실 응답이 감소하는 경향성을 보임으로써, 자기인식을 유발하기 위한 거울이미지 사용이 불성실 응답을 감소시킬 가능성을 제시하였다. 다만, 연구 1에서는 객관적 자기인식 수준을 직접 측정한 것이 아니기 때문에 거울이미지의 사용이 자기인식을 높이는 지에 대해서는 검정되지 않았다는 한계점이 있다.
연구 2에서는 연구 1에서 나타난 거울이미지 삽입의 불성실 응답 방지 효과를 반복검증하고, 거울이미지 외에 자기인식을 조작하기 위한 다른 방법들(얼굴형태 이미지 선택, 개인적 일화 회상)의 효과를 탐색하였다. 연구 결과, 거울조건의 응답자들은 홀-짝 일관성 지표와 시간 지표에서 불성실 응답이 감소하는 경향성이 나타났으며, 이미지조건의 참가자들은 시간 지표에서 불성실 응답의 감소가 나타났으나, 통제조건과 회상 조건 간에는 아무런 차이가 나타나지 않았다. 연구 1에 비해서 그 효과는 다소 약해졌으나, 자기인식을 유발하기 위한 조작이 불성실 응답을 방지할 가능성을 나타내는 결과이다. 하지만 조작 체크를 위해 삽입한 자기인식 척도의 점수에서 조건 간 차이가 나타나지 않았으므로 조건 간에 나타난 불성실 응답의 차이를 자기인식의 효과로 설명하기에는 한계가 있었다. 따라서 연구 3에서는 자기인식을 측정하기 위해 Linguistic Implications Form이라는 도구를 활용하였다.
연구 3에서는 연구 1과 2에서 나타난 거울이미지 삽입의 불성실 응답 방지효과를 재검증하고, 얼굴형태 이미지 선택과 나-대명사 과제를 함께 사용하여 통제조건과의 불성실 응답 방지효과를 비교하고자 하였다. 또한 빈넷 퀴즈점수 및 개방형 문항에 대한 응답길이를 불성실 응답의 지표로 추가하였으며, 다양한 연령대의 일반 직장인들 315명을 대상으로 온라인 설문을 실시함으로써, 연구 1과 2에서 나타난 결과를 일반화하고자 하였다. 먼저, 통제조건과 거울이미지를 삽입한 실험조건1의 비교에서는 최대 롱스트링 지표에서 통제조건에 비해 실험조건1 응답자들의 불성실 응답이 감소하는 경향이 나타났으나, 자기인식 점수에서 조건 간 유의한 차이가 없었기 때문에 불성실 응답의 방지효과를 자기인식의 효과로 설명하는 것에 여전히 한계가 존재한다. 다음으로 통제조건과 얼굴유형 이미지선택 및 나-대명사 과제를 사용한 실험조건2와의 비교에서, 비록 마할라노비스 거리에서는 예상과는 반대의 결과가 나왔으나, 최대 롱스트링 지표, 시간지표, 개방형 질문에 대한 응답 길이에서 통제조건에 비해 실험조건2 응답자들의 불성실 응답이 감소한 것으로 나타났다. 비록 최대 롱스트링 지표와 개방형 질문에 대한 응답길이에 대해서는 자기인식의 매개효과를 살펴볼 수 없었으나, 시간지표에 대해서는 자기인식의 매개효과가 나타났다.
연구의 결과를 전반적으로 살펴보았을 때, 통제조건과 실험조건 간의 비교에서 비교적 일관되게 차이를 보였던 지표는 시간지표이다. 이는 객관적 자기인식을 유발하기 위한 방법이 사람들을 더 오랜 시간 설문에 참여하게 하는 효과를 지니고 있다고 볼 수 있으며, 끝으로 본 연구의 의의, 제한점 및 추후 연구방향에 관하여 논의하였다.

목차 (Table of Contents)

• 목 차
• 그림 목차 i
• 표 목차 ii
• I. 서 론 1
• II. 이론적 배경 3
• 1. 불성실 응답의 정의 3
• 2. 불성실 응답의 원인 5
• 3. 불성실 응답의 기저율 6
• 4. 불성실 응답의 영향 7
• 5. 불성실 응답의 사후 탐지 방법 및 방지 방법 8
• 1) 불성실 응답의 사후 탐지 방법 8
• 1)-1 불성실 응답 탐지 문항 삽입 8
• 1)-2 통계적인 방법 10
• 2) 불성실 응답의 방지 방법 11
• 6. 불성실 응답 방지 방법 제안 14
• 7. 연구의 구성과 방향 18
• III. 연구 1 19
• 방 법 20
• 연구 설계 20
• 연구 참가자 및 자료수집 절차 22
• 측정도구 22
• 결 과 28
• 연구 1 논의 43
• 연구 1의 제한점 및 연구 2의 방향 45
• IV. 연구 2 47
• 방 법 51
• 연구 설계 51
• 연구 참가자 및 자료수집 절차 55
• 측정도구 55
• 결 과 58
• 연구 2 논의 85
• 연구 2의 제한점 및 연구 3의 방향 88
• V. 연구 3 90
• 방 법 90
• 연구 설계 90
• 연구 참가자 및 자료수집 절차 92
• 측정도구 93
• 결 과 97
• 연구 3 논의 108
• 연구 3의 제한점 110
• VI. 종합논의 113
• 한계점 및 추후 연구방향 119
• 결 론 122
• 참고 문헌 123
• 부 록 135

참고문헌 (Reference)

1. 스트레스 척도 핸드북, 김병수, 김정현, 서울: 학지사, , 2013

2. 사회적 바람직성 척도 타당화, 최보라, 이화여자대학교 석사학위논문, , 2007

3. 설문지의 길이가 응답의 질에 미치는 영향, 김권현, 유동주, 김청택, 김형준, 조사연구 16. 1-48, , 2015

4. 한국판 상황적 자기인식척도(K-SSAS)의 타당화 연구, 박홍석, 이정미, 한국심리학회지: 학교, 15, 177-196, , 2018

5. 정서지능과 자아탄력성이 대학생활 적응에 미치는 영향, 최지현, 연세대학교 석사학위논문, , 2008

6. 한국판 20 항목 Toronto 감정표현불능증 척도 (TAS-20K)의 개발과 타당도, 임효덕, 이양현, 이종영, 신경정신의학, 35, 888-899, , 1996

7. CES-D 척도(The Center for Epidemiologic Studies-Depression Scale)의 요인구조 분석, 배성우, 신원식, 보건과 사회과학, 18, 165-190, , 2005

8. 개인의 인지적 종료 욕구와 정서에 대한 인식 정도가 직무 스트레스에 미치는 영향, 변지은, 이수정, 이훈구, 유재호, 한국심리학회지: 산업 및 조직, 10, 55-77, , 1997

9. 교수의 지지가 학생들의 자기효능감과 취업인식에 미치는 영향분석: 항공서비스 관련 학과 학생들을 중심으로, 진민지, 한국항공대학교 석사학위논문, , 2018

10. 대학에서 ‘전공’에 몰입하면 좋은 직장을 얻 게 되는가? 대학생들의 전공몰입이 취업의 질에 미치는 효과에 있어서 의 성차, 신희천, 장재윤, 이지영, 한국심리학회지: 산업 및 조직, 20, 415-435, , 2007