AI 생성 정보에 대한 대학생의 비판적 평가 행동 척도 개발 및 타당화 = Development and Validation of a Scale Measuring University Students’ Critical Evaluation Behaviors toward AI?Generated Information

다국어 초록 (Multilingual Abstract)

The purpose of this study was to conceptualize university students’ behaviors in critically evaluating and using AI-generated information in learning contexts, and to develop and validate a reliable and valid scale to measure these behaviors. Generative AI has become an important learning tool in university students’ information seeking, academic task performance, and knowledge construction. However, AI-generated information may involve limitations such as hallucinations, bias, and opacity of sources. Accordingly, it is necessary to measure students’ behaviors in not merely accepting AI-generated information, but in checking its accuracy and reliability, reconstructing it in accordance with their learning context, reflecting on and regulating the overall process of use, and complying with academic ethics.
To this end, this study operationally defined university students’ critical evaluation behaviors toward AI-generated information and developed preliminary items based on a review of prior research. Subsequently, a two-round Delphi survey was conducted with five experts in related fields to examine content validity, through which four components and preliminary items were finalized. A pilot survey was then conducted with 125 university students to examine item response distributions, reliability, item comprehensibility, and exploratory factor structure. In the main survey, data from 516 university students were analyzed using confirmatory factor analysis. The final items were determined by comprehensively considering standardized factor loadings, modification indices, inter-factor correlations, model fit, and the theoretical validity of item content.
The results of the study were as follows. First, the scale developed in this study consisted of four factors: “Information Checking,” “Critical Knowledge Construction,” “Information Use Monitoring,” and “Ethical Compliance.” Second, the confirmatory factor analysis of the main survey data supported a final four-factor, 17-item model after excluding Items 15, 8, and 1. In addition, the inter-factor correlations derived from the confirmatory factor analysis suggested that the subfactors were theoretically distinguishable, despite relatively high correlations among some factors. Third, the internal consistency reliability of the final scale was found to be acceptable for both the overall scale and its subfactors. Fourth, the overall mean score of the final scale was significantly and positively correlated with overall AI literacy, the critical evaluation and ethical use domains of AI literacy, and the logical and critical thinking domain of university students’ core competencies. These findings provide evidence of convergent validity by demonstrating that the scale is associated with theoretically relevant external criterion variables in the expected direction. At the same time, the correlations suggest that although the scale is related to existing constructs such as AI literacy and logical and critical thinking, it may not be completely redundant with them.
This study is significant in that it developed an instrument for measuring the process of evaluating AI-generated information based on learners’ actual behaviors in university learning environments where the use of generative AI has become increasingly common. In particular, beyond existing approaches centered on AI literacy, critical thinking, and ethical awareness, this study proposed a behavior-based scale that encompasses Information Checking, Critical Knowledge Construction, Information Use Monitoring, and Ethical Compliance to AI-generated information. Therefore, while the scale is related to AI literacy and general critical thinking competencies, it can be used as a distinct measurement tool to specifically diagnose how university students evaluate and use AI-generated information in learning contexts. The scale may serve as a foundation for diagnosing university students’ behaviors in using AI-generated information, designing educational programs that foster critical thinking and responsible AI use in the era of generative AI, and measuring changes in students’ critical evaluation behaviors before and after participation in such programs.

국문 초록 (Abstract)

생성형 AI는 대학생의 정보 탐색, 과제 수행, 지식 구성 과정에서 중요한 학습 도구로 활용되고 있으나, AI가 생성한 정보는 환각, 편향성, 출처 불투명성 등의 한계를 지닐 수 있다. 이에 따라 학습자가 AI 생성 정보를 단순히 수용하는 것이 아니라, 정확성과 신뢰성을 점검하고, 자신의 학습 맥락에 맞게 재구성하며, 활용 과정 전반을 성찰·조절하고, 학업 윤리를 준수하는 행동을 측정할 필요가 있다. 본 연구의 목적은 대학생이 학습 과정에서 AI 생성 정보를 비판적으로 평가하고 활용하는 행동을 개념화하고, 이를 신뢰롭고 타당하게 측정할 수 있는 척도를 개발·타당화하는 데 있다. 이를 위해 본 연구는 선행연구 분석을 통해 ‘AI 생성 정보에 대한 대학생의 비판적 평가 행동’을 조작적으로 정의하고 예비 문항을 개발하였다. 이후 관련 분야 전문가 5인을 대상으로 2차에 걸친 델파이 조사를 실시하여 내용타당도를 검토하였으며, 이를 바탕으로 4개 구성요인과 예비 문항을 확정하였다. 다음으로 대학생 125명을 대상으로 예비조사를 실시하여 문항의 응답 분포, 신뢰도, 문항 이해도 및 탐색적 요인구조를 점검하였다. 본조사에서는 대학생 516명의 자 료를 활용하여 확인적 요인분석을 실시하고, 표준화 요인부하량, 수정지수, 요인 간 상관, 모형 적합도 및 문항 내용의 이론적 타당성을 종합적으로 고려하여 최종 문항을 확정하였다. 연구 결과는 다음과 같다. 첫째, 선행연구 분석을 통해 AI 생성 정보의 정확성과 신뢰성을 점검하고, 이를 학습 맥락에 맞게 재구성하며, 활용 과정을 성찰·조절하고, 학업 윤리를 준수하는 행동으로 ‘AI 생성 정보에 대한 대학생의 비판적 평가 행동’을 개념화하였다. 둘째, 관련 분야 전문가 5인을 대상으로 2차에 걸친 델파이 조사를 실시한 결과, 본 척도의 구성요인은 ‘정보 점검’, ‘비판적 지식 구성’, ‘정보 활용 조절’, ‘윤리 준수’의 4요인으로 정리되었으며, 내용타당도 검토를 거쳐 예비조사 문항이 확정되었다. 셋째, 대학생 125명을 대상으로 한 예비조사 결과, 문항의 응답 분포, 신뢰도, 문항 이해도 및 탐색적 요인구조를 종합적으로 검토하여 본조사에 투입할 문항을 수정·보완하였다. 넷째, 대학생 516명을 대상으로 한 본조사 결과, 확인적 요인분석을 통해 15번, 8번, 1번 문항을 제외한 최종 4요인 17문항 모형이 채택되었다. 하위요인 간 상관계수는 일부 요인 간 높은 관련성에도 불구하고, 각 요인이 이론적으로 구분 가능한 하위 구성개념으로 해석될 수 있음을 시사하였다. 또한 최종 척도의 내적 일관성 신뢰도는 전체 척도 및 하위요인별로 모두 수용 가능한 수준으로 확인되었다. 최종 척도 전체 평균점수는 AI 리터러시 전체, AI 리터러시 중 비판적 평가 영역과 윤리적 사용 영역, 대학생 핵심역량 중 논리·비판적 사고 영역과 모두 유의한 정적 상관을 보였다. 이는 본 척도가 이론적으로 관련된 외부 준거 변인들과 예상된 방향의 관련성을 지닌다는 점에서 수렴 타당도의 근거를 제공한다. 동시에 이러한 상관은 본 척도가 기존의 AI 리터러시 및 논리·비판적 사고와 관련되지만, 동일한 구성개념으로 완전히 중복되기보다 구별될 가능성을 시사한다. 본 연구는 생성형 AI 활용이 일상화된 대학 학습 환경에서 학습자의 실제 행동을 중심으로 AI 생성 정보 평가 과정을 측정할 수 있는 척도를 개발하였다는 점에서 의의가 있다. 특히 기존의 AI 리터러시, 비판적 사고, 윤리 인식 중심 접근을 넘어, 정보 점검, 비판적 지식 구성, 정보 활용 조 절, 윤리 준수를 포괄하는 행동 기반 척도를 제시하였다. 따라서 본 척도는 AI 리터러시나 일반적인 비판적 사고 역량과 관련성을 가지면서도, 대학생이 AI 생성 정보를 학습 맥락에서 실제로 어떻게 평가하고 활용하는지를 구체적으로 진단할 수 있는 차별화된 척도로 활용될 수 있다. 본 척도는 향후 대학생의 AI 생성 정보 활용 행동을 진단하고, 생성형 AI 시대에 요구되는 비판적 사고와 책임 있는 AI 활용 교육 프로그램을 설계하며, 프로그램 참여 전후 학습자의 비판적 평가 행동 변화를 측정하기 위한 기초 자료로 활용될 수 있을 것이다.

목차 (Table of Contents)

• 제1장 서론 1
• 제1절 연구의 필요성 및 목적 1
• 제2절 연구문제 9
• 제3절 용어의 정의 10
• 1. 생성형 인공지능(Generative AI) 10
• 2. AI 생성 정보(AI-Generated Information) 11
• 3. 비판적 평가 행동 12
• 4. AI 생성 정보에 대한 대학생의 비판적 평가 행동 12
• 제2장 이론적 배경 14
• 제1절 생성형 AI와 대학 학습 환경의 변화 14
• 1. 생성형 AI 개관 14
• 2. 대학 학습에서의 생성형 AI 활용 15
• 3. 비판적 평가 행동의 필요성 20
• 가. 활용의 양면성과 실행의 부재 20
• 나. 제도적 대응의 한계 21
• 다. 행동 중심 측정의 필요성 23
• 제2절 비판적 평가 행동의 개념적 준거 25
• 1. 역량 및 인식 중심의 접근 25
• 가. 비판적 사고 접근 25
• 나. AI 리터러시 접근 31
• 2. 수행 중심 접근 34
• 3. 선행연구 시사점 37
• 4. 비판적 평가 행동의 이론적 설명 관점 39
• 가. 확장된 계획행동이론(E-TPB) 40
• 나. 사회인지이론(SCT) 41
• 다. 통합적 설명 관점 42
• 제3장 연구방법 44
• 제1절 연구 절차 44
• 1. 선행연구 분석 및 예비 문항 도출 46
• 2. 내용타당도 검증 46
• 3. 예비조사를 통한 문항 구조 점검 및 문항 표현 수정 47
• 4. 본조사를 통한 척도 확정과 타당도의 근거 및 신뢰도 확인 48
• 제2절 연구 참여자 49
• 1. 전문가 집단(델파이 조사) 49
• 2. 대학생 집단(예비조사) 50
• 3. 대학생 집단(본조사) 52
• 제3절 측정 도구 55
• 1. AI 생성 정보에 대한 대학생의 비판적 평가 행동 척도 55
• 2. 타당화 검증을 위한 준거 척도 56
• 가. AI 리터러시 척도 56
• 나. AI 리터러시 비판적 평가 및 윤리적 사용 영역 57
• 다. 대학생 핵심역량 척도 중 논리‧비판적 사고 영역 58
• 제4절 자료 분석 방법 59
• 1. 델파이 조사 분석 60
• 2. 예비조사 분석 61
• 3. 본조사 분석 62
• 제4장 연구 결과 65
• 제1절 선행연구 분석 및 예비 문항 도출 65
• 1. 조작적 정의 도출 65
• 2. 잠정 구성요인 도출 66
• 3. 예비 문항 구성 70
• 제2절 내용타당도 검증 74
• 1. 조작적 정의 및 잠정 구성요인 도출 74
• 가. 조작적 정의 타당도 검토 및 수정 74
• 나. 1차 내용타당도 검증 및 요인 구조 재구조화 77
• 다. 2차 내용타당도 검증 및 최종 요인 확정 81
• 2. 예비조사 문항 확정 83
• 가. 1차 내용타당도 검증 및 문항 구조 재편 83
• 나. 2차 내용타당도 검증 및 최종 예비 문항 확정 87
• 제3절 예비조사를 통한 문항 구조 점검 및 문항 표현 수정 89
• 1. 신뢰도 분석 90
• 2. 탐색적 요인분석 및 문항 구조 검토 91
• 3. 본조사 투입 문항 수정·보완 95
• 제4절 본조사를 통한 척도 확정과 타당도의 근거 및 신뢰도 확인 97
• 1. 초기 4요인 20문항 확인적 요인분석 98
• 2. 문항 정제 및 모형 확정 100
• 3. 최종 모형 검증 102
• 4. 외부 준거 변인과의 상관을 통한 수렴타당도 검토 105
• 5. 최종 척도의 신뢰도 분석 109
• 제5장 결론 및 제언 111
• 제1절 요약 및 논의 111
• 제2절 시사점 120
• 1. 이론적 시사점 120
• 2. 실천적 및 교육적 시사점 121
• 제3절 연구의 제한점 및 제언 123
• 참고문헌 126