생성형 AI 활용역량이 프로젝트 기반 학습성과에 미치는 영향: 지각된 유용성과 비판적 AI 평가역량의 매개효과를 중심으로 = The Effects of Generative AI Utilization Competency on Project-Based Learning Outcomes: The Mediating Effects of Perceived Usefulness and Critical AI Evaluation Competency

국문 초록 (Abstract)

본 연구는 생성형 AI 활용역량이 프로젝트 기반 학습성과에 미치는 영향을 분석하고, 이 과정에서 지각된 유용성과 비판적 AI 평가역량의 매개효과를 실증적으로 검증하는 것을 목적으로 한다. 이를 위해 생성형 AI를 활용한 지역문제 해결형 프로젝트에 참여한 대학생 74명을 대상으로 설문조사를 실시하였다. 수집된 자료는 7점 Likert 척도의 순서형 자료임을 고려하여 대각가중최소제곱법(Diagonally Weighted Least Squares)과 강건 표준오차(Robust Standard Errors)를 적용한 구조방정식모형을 통해 분석하였다.
분석 결과, 첫째, 생성형 AI 활용역량은 지각된 유용성과 비판적 AI 평가역량에 모두 긍정적인 영향을 미치는 것으로 나타났다. 둘째, 생성형 AI 활용역량이 프로젝트 기반 학습성과에 유의한 영향을 미치지 못하였다. 셋째, 지각된 유용성은 프로젝트 기반 학습성과에 유의한 영향을 미치지 않았지만 비판적 AI 평가역량은 프로젝트 기반 학습성과에 긍정적인 영향을 미치는 것으로 나타났다. 넷째, 매개효과를 검증한 결과, 지각된 유용성을 통한 간접효과는 통계적으로 유의하지 않았으나 비판적 AI 평가역량을 통한 간접효과는 유의한 것으로 확인되었다.
이러한 결과는 생성형 AI를 능숙하게 활용하는 역량이 그 자체로 프로젝트 기반 학습성과에 직접적으로 연결되기보다는 AI가 생성한 정보를 비판적으로 검토하고 다른 정보와 비교·검증하며 책임 있게 활용하는 역량을 통해 학습성과와 연결될 수 있음을 시사한다. 특히 생성형 AI의 유용성에 대한 인식보다 AI 산출물을 비판적으로 평가하는 역량이 프로젝트 기반 학습성과를 설명하는 데 중요한 역할을 할 수 있음을 보여준다. 본 연구는 생성형 AI 활용역량과 프로젝트 기반 학습성과 간의 관계에서 비판적 AI 평가역량의 매개 역할을 실증적으로 확인하였다는 점에서 의의가 있으며, 대학 교육에서 생성형 AI의 단순한 활용 방법뿐만 아니라 AI 산출물의 정확성, 신뢰성, 적절성을 비판적으로 판단하고 검증할 수 있는 역량을 함께 함양할 필요가 있음을 제시한다.

다국어 초록 (Multilingual Abstract)

This study examines the relationship between generative AI utilization competency and project-based learning outcomes by investigating the mediating roles of perceived usefulness and critical AI evaluation competency. Data were collected from 74 university students who participated in a local problem-solving project using generative AI. Given that the measurement items were assessed using a seven-point Likert scale and treated as ordinal data, the data were analyzed using structural equation modeling with diagonally weighted least squares estimation and robust standard errors.
The results showed that, first, generative AI utilization competency was positively associated with both perceived usefulness and critical AI evaluation competency. Second, generative AI utilization competency was not significantly associated with project-based learning outcomes. Third, perceived usefulness was not significantly associated with project-based learning outcomes, whereas critical AI evaluation competency showed a significant positive association with project-based learning outcomes. Fourth, the mediation analysis showed that the indirect effect through perceived usefulness was not statistically significant, while the indirect effect through critical AI evaluation competency was significant.
These findings suggest that the ability to effectively use generative AI may not directly translate into improved project-based learning outcomes; rather, its contribution to learning outcomes may operate through learners’ ability to critically examine, verify, and responsibly use AI-generated information. In particular, the findings indicate that critical AI evaluation competency may play a more important role in explaining project-based learning outcomes than learners’ perceptions of the usefulness of AI. This study contributes to the literature by empirically demonstrating the mediating role of critical AI evaluation competency in the relationship between generative AI utilization competency and project-based learning outcomes. The findings also highlight the need for higher education to move beyond teaching students how to use generative AI tools and to foster their competencies in critically evaluating the accuracy, reliability, and appropriateness of AI-generated outputs.