생성형 AI 기반 창의성 과업: 인지 편향의 작동과 인터페이스 설계 시사점 = Generative AI based Creative Tasks: Cognitive Biases and Implications for Interface Design

국문 초록 (Abstract)

본 연구는 생성형 인공지능(Generative Artificial Intelligence, GAI)을 활용한 창의적 협업 과업에서 인간의 인지 편향(Cognitive Bias)과 AI에 대한 신뢰(Trust in AI)라는 두 가지 핵심 심리 요인이 창의성 결과와 사용자 경험에 미치는 영향을 실증적으로 분석하였다. 특히 자기 인식과 실제 능력 간 괴리로부터 발생하는 더닝-크루거 효과(Dunning-Kruger Effect, DKE)의 존재 여부 및 AI 협업이 해당 편향을 조절하는 기능을 수행할 수 있는지에 주목하였으며, 인지 편향과 신뢰가 창의성과 협업 만족도에 미치는 영향 및 그 작용 경로를 통합적으로 검토하였다.
이를 위해 총 24명의 참가자를 대상으로, ‘설명 가능한 인공지능 (Explainable AI, XAI)’ 시스템의 사용자 인터페이스(User Interface, UI) 및 사용자 경험(User Experience, UX) 개선을 위한 아이디어를 제안하는 과업을 설계하였다. 참가자들은 독립적 아이디어 생성(Phase 1)과 GPT 기반 협업 아이디어 생성(Phase 2)의 두 단계를 순차적으로 수행하였다. 창의성은 유창성 (fluency), 유연성(flexibility), 독창성(originality), 실현 가능성(feasibility)이라는 네 가지 차원으로 전문가 평가를 통해 분석되었으며, 자기 평가와 비교 평가 결과를 기반으로 인지 편향 수준을 산출하였다. 또한 협업 경험에 대한 만족도, AI에 대한 신뢰, 창의성 자기효능감(Creative Self-Efficacy, CES), AI 태도(Attitude toward AI) 등 다양한 심리 변인들도 함께 측정되었다.
분석 결과, AI와의 협업은 아이디어의 양적 다양성 증진에 기여하였으나, 일부 참가자에게는 독창성과 실현 가능성 측면에서 부정적 영향을 미치기도 하였다. DKE는 창의성 과업의 전후 단계 모두에서 나타났으며, 과소평가 경향을 지닌 참여자는 협업을 통해 자기 인식의 정확도가 향상되는 인지적 조정 효과를 경험한 반면, 과대평가 경향을 지닌 참여자는 AI 개입 이후에도 편향 수준이 유지되거나 오히려 강화되는 양상을 보였다. 이는 생성형 AI의 ‘편향 교정 기능’이 사용자 특성에 따라 다르게 작용할 수 있으며, 그 효과에 명확한 경계 조건이 존재함을 시사한다. 또한, AI에 대한 신뢰는 창의성 결과와는 유의미한 상관을 보이지 않았으나, 협업 과정에 대한 만족도에는 강한 영향을 미쳐, 창의성 맥락에서 신뢰가 정서적 수용성과 밀접히 연관된 변수임을 보여주었다.
마지막으로, 본 연구는 인지 편향과 신뢰라는 심리적 메커니즘을 중심으로 Human-AI 협업의 작동 구조를 정교하게 분석하였으며, 창의적 과업에 적합한 사용자 맞춤형(personalized), 비편향화(de-biased), 인간 중심(human-centered)의 협업 시스템 설계를 위한 실천적 디자인 가이드라인을 제시하였다. 이론적으로는 DKE 개념을 창의성 기반 협업 맥락으로 확장하였으며, 실천적으로는 생성형 AI의 설계 방향에 심리적 통찰을 제공함으로써, 향후 AI 기반 창의 협업 시스템의 효과성과 수용성을 제고하는 데 기여할 수 있을 것이다.

다국어 초록 (Multilingual Abstract)

This study empirically investigates how two key psychological factors—cognitive bias and trust in artificial intelligence (AI)—influence creative outcomes and user experience in collaborative tasks involving Generative Artificial Intelligence (GAI). Special attention is given to the Dunning-Kruger Effect (DKE), a cognitive bias stemming from discrepancies between self-perception and actual ability. The study examines whether DKE manifests in creative collaboration with AI and whether such bias can be mitigated through AI intervention. It also explores how cognitive bias and trust collectively affect creative performance and satisfaction.
To this end, 24 participants were asked to propose creative ideas to improve the user interface (UI) and user experience (UX) of an Explainable AI (XAI) system. The task was structured in two phases: independent ideation (Phase 1) and AI-assisted ideation using GPT (Phase 2). Creative outputs were assessed by expert raters along four dimensions—fluency, flexibility, originality, and feasibility—while levels of cognitive bias were calculated based on self- and comparative judgment scores. Additionally, psychological variables such as trust in AI, creative self-efficacy, and attitude toward AI were measured.
The results showed that collaboration with GPT enhanced the quantitative diversity of ideas but in some cases negatively affected originality and feasibility. The DKE was evident in both phases, with underestimated participants improving their self-perception accuracy through AI collaboration, whereas overestimated individuals maintained or even reinforced their cognitive bias. These findings suggest that the bias-correcting function of generative AI is not universal and may vary depending on user characteristics, highlighting the presence of boundary conditions. Furthermore, while trust in AI was not significantly correlated with creative performance, it had a strong association with satisfaction, indicating that in creative contexts, trust functions more as an affective variable than a performance driver.
Ultimately, this study provides a refined analysis of the cognitive and emotional mechanisms underlying Human-AI collaboration and proposes practical design guidelines for developing personalized, de-biased, and human-centered AI collaboration systems suitable for creative tasks. Theoretically, the study expands the application of the DKE to the context of creative Human-AI interaction; practically, it offers psychological insights to guide the future design of generative AI systems that aim to enhance creativity and user acceptance.

목차 (Table of Contents)

• 초록 i
• 목차 iii
• 표 목차 vi
• 그림 목차 vii
• 제 1 장 서론 1
• 1.1 연구 배경 1
• 1.2 연구 중요성 2
• 1.3 사전 연구의 한계 3
• 1.4 연구 목표 4
• 1.5 연구 방법 4
• 1.6 분석 방법 5
• 1.7 주요 연구 결과 6
• 1.8 이론적 및 실천적 의의 6
• 1.9 논문 구성 7
• 제 2 장 선행연구 8
• 2.1 창의성 과업을 위한 Human-AI 협업 8
• 2.2 창의성 측정 및 평가 기준 9
• 2.3 인지 편향과 더닝-크루거 효과 10
• 2.4 창의성 측정 및 평가 기준 11
• 제 3 장 실험 방법 13
• 3.1 실험 참여자 14
• 3.2 실험 설계 15
• 3.3 측정 지표 19
• 3.4 분석 방법 23
• 제 4 장 실험 결과 28
• 4.1 RQ1. 창의성에 미치는 영향 28
• 4.2 RQ2. 더닝-크루거 효과의 검증과 AI 협업의 조절 효과 31
• 4.3 RQ3. 성과와 경험의 심리적 예측 요인 44
• 제 5 장 논의 53
• 5.1 RQ1: AI와의 협업은 창의적 산출에 어떤 영향을 미치는가? 53
• 5.2 RQ2: 창의성 협업에서 더닝-크루거 효과가 존재하는가? 54
• 5.3 RQ3: 신뢰와 인지 편향은 결과를 어떻게 예측하는가? 56
• 5.4 생성형 AI 디자인 가이드라인 제안 60
• 5.5 연구의 이론적, 실천적 의의 62
• 5.6 연구의 한계와 후속 연구 방향 64
• 제 6 장 결론 67
• 참고문헌 69
• Abstract 80
• 감사의 글 83