대규모 언어 모델(LLM) 응답에 내재된 미묘한 성차별에 대한 연구 = A Study on Gender Microaggressions Embedded in the Responses of Large Language Models (LLMs)

다국어 초록 (Multilingual Abstract)

This study empirically investigates the presence and cultural manifestations of gender microaggressions embedded in the responses generated by three major large language models (LLMs) Services: Naver CLOVA X (South Korea), OpenAI ChatGPT-4.0 (United States), and DeepSeek V3 (China). As artificial intelligence technologies become deeply integrated into society, concerns have arisen that LLMs may reproduce or amplify social biases inherent in their training data. Among such biases, subtle sexism—a less explicit yet pervasive form of gender discrimination—has emerged as a critical ethical issue in the discourse on AI fairness.

To examine this phenomenon, 100 neutral prompts were designed across ten social domains—including workplace, family, education, emotion, culture, and politics—and applied identically to all three models, yielding a total of 300 responses. The study employed a dual-evaluation framework combining an AI-based evaluator (ChatGPT-4.0) and two PhD-level female human experts. The AI evaluator rated each response on a five-point scale (0–4), while human evaluators conducted binary classifications (presence/absence of gender bias). This mixed-method approach enabled both quantitative validation and qualitative interpretation.

Statistical analyses were conducted using one-sample and paired-sample t-tests. Results revealed that all three models exhibited statistically significant gender bias (p < 0.001). ChatGPT-4.0 produced the lowest mean bias score (M = 0.796), followed by CLOVA X (M = 0.847) and DeepSeek V3 (M = 0.968), indicating that subtle gender bias was present across all systems, though with varying intensity. Correlation analysis between AI and human evaluators showed a strong concordance (r = 0.688, p < 0.001), suggesting that automated evaluation can approximate expert human judgment to a considerable degree. Nevertheless, human evaluators demonstrated higher sensitivity to context-dependent and culturally nuanced expressions—for example, responses associating women with emotion or family roles, or portraying men as inherently decisive leaders.

Domain-specific findings further indicated that CLOVA X exhibited stronger bias in emotional or psychological contexts, while DeepSeek V3 displayed more traditional gender role bias in domestic and cultural domains. These differences reflect how each model’s training corpus and cultural background influence linguistic representation. ChatGPT-4.0, despite its RLHF-based alignment strategy, still revealed implicit male-centric framing in professional and leadership contexts. Such results confirm that LLM biases are not merely technical artifacts but sociocultural reproductions of the data from which they learn.

Moreover, while the AI evaluator demonstrated strong overall discrimination capability (AUC = 0.910), discrepancies in low-bias cases (below 1.5 points) indicate the persistent need for human oversight. Automated systems remain limited in interpreting implicit meaning and sociocultural subtext.

In conclusion, this study provides a cross-cultural empirical framework for analyzing gender bias in LLMs and highlights the necessity of ethical alignment that incorporates both technical fairness and cultural sensitivity. Although ChatGPT-4.0 showed comparatively lower bias due to RLHF, CLOVA X and DeepSeek V3 reflected regional sociocultural norms such as Confucian family values or limited gender egalitarianism. The findings emphasize that mitigating bias in AI requires not only algorithmic adjustment but also continuous monitoring, transparent data curation, multicultural evaluator participation, and self-auditing mechanisms within AI systems.

Ultimately, this research expands the study of AI bias from technical statistics to cultural interpretation, revealing how intelligent systems can inadvertently reproduce structural inequality. The proposed methodological and ethical framework offers an academic and practical foundation for developing globally inclusive, culturally aware, and socially responsible AI ecosystems.

국문 초록 (Abstract)

본 연구는 한국의 Naver CLOVA X, 미국의 OpenAI ChatGPT-4.0, 중국의 DeepSeek V3 등 세 가지 대표적인 대규모 언어 모델(Large Language Model, LLM) 서비스를 대상으 로, 이들이 생성한 자연어 응답에 내재된 미묘한 성차별(Gender Microaggressions)의 양상과 그 문화적 차이를 실증적으로 규명하였다. 최근 인공지능의 사회적 활용이 급격히 확산되는 가운데, LLM이 인간 언어를 학습하는 과정에서 사회적 불균형과 편향을 무비판적으로 재현하거나 강화할 수 있다는 우려가 제기되고 있으며, 특히 ‘노골적 성차별(explicit sexism)’보다 탐지와 교정이 어려운 ‘미묘한 성차별(subtle sexism)’의 문제는 인공지능 윤리 담론의 핵심 쟁점으로 부상하고 있다. 연구는 직장, 가정, 교육, 감정, 문화, 정치, 사회 등 총 10개 사회영역을 포괄하는 100개의 프롬프트를 설계하고, 각 LLM에 동일한 질문을 입력하여 총 300개의 응답 을 수집하였다. 모든 프롬프트는 성별을 직접 언급하지 않는 중립적 문장으로 구성 되었으며, 응답의 편향이 모델의 내재적 학습 특성에서 비롯되도록 통제하였다. 수 집된 응답은 AI 평가자(ChatGPT-4.0)와 박사급 여성 전문가 2인으로 구성된 인간 평 가자 집단이 동시에 평가하는 이중 평가 체계(dual evaluation system)를 통해 분석되 었다. AI 평가는 0~4점의 5점 척도로 성차별 정도를 정량화 하였으며, 인간 평가는 ‘성차별 표현의 존재 여부(Yes/No)’를 기준으로 질적 판단을 수행하였다. 통계 분석은 단일표본 t-검정(one-sample t-test)을 통해 각 모델의 성차별 수준이 통계 적으로 유의미한지를 검증하고, 대응표본 t-검정(paired-samples t-test)을 통해 모델 간 평균 편향 점수를 비교하였다. 그 결과, 세 모델 모두 통계적으로 유의한 수준(p < 0.001)의 성차별적 표현을 포함하고 있음이 확인되었다. 평균 점수는 ChatGPT-4.0이 0.796점으로 가장 낮았고, CLOVA X가 0.847점, DeepSeek V3가 0.968점으로 가장 높게 나타났다. 이는 세 모델 모두 일정 수준의 성차별적 언어 패턴을 내포하고 있으며, 특히 DeepSeek V3이 가장 높은 편향 강도를 보였음을 시사한다. AI 평가자와 인간 평가자 간의 상관분석 결과, r = 0.688(p < 0.001)의 높은 일치율을 보여 자동화된 평가 시스템이 인간 전문가의 판단을 일정 부분 재현할 수 있음을 확인하였다. 그러나 문화적 맥락이나 함축적 의미를 해석해야 하는 사례에서는 인 간 평가자의 감수성이 AI보다 더 민감하게 작용하였다. 예를 들어, 여성의 직업적 능력을 감정적 특성과 연계하거나, 남성을 리더십·결단력과 동일시하는 응답 등은 AI가 ‘중립’으로 분류하였으나 인간 평가자는 명백한 미묘한 성차별로 판단하였다. 도메인별 세부 분석에서는 감정·심리 영역에서 CLOVA X가, 가정·가사 영역에서 DeepSeek V3가 상대적으로 높은 편향을 보였으며, 이는 각 모델이 학습한 문화적 담론 구조와 사회 규범이 언어적 결과에 반영된 것으로 해석된다. ChatGPT-4.0은 명 시적 편향을 억제하는 RLHF(Reinforcement Learning from Human Feedback) 정렬 정책 덕분에 비교적 낮은 점수를 기록했지만, 리더십·직장 영역에서 남성 중심적 서술을 반복하는 경향이 관찰되었다. 이러한 결과는 LLM의 성차별 표현이 단순히 알고리즘적 오류가 아닌, 훈련 데이터 에 내재된 문화적 세계관과 사회적 가치체계의 반영임을 보여준다. 특히 동아시아 권 모델(CLOVA X, DeepSeek V3)은 유교적 가족주의 및 성 역할 규범이 언어 표현에 강하게 작용한 반면, ChatGPT-4.0는 서구적 평등 담론에 기반한 정치적 올바름 (political correctness)을 유지하려는 경향을 보였다. 이는 곧 LLM 편향 문제를 기술적 수준에서만 접근할 것이 아니라, 문화적·사회심리적 맥락을 통합적으로 고려해야 함 을 의미한다. 한편, 본 연구는 AI 평가자의 가능성과 한계를 동시에 드러냈다. AI 평가는 인간보 다 빠르고 일관된 판정을 제공하지만, 문맥 해석 능력의 부족으로 인해 간접적 편 향을 간과할 수 있다. 실제로 ROC 분석에서 AUC = 0.910으로 높은 감지 성능을 보 였음에도 불구하고, 1.5점 이하의 경미한 사례에서는 인간 판단과 불일치율이 높았 다. 이는 AI 평가가 인간의 윤리적 직관을 완전히 대체하기에는 아직 한계가 있음 을 시사한다. 결론적으로, 본 연구는 대규모 언어 모델의 성별 편향을 다국적 관점에서 실증적으 로 규명함으로써, AI 윤리와 기술 정렬(ethical alignment) 논의에 새로운 근거를 제시 하였다. 세 모델 모두 문화적 배경과 학습 데이터의 차이에 따라 상이한 형태의 미 묘한 성차별을 내포하고 있었으며, ChatGPT-4.0이 상대적으로 완화된 편향을 보인 것은 RLHF 정렬의 효과를 실증적으로 뒷받침한다. 또한 AI와 인간 평가자 간 높은 일치율(r = 0.688)은 AI 기반 편향 평가 도구의 활용 가능성을 보여주지만, 동시에 인 간의 문화적 해석 능력이 여전히 필수적임을 강조한다. 본 연구는 기술적 공정성(fairness)과 더불어 문화적 감수성을 결합한 편향 분석 프 레임워크를 제시하였으며, 이는 향후 다문화 AI 시스템의 설계 및 거버넌스 구축에 활용될 수 있다. 더 나아가, LLM 개발 과정에서 데이터 큐레이션의 투명성, 정렬 과 정의 다문화 참여, 그리고 자가점검(self-auditing) 기능의 도입 등 구체적 편향 완화 전략의 필요성을 제언한다. 마지막으로, 본 연구는 LLM 편향 분석을 ‘기술적 통계’에서 ‘문화적 해석’으로 확 장함으로써, 인공지능이 사회 구조 속에서 어떻게 불평등을 재생산하는지를 탐구한 선도적 시도로 평가된다. 본 연구의 결과는 AI 윤리, 사회심리학, 언어학, 데이터 과 학의 학제적 접점에서 이루어진 통합적 성과로서, 향후 성별·문화·언어를 초월한 공 정하고 포용적인 AI 생태계 구축에 기여할 것으로 기대된다.

목차 (Table of Contents)

• 제1장. 서론 1
• 제2장. 이론적 배경 6
• 2.1 미묘한 성차별(Gender Microaggressions) 6
• 2.2 LLM의 성별 편향 9
• 2.3 사회적 맥락에서의 미묘한 성차별 개념과 LLM 적용 가능성 12
• 2.4 문화적 맥락에 따른 LLM 편향의 차이 15
• 2.5 AI기반 편향 탐지의 가능성과 한계 17
• 제3장. 연구 방법 및 결과 21
• 3.1. 연구 설계 21
• 3.2. 데이터 수집 27
• 3.3. 평가 방법 30
• 3.3.1 AI 기반 평가 30
• 3.3.2 인간 전문가 평가 35
• 3.3.3 타당성 확보 및 편향 통제 37
• 3.4. 통계 분석 39
• 3.4.1 단일 표본 t-검정을 통한 편향 존재 검증 40
• 3.4.2 인간 평가를 통한 현실 타당성 검토 42
• 3.4.3 대응표본 t-검정을 통한 모델 간 편향 비교 45
• 3.5. 세부 분석 결과 47
• 3.5.1. 효과크기, 사후 검정력 및 다중비교 보정(Bonferroni) 확인 결과 47
• 3.5.1.1 효과크기(Cohen’s d) 및 신뢰구간 48
• 3.5.1.2 사후 검정력(Post-hoc Power) 48
• 3.5.1.3 다중비교 보정(Multiple Comparison Correction) 49
• 3.5.2 카테고리별 분석 결과 50
• 3.5.3 AI 평가자와 인간 평가자 간 신뢰도 분석 54
• 제4장. 결론 58
• 4.1. 연구의 시사점 61
• 4.2. 연구의 한계점 63
• 4.3. 향후 연구 방향 65
• 본인의 이전 저작물 활용 고지 69
• 참고문헌 70
• Abstract 73