KO-ToxicWebQ: 난독화된 한국어 독성 웹 쿼리 탐지 데이터셋

국문 초록 (Abstract)

대규모 언어 모델의 웹 검색 통합은 실시간 정보 접근을 가능하게 하지만, 유해 콘텐츠 노출이라는 심 각한 위험을 초래한다. 기존 독성 탐지 벤치마크는 소셜 미디어 중심으로 설계되어, 간결하고 난독화 전략을 사용하는 웹 쿼리의 고유한 특성을 다루지 못한다. 본 연구는 Microsoft Bing 검색 로그에서 추 출한 47.7천 개의 실제 한국어 웹 쿼리로 구성된 Ko-ToxicWebQ 데이터셋을 제시한다. 데이터셋은 이 진 분류(독성/정상), 6가지 의도 기반 카테고리(도박, 노골적 콘텐츠, 성매매 등), 3가지 난독화 유형으로 주석되었다. 실험 결과, 웹 쿼리는 평균 9.06자로 기존 혐오 발언 데이터셋(43.19자)보다 극히 짧았으며, 독성 쿼리의 23.0%가 약자를, 14.9%가 문자 수준 조작을 사용했다. OpenAI의 Omni 모델은 유해 쿼리 의 2.90%만 탐지했으며, 대부분의 최첨단 대규모 언어 모델이 macro F1 점수 0.35–0.55만 달성했다. GPT-4o가 F1 점수 0.8154로 최고 성능을 보였으나, 실제 배포에는 여전히 부족하다. 그러나 Ko- ToxicWebQ로 미세조정 시 Qwen-3B와 Exaone-3B의 F1 점수가 0.14에서 0.58-0.60으로 급증하여, 도메 인 특정 훈련 데이터의 중요성을 입증했다. 본 연구는 한국어 독성 탐지를 위한 첫 대규모 공개 데이 터셋을 제공하며, 웹 검색 맥락에서 난독화 전략의 중요성을 강조한다. Ko-ToxicWebQ가 더 안전한 검 색증강생성 시스템 개발을 위한 미래 연구를 촉진하기를 기대한다.

목차 (Table of Contents)

• 1. 서론 1
• 1.1. 연구배경 1
• 1.2. 연구목적 4
• 2. 선행연구 5
• 2.1. 혐오 발언 탐지 코퍼스 5
• 2.2. 독성 탐지 방법론 7
• 3. Ko-ToxicWebQ 데이터셋 9
• 3.1. 실제 웹 쿼리 수집 9
• 3.2. 분류 체계 설계 10
• 3.2.1. 의도 기반 하위 범주 10
• 3.2.2. 난독화 기반 하위 카테고리 12
• 3.3. 주석 처리 14
• 3.4. 데이터 분석 15
• 3.4.1. 쿼리의 간결성 15
• 3.4.2. 성적 및 저작권 침해 콘텐츠 관련 쿼리의 비율. 16
• 3.4.3. 독성 쿼리에서 난독화의 광범위한 사용 16
• 4. 실험 18
• 4.1. 실험 설정 18
• 4.2. Moderation 모델의 독성 웹 쿼리 탐지 효과성 20
• 4.2.1. Proprietary Moderation 모델의 차선책 성능 20
• 4.2.2. 난독화 증가에 따른 성능 저하 20
• 4.3. 이진 분류 22
• 4.3.1. 소규모 모델의 독성 쿼리 탐지 어려움 22
• 4.3.2. 한국어 특화 대규모 언어 모델의 성능 23
• 4.3.3. GPT-4o의 성능 관찰 23
• 4.3.4. 난독화의 심각성에 따른 탐지 성능 23
• 4.4. 다중 클래스 분류. 25
• 4.5. 대규모 언어 모델에 대한 미세조정의 영향 평가 26
• 4.5.1. 미세 조정에 따른 이진 분류 탐지 성능 26
• 4.5.2. 미세 조정에 따른 다중 분류 탐지 성능 27
• 5. 한계 및 향후 과제 30
• 6. 윤리적 고려사항 32
• 7. 결론 34
• 8. 부록 36