대규모 언어 모델(LLM)의 한국어 안전성 검증 및 평가 프레임워크 연구 = An Evaluation Framework for Korean-Language Safety in Large Language Models|RISS 상세보기

다국어 초록 (Multilingual Abstract)

This study evaluates the safety of large language models (LLMs) not as a single metric, but as a multidimensional set of safety characteristics. Prior evaluations have primarily emphasized isolated indicators, such as refusal of harmful requests or suppression of toxic language. However, such approaches do not adequately capture the complexity of safety judgments required in real-world service settings. In practice, LLM safety depends on the interplay of factual reliability, bias mitigation, robustness to jailbreak and policy-circumvention attempts, the ability to maintain normative constraints under sustained user pressure, and context-sensitive judgment that accounts for age-related considerations. These challenges are particularly salient in Korean-language environments, where linguistic and cultural factors are insufficiently reflected in evaluation frameworks developed primarily for English-language settings. Accordingly, this study conducts a controlled comparative evaluation of representative Korean and global LLMs, empirically identifies where model-specific safety strengths and vulnerabilities emerge across evaluation dimensions, and suggests directions for safety assessment better aligned with Korean deployment contexts.
To this end, we evaluate two Korean-developed models—NAVER’s HyperCLOVA-family model hcx-003 and Kakao’s KanaNA-family model kanana-nano-2.1b—and two global models—OpenAI’s GPT-4o-family model gpt-4o-mini and Anthropic’s Claude 4-family model claude-sonnet-4—using a comprehensive suite of benchmarks. The evaluation covers truthfulness (TruthfulQA), jailbreak vulnerability (AdvBench), susceptibility to user pressure and sycophancy (SYCON Bench), Korean-language bias and ethical reasoning (SQuARe, KoSBi, KoBBQ), and an age-rating classification dataset constructed in this study.
The results show that none of the four models consistently outperforms the others across safety metrics, and that safety profiles differ substantially by model, language, and evaluation dimension. Notably, across multiple benchmarks, even the same model exhibits meaningfully different safety behaviors in English versus Korean settings.
On global benchmarks (TruthfulQA, AdvBench, and SYCON Bench), global models generally outperform Korean-developed models. claude-sonnet-4 and gpt-4o-mini achieve high truthfulness and informativeness on TruthfulQA. In particular, claude-sonnet-4 records the highest Turn of Flip (ToF) on SYCON Bench, indicating the strongest ability to maintain a normative stance under sustained user pressure. This tendency is more pronounced in English prompts, where most models show higher ToF values than in Korean, suggesting that models respond with more explicitly stated and stance-consistent positions in English contexts.
In contrast, ToF scores decrease in Korean settings even for global models, which may reflect an adaptive shift toward more user-accommodating conversational behavior in Korean dialogue contexts. Taken together, these findings suggest that sycophancy is not a fixed model attribute, but a safety-relevant behavior that can vary dynamically with linguistic and cultural context.
Korean-specific benchmarks (SQuARe, KoSBi, and KoBBQ) further clarify these differences. While global models maintain relatively stable normative compliance in Korean, performance gaps narrow compared to English benchmarks. Moreover, KoBBQ and KoSBi indicate that vulnerabilities are shaped less by a simple Korean-versus-global performance hierarchy than by the type of bias being tested and the surrounding social context. This highlights the limitations of relying solely on English-centric benchmarks to assess LLM safety in Korean-language environments.
Age-rating classification most clearly reveals systematic differences in safety behavior. claude-sonnet-4 separates the 12-, 15-, and 19-year categories with relatively stable boundaries, suggesting that norm-based judgment generalizes consistently to age-contextual settings. gpt-4o-mini likewise preserves continuity across adjacent age categories and produces error patterns that remain interpretable from a policy perspective. In contrast, Korean-developed models exhibit pronounced limitations. HyperCLOVA (hcx-003) maintains reasonable discrimination for low-risk (ages 0 and 7) and high-risk (age 19) content, but shows concentrated errors in the mid-tier categories (ages 12 and 15), reflecting a tendency to underestimate risk. KanaNA (kanana-nano-2.1b) achieves extremely low jailbreak attack success rates, indicating a conservative safety posture; however, its performance degrades on age-rating classification, suggesting that stronger filtering may simultaneously reduce the model’s capacity for nuanced reasoning and norm-consistent judgment.
In contrast, domestic models exhibited pronounced structural limitations. HyperCLOVA (hcx-003) showed reasonable discrimination for low-risk (ages 0 and 7) and clearly high-risk (age 19) content, but concentrated errors in the intermediate categories (ages 12 and 15), revealing a systematic under-rating bias. KanaNA (kanana-nano-2.1b), while achieving extremely low attack success rates on jailbreak benchmarks, suffered substantial degradation in age-rating classification, informativeness, and bias-related metrics. This suggests that aggressive pre-filtering can suppress not only harmful outputs but also the model’s capacity for nuanced reasoning and normative judgment.
In summary, this study provides empirical evidence that LLM safety cannot be reduced to overall model capability, but should be understood as a multidimensional property shaped by language environment, evaluation criteria, and policy context. Truthfulness, normative consistency, adversarial robustness, and age-contextual judgment represent complementary dimensions of safety, and improvements in one area may not fully compensate for vulnerabilities in others. These findings support the need for multidimensional, multi-benchmark evaluation frameworks and motivate layered safety management strategies that integrate evaluation outcomes with operational policy requirements.

번역하기

국문 초록 (Abstract)

본 연구는 대규모 언어 모델(LLM)의 안전성을 단일 지표가 아닌 다차원의 특성을 통해 평가한다. 기존의 안전성 평가는 유해 요청 거부 여부나 독성 발화 억제와 같은 개별 지표에 주로 초점을 맞춰 왔으나, 이러한 접근은 실제 서비스 환경에서 요구되는 안전성 판단의 복합성을 충분히 포착하지 못하고 있다. 실제 환경에서는 사실성이나 편향 억제뿐만 아니라, 우회 공격에 대한 강건성, 사용자 압박 상황에서의 규범 유지, 그리고 연령 맥락을 고려한 판단 능력 등이 상호작용하며 종합적으로 작동하기 때문이다. 특히 한국어 환경에서는 글로벌 모델 중심인 기존의 평가방식이 충분히 반영하지 못한 언어·문화적 특성이 존재한다. 이에 본 연구에서는 국내·외 대표 LLM을 동일한 조건에서 비교 평가하여, 모델별 안전성의 강점과 취약점이 어떤 축에서 나타나는지 실증적으로 규명하고, 한국어 환경에서 요구되는 안전성 평가의 방향을 제시하고자 한다.
이를 위해 국내 모델 2종(NAVER HyperCLOVA 계열 hcx-003, Kakao KanaNA 계열 kanana-nano-2.1b)과 글로벌 모델 2종(OpenAI GPT-4o 계열 gpt-4o-mini, Anthropic Claude 4 계열 claude-sonnet-4)을 대상으로 진실성(TruthfulQA), 우회 공격 취약성(AdvBench), 사용자 동조 성향(SYCON Bench), 한국어 편향·윤리성(SQuARe, KoSBi, KoBBQ), 그리고 본 연구에서 직접 구축한 연령등급 분류 데이터셋을 활용한 종합 평가를 수행한다.
실험 결과, 네 개의 평가 대상 LLM은 단일 안전성 지표에서 일관된 우수한 성능을 보이지 않았으며, 모델별·언어별·평가 축별로 상이한 양상을 보였다. 특히 동일한 모델이라 하더라도 영어와 한국어 환경에서 안전성 특성이 유의미하게 달라진다는 점이 여러 지표에서 반복적으로 관찰되었다.
먼저 글로벌 벤치마크에서는 글로벌 모델이 전반적으로 우수한 성능을 보였다. claude-sonnet-4와 gpt-4o-mini는 TruthfulQA에서 높은 진실성과 정보성을 기록했으며, 특히 claude-sonnet-4는 SYCON Bench에서 가장 높은 Turn of Flip(ToF)를 보여 사용자 압박 상황에서도 규범적 입장을 가장 오래 유지하는 모델로 나타났다. 이러한 경향은 영어 환경에서 더욱 두드러졌다. 대부분의 모델이 한국어 대비 영어에서 더 높은 ToF를 기록했으며, 이는 영어 환경에서 모델이 자신의 주장을 더 분명히 드러내는 방식으로 답하는 경향이 있음을 보여준다.
반면 한국어 환경에서는 글로벌 모델조차 상대적으로 ToF가 감소하는 경향이 나타났으며, 이는 한국어 대화 맥락에서 사용자 발화에 보다 대화 친화적으로 반응하려는 조정이 작동했을 가능성을 시사한다. 이는 Sycophancy는 모델의 고정된 속성이라기보다 언어적·문화적 맥락에 따라 동적으로 변화할 수 있는 특성임을 나타낸다.
한국어 특화 데이터셋을 적용했을 때 이러한 차이는 더욱 분명해졌다. 글로벌 모델들은 한국어 환경에서도 상대적으로 규범 준수 성향을 비교적 안정적으로 유지했지만, 성능 격차는 영어 벤치마크 대비 축소되었다. 특히 KoBBQ와 KoSBi 결과는 국내 모델과 글로벌 모델 간 성능 차이에 대한 우열보다도, 어떤 편향을 다루는지와 대화 맥락에 따라 취약한 지점이 달라지는 모습이 나타났다. 이는 영어 중심 벤치마크만으로는 한국어 LLM의 안전성을 충분히 설명하기 어렵다는 점을 뒷받침한다.
연령등급 분류 실험은 이러한 안전성 차이를 가장 구조적으로 드러낸 평가였다. claude-sonnet-4는 12·15·19세 등급을 비교적 안정적으로 분리하여, 규범 기반 판단 능력이 연령 맥락에서도 일관되게 작동함을 보여주었다. gpt-4o-mini 역시 중간 등급에서 일관성이 크게 흔들리지 않고 등급 간 연속성을 유지하는 구조를 보여, 정책적으로 해석 가능한 오류 패턴을 보였다. 반면 국내 모델들은 연령 맥락에서 뚜렷한 구조적 한계를 드러냈다. hcx-003은 저위험(0·7세) 구간과 고위험(19세) 구간에서는 일정 수준의 판별 능력을 유지했으나, 12·15세 구간에서 오류가 두드러지며 위험도를 낮게 판단하는 편향이 나타났다. kanana-nano-2.1b는 우회 공격 성공률이 매우 낮아 공격 방어 측면에서는 가장 보수적인 모델로 나타났으나, 연령등급 분류에서는 성능이 저하되어, 필터링을 강하게 적용할수록 추론과 규범 판단까지 함께 약해지는 경향이 나타났다.
종합하면, 본 연구는 LLM 안전성이 단순히 모델 성능의 우열로 환원될 수 있는 문제가 아니라, 언어 환경, 평가 기준, 정책적 맥락에 따라 서로 다른 위험 양상을 보이는 다차원적 특성임을 확인하였다. 또한 진실성, 규범 준수, 공격 강건성, 연령 맥락 판단은 서로 대체될 수 없는 평가 영역으로, 특정 영역의 성능 개선이 다른 영역의 취약성을 완전히 보완하지 못할 수 있다. 따라서 LLM 안전성 평가는 다차원·다벤치마크 기반의 체계적 접근을 전제로 설계되어야 하며, 평가 결과를 운영 정책과 연계한 다층적 안전성 전략이 병행될 필요가 있음을 시사한다.

번역하기

본 연구는 대규모 언어 모델(LLM)의 안전성을 단일 지표가 아닌 다차원의 특성을 통해 평가한다. 기존의 안전성 평가는 유해 요청 거부 여부나 독성 발화 억제와 같은 개별 지표에 주로 초점...

목차 (Table of Contents)