문항반응이론을 이용한 사회참여척도의 타당성 검증 = Validation of the Social Participation Scale Using Item Response Theory

국문 초록 (Abstract)

본 연구의 목적은 국가데이터처 사회조사에서 활용되는 사회참여척도의 타당성을 다각도에서 종합적으로 검증하는 데 있다. 1960년대 미국에서 개발된 해당 척도는 국제적으로 널리 통용됐으나, 측정의 내적 구조 및 문화적 타당성에 대한 학술적 의문이 지속적으로 제기되어 왔다. 특히 국내에서는 이와 같은 방법론적 한계에 대한 체계적 검토 없이 관행적으로 사용되어 온 측면이 크다. 본 연구는 2019년, 2021년, 2023년 국가데이터처 사회조사 자료를 이용하여 문항반응이론의 핵심 가정인 단일차원성, 국소적 독립성, 단조성 성립 여부를 검토하고, 측정불변성 및 문항별 모수(난이도와 변별도) 추정을 포함한 5단계 엄밀 검증을 수행하였다. 분석 결과, 현재의 사회참여척도는 단일 척도로 가정하기 어려운 다차원적 구성개념임이 실증적으로 규명되었다. 따라서 개별 문항의 가중치를 무시한 현행의 단순 합산 방식은 측정의 정밀도와 타당성을 저해하는 부적절한 방법임이 확인되었다. 특히 2023년 데이터의 경우 단일차원성과 국소적 독립성 가정이 모두 위배되어 IRT 모델의 직접적 적용에 한계가 있었으며, 측정불변성의 결여는 시계열 비교 및 집단 간 비교 분석 시 심각한 편향을 초래할 수 있음을 시사한다. 본 연구는 척도의 오랜 사용 이력과 지표로서의 상징성을 고려하여 즉각적인 폐기를 주장하기보다는 자료 이용 시의 방법론적 엄밀성을 제고할 것을 제안한다. 연구자들은 문항의 단순 합산을 지양해야 하며, 측정 효율성과 타당성이 상대적으로 높게 나타난 정치단체 및 시민사회단체 문항을 '공식적 참여‘ 지표로 분리하여 활용할 것을 권하고자 한다.

다국어 초록 (Multilingual Abstract)

This study evaluates the validity of the Social Participation Scale used in the National Data Office’s Social Survey. Although this scale, originally developed in the United States during the 1960s, is widely used internationally, persistent academic concerns have been raised regarding its internal structure and cultural applicability. In South Korea, however, it has been conventionally employed without rigorous methodological scrutiny. Using data from the 2019, 2021, and 2023 Social Surveys, this study conducted a five-stage validation process—examining unidimensionality, local independence, monotonicity, measurement invariance, and item parameters (difficulty and discrimination) based on Item Response Theory (IRT). The empirical results reveal that the current scale is a multidimensional construct that cannot be reduced to a single continuum. Consequently, the prevailing practice of simple summation, which ignores individual item weights, is methodologically inadequate, compromising both precision and validity. Notably, the 2023 dataset violated both unidimensionality and local independence, limiting the direct application of IRT models. Furthermore, the lack of measurement invariance suggests that cross-group and longitudinal comparisons may be subject to significant bias. While the scale’s historical use and symbolic importance as a social indicator preclude a call for its immediate abolition, this study emphasizes the need for greater methodological rigor. Researchers are advised to move beyond simple score summation and instead utilize items related to political and civic organizations—which demonstrated higher validity—as distinct public participation indicators.