VLM(Vision Language Model)과 증거 기반 추론을 활용한 도시환경 광고물의 단속 자동화 판정 기법 연구 = A Study on Automated Enforcement Decision Methods for Urban Advertising Materials Using Vision-Language Models and Evidence-Based Reasoning

국문 초록 (Abstract)

본 연구는 도시환경에서 증가하는 불법 현수막을 효율적으로 판별하기 위해 Vision-Language Model(VLM)과증거 기반 추론을 결합한 자동 분류 기법을 제안한다. 제안한 시스템은 광고물 이미지의 유형, 문구를 종합 분석하고Rule-of-2 및 Verifier 절차를 통해 판정의 신뢰도를 향상시킨다. 실험 결과 전체 정확도는 약 70%였으며, 불법 클래스의 F1-score는 0.73, 합법 클래스의 F1-score는 0.65로 나타났다. 혼동 행렬 분석에서는 합법→불법 오판(FP) 사례가 38건 중 8건, 불법→합법 오판(FN) 사례가 68건 중 24건으로 확인되었다. 이는 불법 탐지 성능을 유지하면서 FP를최소화하는 개선이 필요함을 보여준다. 본 연구는 도시환경 광고물 단속 업무의 자동화 가능성을 제시하며, 향후 더큰 규모의 데이터와 행정 연계를 통한 정교한 검증이 요구된다.

다국어 초록 (Multilingual Abstract)

This study proposes an automatic classification method combining a Vision-Language Model (VLM) with evidence-based reasoning to efficiently identify illegal banners in urban environments. The system analyzes the type and textual content of advertisement images and enhances decision reliability through Rule-of-2 and Verifier procedures. Experimental results show an overall accuracy of approximately 70%, with F1-scores of 0.73 for the illegal class and 0.65 for the legal class. Confusion matrix analysis indicates 8 false positives and 24 false negatives. These findings suggest the need to reduce false positives while maintaining illegal detection performance. This study demonstrates the potential for automating urban advertisement enforcement and highlights the need for extensive datasets and integration with administrative systems for rigorous validation.