비속어 분포를 고려한 뉴스 댓글 필터링 방법 = A Filtering Method of News Comments Considering the Distribution of Curse Words

국문 초록 (Abstract)

이 연구에서는 인터넷 뉴스에 작성되는 댓글에 나타나는 특징을 분석함으로써 비속어를 필터링하는 새로운 방법을 제시하고 있다. 이 실험을 위해 2019년 7월 9일부터 50일 동안 네이버 포털사이트의 뉴스 댓글을 수집하였고 연구를 위해 만든 비속어 리스트를 기반으로 한국어 형태소 분석기인 꼬꼬마(Kkma)를 통해 댓글의 형태소를 분석하였다.

이 연구는 세 단계의 필터링을 통해 심각성이 높은 악성 댓글을 필터링하고자 하였다. 첫 번째 단계에서는 예사어 댓글보다 비속어 댓글의 평균 길이가 더 길다는 특징을 통해 평균 길이 이상의 댓글을 추출하였다. 두 번째 단계에서는 첫 번째 단계에서 추출한 댓글을 대상으로 존대어와 비속어의 형태소 개수가 반영된 댓글 건전도 수식을 통해 0 미만의 댓글 건전도를 가진 비속어 댓글을 추출하였다. 마지막 단계에서는 두 번째 단계에서 추출한 댓글을 대상으로 k-평균 분석을 통해 세 개의 군집으로 분류하였고 비속어 군집에 포함되어있는 비속어 댓글을 필터링하였다.

목차 (Table of Contents)

• I 서론 .............................................................................................1
• II 관련연구 ......................................................................................3
• III 논문 아이디어 및 시스템 설계 .........................................................5
• 3.1 논문 아이디어 ..........................................................................5
• 3.2 시스템 설계 .............................................................................5
• 3.3 BeautifulSoup ........................................................................6
• 3.4 Selenium ................................................................................7
• IV 시스템 구현 ................................................................................10
• 4.1 꼬꼬마 형태소 분석기 ...............................................................10
• 4.2 댓글 건전도 ............................................................................10
• 4.3 비속어 형태소 구분 ..................................................................12
• 4.4 존대어 형태소 구분 ..................................................................13
• V 실험 및 평가 ................................................................................14
• 5.1 인터넷 뉴스 기사 댓글 수집 .......................................................14
• 5.2 심각성이 높은 악성 댓글의 기준 .................................................16
• 5.3 어조별 댓글 길이 ......................................................................19
• 5.4 댓글 건전도 분석 ......................................................................22
• 5.5 k-평균 군집 분석 ......................................................................26
• 5.6 정확도와 재현율 표를 통한 평가 ..................................................29
• VI 토의 ...........................................................................................30
• VII 결론 ..........................................................................................33