크라우드소싱 기반 문장재구성 방법을 통한 의견 스팸 데이터셋 구축 및 평가

국문 초록 (Abstract)

웹이 정보 교환의 주된 수단으로 사용되면서, 온라인 리뷰의 중요도가 증가하는 동시에 사용자의 올바른 의사결정을 저해하는 의견 스팸 이슈가 부각되고 있으며, 관련 연구가 활발하게 진행되고 있다. 하지만 분석 및 학습에 필요한 기준 데이터셋의 부족함과 한계점들은 관련 연구의 발전을 더디게 하고 있다. 본 논문에서는 사실 리뷰를 모사한 새로운 형태의 Paraphrased Opinion Spam(POS) 데이터셋을 소개한다. 우리는 실제 스패머들이 스팸을 작성할 때 실제 리뷰를 참고한다는 경향에 착안하여, 실제 리뷰어들이 작성한 리뷰를 의역하는 과정을 통하여 본문에 포함되어 있는 사실 정보와 경험을 담은 스팸 데이터셋을 생성하였다. 실험 결과, 새롭게 생성된 POS 데이터셋이 언어학적으로 실제 리뷰들과 유사하여 스팸분류 모델을 이용하여 분류 시 기존의 데이터셋들보다 더 분류하기 힘들다는 것을 발견했다. 또한 데이터의 학습량에 따라서 스팸 리뷰의 분류 정확도가 비례적으로 증가하는 것을 확인함으로써, 데이터의 양이 스팸 분류 모델 성능에 중요한 요소로 작용한다는 것을 확인할 수 있었다.

다국어 초록 (Multilingual Abstract)

Today, opinion reviews on the Web are often used as a means of information exchange. As the importance of opinion reviews continues to grow, the number of issues for opinion spam also increases. Even though many research studies on detecting spam reviews have been conducted, some limitations of gold-standard datasets hinder research. Therefore, we introduce a new dataset called “Paraphrased Opinion Spam (POS)" that contains a new type of review spam that imitates truthful reviews. We have noticed that spammers refer to existing truthful reviews to fabricate spam reviews. To create such a seemingly truthful review spam dataset, we asked task participants to paraphrase truthful reviews to create a new deceptive review. The experiment results show that classifying our POS dataset is more difficult than classifying the existing spam datasets since the reviews in our dataset more linguistically look like truthful reviews. Also, training volume has been found to be an important factor for classification model performance.

목차 (Table of Contents)

• 요약
• Abstract
• 1. 서론
• 2. 관련 연구
• 3. 스팸 리뷰 연구를 위한 데이터셋
• 4. 실험
• 5. 결론 및 향후 연구
• References

참고문헌 (Reference)

1 A. Mukherjee, "What yelp fake review filter might be doing" 2013

2 J. Li, "Towards a general rule for identifying deceptive opinion spam" 1 : 1566-1576, 2014

3 H. Sun, "Synthetic review spamming and defense" 2013

4 A. Mukherjee, "Spotting fake reviewer groups in consumer reviews" 191-200, 2012

5 N. Jindal, "Opinion spam and analysis" 2008

6 S. Gokhman, "In search of a gold standard in studies of deception" 23-30, 2012

7 N. Jindal, "Finding unusual review patterns using unexpected rules" 1549-1552, 2010

8 M. Ott, "Finding deceptive opinion spam by any stretch of the imagination" 1 : 309-319, 2011

9 S. Rendle, "Factorization machines with libFM" 3 : 57-80, 2012

10 A. Heydari, "Detection of review spam : A survey" 3634-3642, 2015

11 E-P. Lim, "Detecting product review spammers using rating behaviors" 2010

12 S. Kim, "Deep semantic frame-based deceptive opinion spam analysis" 1140-1141, 2015