고차원 대용량 자료분석의 현재 동향 = Current trends in high dimensional massive data analysis

국문 초록 (Abstract)

빅 데이터의 출현은 여러가지 과학적 난제에 대답 할 수 있는 기회를 제공하지만 흥미로운 도전을 또한 제공한다. 이러한 빅데이터의 주요 특징으로 "고차원"과 "대용량"을 들 수가 있다. 본 논문은 이러한 두 가지 특징에 동반되는 다음과 같은 도전문제에 대한 개요를 제시한다 : (1) 고차원 자료에서의 소음 축적과 위 상관 관계; (ii) 대용량 자료분석을 위한 계산 확장성. 또한 본 논문에서는 재난예측, 디지털 인문학과 세이버메트릭스 등 다양한 분야에서 빅 데이터의 다양한 응용사례를 제공한다.

참고문헌 (Reference)

1 이병휘, "한국사 N-gram 웹 서비스와 양식측정학으로 살펴보는 한국 역사 기록" 한국물리학회 66 (66): 502-510, 2016

2 박정혁, "하둡과 맵리듀스" 한국데이터정보과학회 24 (24): 1013-1027, 2013

3 Fan, J., "Variable selection via nonconcave penalized likelihood and its oracle properties" 96 : 1348-1360, 2001

4 Sievert, C., "Tools for harnessing ‘MLBAM’, ‘Gameday’ data and visualizing ‘pictchfx’"

5 Fan, J., "Sure independence screening for ultrahigh dimensional feature space" 70 : 849-911, 2008

6 Franke, B., "Statistical inference, learning and models in big data" 2016

7 Tibshirani, R., "Regression shrinkage and selection via the lasso" 58 : 267-288, 1996

8 Witten, R., "Randomized algorithms for low-rank matrix factorizations: sharp performance bounds" 63 : 355-363, 2013

9 Clauset, A., "Power-law distributions in empirical data" 51 : 661-703, 2009

10 van de Geer, S., "On asymptotically optimal confidence regions and test for high-dimensional models" 42 : 1166-1202, 2014

11 Zhang, C. -H., "Nearly unbiased variable selection under minimax concave penalty" 38 : 894-942, 2010

12 Kim, D., "Large-scale quantitative analysis of painting arts" 4 : 7370-, 2014

13 Bak, J. Y., "Five centuries of monarchy in Korea: mining the text of the annals of the Joseon dynasty" 10-14, 2015

14 Clauset, A., "Estimating the historical and future probabilities of large terrorist events" 7 : 1838-1865, 2013

15 Fan, J., "Challenges of big data analysis" 1 : 293-314, 2014

16 Sawchik, T., "Big Data Baseball: Math, Miracles, and the End of a 20 Year Losing Streak" Flatiron Books 2015

17 고세윤, "Apache Spark를 활용한 대용량 데이터의 처리" 한국통계학회 29 (29): 1077-1094, 2016

18 Kulldorff, M., "A spatial scan statistic" 26 : 1481-1496, 1997