웹페이지에서의 상품 데이터 추출을 위한 동적, 정적 크롤링 비교 및 활용 = Comparison and Application of Dynamic and Static Crawling for Extracting Product Data from Web Pages

다국어 초록 (Multilingual Abstract)

In this paper, a web page that is easy for consumers to access event products in progress at convenience stores was created. In the production process, static crawling and dynamic crawling, two crawling methods for extracting data from event products, were compared and used. Static crawling is an extraction method of collecting static data from a homepage, and dynamic crawling is a method of collecting data from pages dynamically generated from a web page. Through the comparison of the two crawlings, we studied which crawl method is more effective in extracting event product data. Among them, a web page was created using effective static crawling, and 1+1 and 2+1 products were categorized and a search function was added to create a web page.

참고문헌 (Reference)

1 안치영 ; 문상웅 ; 신은혜 ; 김홍준, "효율적인 웹 크롤링, 데이터 분석 및 시각화 서비스 연구" 문화융복합아카이빙연구소 4 (4): 113-122, 2021

2 왕태수 ; 송재백 ; 손다연 ; 김민영 ; 최동규 ; 장종욱, "효과적인 데이터 수집을 위한 웹 크롤러 개선 및 동적 프로세스 설계 및 구현" 한국정보통신학회 26 (26): 1729-1740, 2022

3 최재민 ; 김선용, "환자 증상정보 기반 희귀질환 조기 발견 보조시스템" 한국전자통신학회 18 (18): 373-378, 2023

4 유성운 ; 박승민, "합리적 가격결정을 위한 전이학습모델기반 아보카도 분류 및 출하 예측 시스템" 한국전자통신학회 18 (18): 329-336, 2023

5 권세진 ; 이정훈 ; 이창무, "데이터 경제 시대에 있어서 웹 크롤링(crawling)의 법적 인식에 관한 연구" 한국산업보안연구학회 11 (11): 73-100, 2021

6 김진환 ; 김은경, "WCTT: HTML 문서 정형화 기반 웹 크롤링 시스템" 한국정보통신학회 26 (26): 495-502, 2022

7 J. Jeon, "Trends on Standardizations of HTML5 based Web Platform Technology" 27 (27): 83-95, 2012

8 이종화, "Python을 이용한 SNS 크롤링 시스템 구축" 한국산업정보학회 23 (23): 61-76, 2018

9 김강철 ; Yongjiang Zhao, "OneNet 클라우드 컴퓨팅 기반 실시간 홈 보안 시스템" 한국전자통신학회 16 (16): 101-108, 2021

10 H. Ko, "Django based ChatBot System Using KakaoTalk API" 4 (4): 31-36, 2018