데이터 경제 시대에 있어서 웹 크롤링(crawling)의 법적 인식에 관한 연구

권세진,이정훈,이창무 한국산업보안연구학회 2021 한국산업보안연구 Vol.11 No.3

웹 크롤링은 빅데이터 시대에 있어서 필수불가결한 데이터 수집 방법론임에도 불구하고 그 법 적 기준이 불분명하고 관련 분쟁이 지속적으로 발생하고 있다는 점에서 부정적인 시각이 일부 존재한다. 그러나 웹 크롤링에 대한 소극적이고 부정적인 이해는 빅데이터 시대의 데이터 경제 촉진을 저해할 우려가 있다. 따라서 이 연구는 보다 객관적이고 중립적 입장에서 웹크롤링의 필 요성과 중요성에 대한 인식을 환기시키고자 웹 크롤링에 관한 특허기술, 선행 연구, 언론보도 등 을 분석하고, 관련 판례 및 법적 쟁점을 검토하였다. 분석 결과 웹 크롤링은 데이터 경제시대에 필수불가결한 기술이자 데이터 경쟁력의 원천이 되 며 몹시 다양한 분야에 활용되고 있으나, 지식재산권 침해 및 정보통신망 침입죄 등을 구성할 우 려가 존재한다는 점을 확인할 수 있었다. 그러나 웹 크롤링이 타인의 권리를 침해할 소지가 있더 라도, 데이터를 수집하여 새로운 가치를 창출하기 위해 유용하게 사용되는 웹 크롤링 기술의 특 성상 이에 대한 과도한 규제는 바람직하지 않다는 점을 도출하였다. 따라서 이 연구에서는 웹 크롤링을 데이터 경제시대의 원천이 되는 “자원 수집 기술”이자, “자 원 활용 기술”로서 원천기술에 해당하는 역할을 수행하는 것으로 이해하였다. 나아가 향후 TDM 면책 규정이 입법되고 데이터 활용 기반이 확충되는 경우라면 웹 크롤링의 역할은 더욱 중요해 질 것으로 전망하였다. 이에 따라 데이터 경제시대의 공정한 웹 크롤링 기반 조성의 방향성을 i) 법제도·정책 기반 개선 및 공정이용 가이드라인 마련, ii) 웹 크롤링 관련 대체적 분쟁해결 제도 활성화, iii) 상생과 협력의 웹 크롤링 생태계 마련으로서 공정거래법상 웹 크롤링 제한에 관한 규 율과 대·중소기업의 데이터 상생과 상호 활용 모델 발굴을 각 제안하였다. Web crawling is an indispensable data collection methodology in the era of big data. Nevertheless, the criteria for this are unclear, and related disputes continue to arise. This leads to a negative view of web crawling. However, a passive and negative understanding of web crawling raises concerns that it will hinder the promotion of the data economy in the era of big data. In order to raise awareness of the necessity and importance of web crawling from a more objective and neutral standpoint, this study analyzed patent technology, previous studies, and media reports on web crawling and reviewed related precedents and legal issues. As a result of the analysis, web crawling is an indispensable technology and a source of data competitiveness in the data economy era. At the same time, it was found that web crawling may constitute infringement of intellectual property rights and intrusion of information and networks. However, even if web crawling may infringe on the rights of others, excessive regulation of web crawling technology, which is usefully used to collect data and create new value, is not desirable. Therefore, in this study, web crawling was understood to play a role corresponding to the original technology as a “resource collection technology” and a “resource utilization technology” that is the source of the data economy era. Furthermore, it is predicted that the role of web crawling will become more important if the TDM exemption regulations are legislated and the basis for data utilization is expanded in the future. Accordingly, the direction of creating a fair web crawling base in the data economy era was suggested to 1) improve the legal and policy base and establish fair use guidelines, 2) revitalize alternative dispute resolution systems related to web crawling, and 3) establish web crawling ecosystems under the Fair Trade Act.

웹 크롤링의 데이터 수집행위와 경쟁법적 논의 - 대법원 2022. 5. 12. 선고 2021도1533 판결을 중심으로

강정희 사법발전재단 2022 사법 Vol.1 No.61

Recently, the Supreme Court found the defendant not guilty in the case, where the defendant running an accommodation information offering service accessed the mobile application server managed by the victim who was running the same service and copied the database, such as a list of accommodation, which the victim owned and managed by using crawling. In the meantime there were some cases which were related to crawling, however the case was the first judgement of the Supreme Court so it has a great signification. Crawling or web crawling means an act of collecting necessary data from websites by using data-collecting robots called crawlers. In a data economy where data collection and use is more important than ever, it is no wonder that legal issues about crawling are getting attention. In the cases of crawling competitors’ websites and collecting and using data, the scope of legal protection has been decided so far mainly depending on whether communication network of information was infringed without right to access or beyond right to access or not, whether the crawled data was protected by copyright or not. However, as the competitiveness in the time of big data is determined by how much data you have and how much meaningful value you can make from the data, the conflict of interest between the data-haves and the data-trying to have is bound to be fierce. Nevertheless, it is too naive to leaving crawling and collecting data only in the area of copyright or tort law. Crawling is a technic for collecting data and the technic itself is innocent. The question is that the evaluation from a competition law perspective should be different according to how much important the data collected by using crawling is as an asset, whether the results created by using so-collected data has added new value or they are mere copied. As the larger the amount of data is, the more value could be created, data-sharing improve consumer welfare and social utility. On the other hand, if free sharing-data is prevalent it will be harder for data producers to withdraw their investment, and there would be less incentives for innovation. Therefore, the only criteria for solving the legal disputes about collecting data should be to find a balancing-point between data-protection and data-use. In this article, I will try to seek the criteria in the competition law after reviewing the current status and limitation of the pre-existing legal regulations on data-collecting by using crawling. 최근 대법원에서 숙박업체 정보제공 서비스를 운영하는 피고인 회사가 동일한 서비스를 제공하는 피해자 회사의 모바일 애플리케이션 서버에 접속하여 크롤링 방식으로 숙박업소 목록 등 피해자 회사가 보유·관리하는 데이터베이스를 복제한 사안에서 무죄판결이 확정되었다. 그동안에도 크롤링 행위가 문제 된 사건들은 있어 왔으나 대법원에서 최초의 판결이 선고되었다는 점에 의의가 있다. 크롤링(Crawling) 또는 웹 크롤링(Web Crawling)이란 크롤러(Crawler)라 불리우는 정보수집 로봇을 이용하여 다른 사이트에서 필요한 정보를 수집하는 행위를 말한다. 데이터 수집 및 활용이 무엇보다 중요한 데이터 경제 시대에 크롤링을 둘러싼 법적 문제가 주목을 받는 것은 당연하다. 빅데이터 시대에 누가 얼마만큼의 데이터를 보유하고 있으며, 그로부터 얼마나 의미 있는 가치를 도출해 낼 수 있는지가 경쟁력을 좌우하는 만큼 데이터를 가진 자와 이를 가지려고 하는 자 사이에 첨예하게 이해관계가 대립할 수밖에 없다. 경쟁사의 웹사이트를 크롤링하여 데이터를 수집·활용하는 사안에서, 그동안은 주로 접근권한이 없거나 접근권한을 넘어서서 정보통신망을 침해하는지 여부, 수집 대상 데이터가 저작권의 보호대상인지 여부에 따라 법적 보호가 달라졌다. 그러나 공정한 경쟁을 통한 데이터 산업 발전 및 소비자 이익 도모를 위하여 크롤링으로 데이터를 수집하는 행위를 저작권법이나 불법행위법의 영역에만 남겨둘 것이 아니라 경쟁법에서 면밀히 들여다 볼 필요가 있다. 크롤링 기술을 활용하여 수집한 데이터가 경쟁에 있어 얼마나 중요한 자산인지, 수집된 데이터를 활용하여 만들어낸 결과물이 새로운 가치를 더하는지 아니면 일종의 베끼기에 그치는지에 따라 경쟁법적 평가가 달라져야 할 것이다. 데이터의 양이 많을수록 더 많은 가치를 창출할 수 있으므로 데이터 공유는 소비자 후생 나아가 사회적 효용을 증대시킨다. 반면 데이터를 무상공유하도록 할 경우 데이터 생산자의 투하자본의 회수가 곤란해져 혁신의 유인이 감소하는 문제가 있다. 따라서 정보수집을 둘러싼 법적 분쟁 해결 기준은 데이터 보호와 이용 사이의 균형점을 찾는 것일 수밖에 없다. 이 글에서는 대상판결을 통해 크롤링을 통한 데이터 수집행위에 대한 기존의 법규제 현황과 한계를 살펴보고 경쟁법에서의 판단 기준을 모색해 보기로 한다.

크롤링을 통한 데이터 수집과 형사책임 - 대법원 2022.5.12. 선고 2021도1533 판결을 중심으로

선종수 한국형사법학회 2023 刑事法硏究 Vol.35 No.3

정보통신기술이 발달함에 따라 생산되는 데이터의 양은 상상을 초월하는 수준에이르렀다. 이러한 데이터는 하나의 경제 자원으로 인식되고 있다. 그러나 모든 데이터가 경제 자원일 수 없으므로 수집된 데이터는 분석과정을 거쳐 활용하게 된다. 이러한 과정에서 사용되는 방법이 웹 크롤링(web crawling)이다. 일반적으로 웹 크롤링은 웹 크롤러(web crawler), 즉 조직적, 자동화된 방법으로월드 와이드 웹(World Wide Web, WWW)을 탐색하는 컴퓨터 프로그램을 통한 작업을 말한다. 다시 말해 웹 크롤링은 정보수집 로봇을 통하여 다른 사람이 운영하는 웹사이트에서 필요한 정보를 수집하는 행위를 의미한다. 이러한 웹 크롤링은 인터넷을기반으로 하는 여러 분야에서 폭넓게 활용되고 있다. 특히 데이터의 중요성이 강조되는 현재 시점에서 웹 크롤링은 더욱 주목을 받고 있다. 최근 대법원은 웹 크롤링과 관련한 정보통신망법상 정보통신망 침입에 해당하는지여부에 대한 판결을 선고하였다. 이 판결은 웹 크롤링 관련 최초의 판결로 그 의미가있다. 대상판결은 웹 크롤링을 이용한 데이터 수집에 관한 형사책임을 최초로 판시하였다는 점에서 그 의의가 있다. 대상판결은 형사법적 쟁점 세 가지 모두 무죄를 선고하였다. 구체적으로 보면 정보통신망법위반죄(정보통신망침해등), 형법상 컴퓨터등장애업무방해죄 그리고 저작권법위반죄(데이터베이스저작권 침해) 등이다. 그러나 비록 대상판결에 따라 형사법적 쟁점에 대한 무죄의 판단이더라도 기술 자체에 대하여 법률적 가치판단을 할 수는 없다. 따라서 크롤링 기술에 대해 형사책임이 없다는 것으로 단정하기 어렵다. 이러한 의미에서 본다면 향후 유사 사례의 경우대상판결과는 다른 결론이 나올 수 있다. 왜냐하면 대상판결의 경우 정보통신망법 위반은 무죄가 되었지만 구체적인 사정에 따라 웹 크롤링을 통한 데이터 수집행위가정보통신망 침입으로 인정될 여지가 남아있기 때문이다. With the development of information and communication technology, the amount of data produced has reached an unimaginable level. Such data is recognized as an economic resource. However, not all data can be economic resources, so the collected data is used through the analysis process. Web crawling is a method used in this process. In general, web crawling refers to the work of a web crawler, that is, a computer program that explores the World Wide Web (WWW) in an organized and automated manner. In other words, web crawling refers to the act of collecting necessary information from a website operated by another person through an information collection robot. Such web crawling is widely used in various fields based on the Internet. Web crawling is drawing more attention, especially at a time when the importance of data is emphasized. Recently, the Supreme Court ruled on whether it constitutes an intrusion into the information and communication network under the Information and Communication Network Act related to web crawling. This ruling is meaningful as it is the first ruling related to web crawling. The target judgment is meaningful in that it was the first to judge criminal responsibility for data collection using web crawling. The target judgment acquitted all three criminal legal issues. Specifically, they are crimes of violating the Information and Communication Network Act (infringement of information and communication network, etc.), obstruction of business such as computers under the criminal law, and violation of copyright law (infringement of database copyright). However, even if it is a judgment of innocence on criminal legal issues according to the target judgment, legal value judgment on the technology itself cannot be made. Therefore, it is difficult to conclude that there is no criminal responsibility for crawling technology. In this sense, similar cases in the future may come to a different conclusion from the target judgment. This is because in the case of the target judgment, the violation of the Information and Communication Network Act was acquitted, but there is still room for data collection through web crawling to be recognized as an intrusion into the information and communication network.

웹 크롤링의 경쟁법적 고찰

황태희 ( Tae Hi Hwang ) 한국경쟁법학회 2021 競爭法硏究 Vol.43 No.-

The purpose of the Competition Law is to enhance consumer welfare through free and fair competition in the market. In particular, the nature of search-based services in a data-driven economy requires data to be constantly shared, communicated, and analyzed in the marketplace. The Web crawling, which uses information collection robots to collect necessary information from other websites, is becoming common in the trading world as a new way of collecting the necessary information directly among the numerous information posted on the Internet. Web crawling is an essential act of gathering information in such search-based services, not in itself to limit the operations of others. It is a consumer-friendly mechanism that promotes price and quality competition for products or services and increases consumers’ choice because it can quickly and accurately provide the desired search results, product information, photos, and reviews. Thus, unfair restricting web crawling could impede consumer interests and also create obstruction of business activities for counterparts and competitors. It would be necessary to prevent large online operators from monopolizing information or distorting competition so that various information can be provided to consumers. As to whether it is illegal to crawl copyrighted content or databases, it will be necessary to determine whether crawling is consistent with the fair use of copyright. And if collecting information through crawling helps consumers expand their options and promote their welfare, it is necessary to avoid hastily judging them as violations of the law. The most important thing in the data-driven economy is that operators can compete fairly and that consumers should benefit from competition and innovation, which should not be overlooked in the legal judgment of crawling.

크롤링을 이용한 공개데이터 수집ㆍ활용의 법적 쟁점에 대한 비판적 검토

김현숙 강원대학교 비교법학연구소 2020 江原法學 Vol.61 No.-

Data and its use have become one of the important tools for business development. While certain data (e.g., data involving personal information) and its use may be regulated under relevant law, they may also be protected under various bodies of law. For example, they can be protected under IP law, including copyright law and unfair competition law, and possibly under criminal law under the legal theory of criminal interference with business of another if a matter involves misappropriation of data. Data and its use are legally protected because they are capable of creating new economic value and interest. However, despite the growing importance of data and its use, not all data is legally protected. Publicly disclosed and accessible data, outdated data, or pre-processing raw data may not be legally protected, as they may be considered as a community asset that belongs to the general public. Therefore, protecting all data regardless of its type may unreasonably undermine and restrict the public’s right to access and use data in the public domain. In view of the foregoing, web crawling per se should not be considered illegal. Rather, the legality of web crawling should depend on the type of data collected through web crawling. It would be in the interest of the society not to unduly restrict web crawling that collects data that are not legally protected. While web crawling may present a wide range of legal issues, it is clear that web crawling is a new technology capable of bringing benefits to various business, industries and society at large. To fully take advantage of such benefits, data protection and web crawling regulations need to be tailored in view of multiple factors, including the type of collected data. 데이터 수집과 분석이 산업 육성의 중요한 정책으로 주목받으면서 데이터 수집의 중요한 기술인 크롤링 행위에 대한 법적 평가가 필요한 시점이 되었다. 데이터의 수집과 활용은 그 유형에 따라 지식재산권법 측면에서 저작권법, 부정경쟁방지법 등의 보호를 받을 여지가 있고, 개인정보 및 위치정보가 포함되어 있다면 개인정보 보호법의 영향을 받을 수 있다. 그 외에 데이터를 부정하게 사용하는 경우 업무방해 등으로 인한 형법의 적용도 가능하다. 그러나 그 중요성이 커진다고 하더라도 급변하는 데이터 산업 환경 변화를 고려할 때 데이터를 지나치게 보호하는 것은 경계해야 한다. 데이터 자체가 새로운 가치를 창출하는 수단으로 작동한다면 보호해야 마땅하겠지만, 누구나 접근할 수 있는 공개데이터의 활용은 달리 접근할 필요가 있다. 모두에게 공개된 단순한 웹 데이터까지 ‘축적된 대량의 데이터’라는 명목으로 수집과 활용을 제한하는 것은 산업 육성에 걸림돌이 될 수 있다. 웹 크롤링 기술을 사용한 단순한 공개데이터는 데이터의 종류와 유형에 따라서, 그리고 데이터의 가공과 정제 여부에 따라서 수집ㆍ활용에 대한 허용 범위를 유연하게 적용할 필요가 있다. 가공되기 이전의 정형화된 단순 데이터는 사회 공동의 자산이라고 할 수 있고 이것이 사회 전체의 공공복리를 발전시키는 것이라면 허용하는 것이 효율적이다. 데이터 수집과 활용에 관한 현실을 폭넓게 수용하되 법과 제도가 불분명하게 규제로 비치지 않도록 조율해야 한다.

중국 소셜미디어 크롤링과 텍스트 분석: SNS 말뭉치 기반 연구방법론의 모색

박민준 경기대학교 인문학연구소 2024 시민인문학 Vol.46 No.-

Recently, social media has emerged as a new space for information exchange and a leading channel in setting trends within China's digital environment. With the quantitative growth of social media platforms, the accumulation of users' opinions and evaluations has naturally led to the formation of a vast Chinese corpus, which continues to expand rapidly. Consequently, exploring social media texts to understand the embedded social and cultural meanings has become a crucial academic task. Theoretically, all data visible on a web browser can be collected through crawling. In light of this, this paper expands the scope of web crawling to include Chinese social media content, investigating the data crawling processes on XiaoHongShu (小红书), BiliBili (哔哩哔哩), and Douyin (抖音). This paper introduces the prominent Chinese social media platforms such as XiaoHongShu, BiliBili, and Douyin, highlighting their unique characteristics, influence, as well as the necessity of data collection. Subsequently, it step-by-step investigates the entire process of collecting social media content, from securing hidden URLs to accessing platforms through user authentication, and elaborates on two data collection methods based on GUI and CLI. Lastly, the paper presents a case study of SNS text mining by analyzing comments on Korean cosmetic surgery (韩国整容) contents posted on social media. This paper contributes to understanding Chinese social media and its content crawling methodologies, proposing a new approach for corpus-based research on SNS. The social media crawling techniques and content analysis presented in this study are expected to enable a deeper understanding of the rich linguistic and cultural features of Chinese social media content.

판례 분석을 통한 웹크롤링 행위의 위법성 판단기준에 관한 연구

정원준 한국민사법학회 2022 民事法學 Vol.100 No.-

In order to effectively utilize data that is recognized as an important asset in the era of the data economy, data collection activities in a wide range of categories must be premised. From this point of view, so-called ‘Web Crawling’, which automatically collects data released on the web and extracts data in a mechanical manner, is known as a very useful software technology. The problem is that even if the information is released on the web page, should it be sanctioned as an unauthorized exploitation of the property rights and business interests of the original data right holder, or is it in line with the purpose of the information protection law, such as the Intellectual Property Act. This study compared and analyzed the main contents and key issues of civil and criminal litigation of the Yanolja vs. Yeogieottae case, which recently controversial legal disputes, including the existing ‘Rigvedawiki vs. En-Hawiki Mirror Case’ and ‘Job Korea vs. Saram In’. Our court has presented certain criteria for judging the illegality of crawling acts through several trial cases in question by using crawled information for business interests without permission. Nevertheless, there are still limitations that cannot be judged differently depending on the specific issues in question, such as how continuous and systematic the infringement was performed for data analysis and extraction, and what technical measures the right holder took in advance to restrict and block web page access. Through the review of domestic precedents, it is beneficial to examine the criteria for judging whether infringement of rights under the Real Law is recognized under the Copyright Act, the Information and Communication Network Utilization Promotion and Information Protection Act, etc. Crawling technology is one of the technologies that has been useful in considerable fields. Therefore, in order to encourage data analysis activities of companies or general companies that are engaged in data analysis in the future, it will be more important to provide a clear interpretation of the criteria for judging the illegality of network access and data collection and use. 데이터 경제 시대에 중요한 자산으로 인정받고 있는 데이터를 효과적으로 활용하기 위해서는 광범위한 범주에서의 데이터 수집 활동이 전제가 되어야 한다. 이러한 관점에서 웹상에 공개된 데이터를 기계적인 방법으로 자동 수집하여 데이터를 추출하는 소위 ‘웹크롤링(Web Crawling)’은 매우 유용한 소프트웨어 기술로 알려져 있다. 그런데 문제는 웹페이지상 공개된 정보일지라도 이를 무단으로 가져가 동종의 영업행위에 사용하는 것은 무단편승 행위로서 권리자의 재산권과 영업상 이익에 대한 침해에 해당하는가 하는 점이다. 한편 웹페이지 운영자나 당해 서비스 제공자의 입장에서는 망 침입행위에 대한 명확한 인식을 통해 사전에 접근 제한 조치를 충분히 취하였는지가 불법성 판단에 있어서 중요한 고려요소가 될 것이다. 왜냐하면 웹상에 공개된 정보는 서비스 제공의 목적 외에 다른 목적으로 사용되는 것을 묵시적으로 동의 내지 승인한 것으로 볼 수 있다는 침해자측의 주장에 반박할 수 있는 결정적 증거가 되기 때문이다. 본 연구에서는 이러한 웹크롤링 행위의 적법성 판단에 관하여 판시한 기존의 ‘리그베다위키 대 엔하위키 미러 사건’과 ‘잡코리아 대 사람인 사건’을 비롯하여 최근 법적 분쟁이 논란이 된 ‘야놀자 대 여기어때 사건’의 민․형사상 소송의 주요 내용과 핵심 쟁점을 비교․분석하였다. 우리 법원은 크롤링한 정보를 무단으로 영업상 이익을 위해 사용하여 문제가 된 국내 재판례를 통해 크롤링 행위의 위법성에 대하여 일정한 판단기준을 제시해왔다. 그럼에도 불구하고 여전히 데이터 분석․추출을 목적으로 행해지는 망 접근행위와 그로부터 수집된 데이터를 활용하는 데에 있어서 그 침해행위가 얼마나 지속적이고 체계적인 방식으로 이루어졌는지, 웹페이지 접근을 제한 및 차단하기 위해 권리자가 사전적으로 취한 기술적 조치는 무엇인지 등 문제가 된 구체적인 사안에 따라 달리 판단될 수밖에 없는 한계가 있다. 따라서 판례의 검토를 통해 어떠한 성립 요건 하에 「저작권법」, 「정보통신망 이용촉진 및 정보보호 등에 관한 법률」, 「부정경쟁방지 및 영업비밀보호에 관한 법률」 등 실정법상의 권리 침해를 인정하고 있는지에 관한 판단기준을 살펴볼 실익이 있다. 크롤링 기술은 상당한 분야에서 유용하게 사용되고 있는 기술 중 하나이다. 따라서 향후 데이터 분석을 업으로 하는 기업 혹은 일반 기업들의 데이터 분석 활동을 장려하기 위해 웹크롤링 과정에서 수반되는 망 접근행위와 데이터 수집․이용행위의 위법성 판단기준에 대하여 명확한 해석방향을 제시하는 것이 더욱 중요해질 것이다.

RSS 크롤링을 이용한 지능형 재난 통합관리 시스템

최근창(Geun-Chang Choi),조영빈(Young-Bin Cho),박용범(Yong-Beom Park),김진술(Jin-Sul Kim) 한국정보기술학회 2019 Proceedings of KIIT Conference Vol.2019 No.6

작년 싱크홀과 더불어 최근 산불과 같이 각종 재난 재해들이 우리의 생활에 위협을 주고 있다. 이러한 문제점을 인식하고, 기상정보를 기반으로 하여 재난 재해들에 대처할 수 있는 방법을 모색하는데 목적이 있다. RSS데이터를 기반으로 기상 정보와 해당 위치를 MySQL 데이터베이스에 수집한다. 이를 Crawling를 통해, Web상에 지역 명, 위도, 경도. 날씨정보(온도, 습도, 풍향, 풍속. 날씨)를 제공한다. 추가적으로. 3시간마다 갱신되는 데이터들을 같은 인터벌에 맞게 실시간으로 위 과정을 반복한다. 또한, 해당 지역의 날씨 정보를 기반으로 재난 재해를 일으키는 위험 요소들과 접목시켜 위험도를 산출한다. 이를 통해 재난 재해가 발생할 수 있는 지역을 능동적으로 파악하여 대처할 수 있도록 한다. In addition to last year’s sinkhole, disasters like typhoon, earthquake, fire are threatening our lives. The purpose of the project is to recognize these problems and to explore ways to deal with disasters based on weather information. We collect weather information and its location in the MySQL database based on RSS data. By crawling through data, we provide province, district, latitude, longitude and weather information(temperature, humidity, wind direction, wind velocity, weather) on the Web. In addition, the above process is synchronized in real time for the same interval with the data updated every 3 hours. Moreover, the hazard is calculated by combining the risk factors that causes the disaster information in the area. Through this, It enables users to recognize and to handle the hazardous zone where disaster can occur.

A Study on Effective Data Acquisition of Writer's Works Analysis Using Web Crawling: Focusing on Korean Novelists ‘Kim Young-ha and Park Min-kyu’

Jeongyong Lee,Youngae Jung 한국디지털콘텐츠학회 2019 The Journal of Contents Computing Vol.1 No.1

People generally utilize internet searching as a mean of the obtainment of information before using any other searching method. However, the amount of data on the Internet is ginormous so that it is almost impossible to check them all manually at the same time there is a wide gap between the level and the reliability of the data. This paper began to solve the above-mentioned issues and proposed the method to collect and refine reliable information from the Internet using web crawling technology literary research. This research conducted the web crawling using a specified keyword based on Korean writer and collect the concerned data from the internet newspapers that guarantee minimum reliability. Nouns extracted from the collected data through the process and sorted by frequency. Nouns with a high frequency mean that they are highly related to the author so that they can utilize as basic data to decide the direction for research concerned writers" works.

SW 코딩교육에서의 학습분석기반 플립러닝의 학습효과

피수영 한국디지털정책학회 2020 디지털융복합연구 Vol.18 No.11

The study aims to examine the effectiveness of flipped learning teaching methods by using learning analytics to enable effective programming learning for non-major students. After designing a flipped learning programming class model applied with the ADDIE model, learning-related data of the lecture support system operated by the school was processed with crawling. By providing data processed with crawling through a dashboard so that the instructor can understand it easily, the instructor can design classes more efficiently and provide individually tailored learning based on this. As a result of analysis based on the learning-related data collected through one semester class, it was found that the department, academic year, attendance, assignment submission, and preliminary/review attendance had an effect on academic achievement. As a result of survey analysis, they responded that the individualized feedback of instructors through learning analysis was very helpful in self-directed learning. It is expected that it will serve as an opportunity for instructors to provide a foundation for enhancing teaching activities. In the future, the contents of social network services related to learners’ learning will be processed with crawling to analyze learners’ learning situations. 본 연구는 비전공자 학생들 대상으로 효과적인 프로그래밍 학습이 가능하도록 학습 분석을 활용한 플립러닝 교수법의 효과성을 살펴보고자 한다. ADDIE모형을 적용한 플립러닝 프로그래밍 수업모형을 설계한 후 본교에서 운영하고 있는 강의지원시스템의 학습관련 자료를 크롤링하였다. 크롤링 자료를 교수자가 쉽게 이해할 수 있도록 대시보드로 제공하여 교수자는 이를 바탕으로 수업을 보다 효율적으로 설계하여 개별 맞춤 학습이 가능하도록 하였다. 한 학기 수업을 통해 수집된 학습관련 데이터를 바탕으로 분석한 결과 학과, 학년, 출결여부, 과제제출 여부, 예/복습 수강여부가 학업성취도에 영향을 미치는 것으로 나타났으며, 설문 분석결과 학습 분석을 통한 교수자의 개별화된 피드백이 자기 주도적 학습에 많은 도움이 되었다고 응답하였다. 본 연구는 학습자의 학습을 촉진시키고 교수자는 교수활동을 개선할 수 있는 기틀을 마련해 주는 계기가 될 것으로 기대한다. 향후 학습자들의 학습과 관련된 소셜네트워크서비스의 내용도 크롤링하여 학습자들의 학습상황을 분석하고자 한다.