시공간 RDF 빅데이터의 효율적인 분산 병렬 처리 기술

신인수 건국대학교 2017 국내박사

Today, in the fast developing web, the semantic web service gets more popular to provide spatio-temporal information such as location, distance and times by linking between web data and GIS. Furthermore, as an era of Big Data is coming the number of spatio-temporal RDF big data that is generated by XML, GML, RDF is increased. Regarding to that the interest of research for distributed processing of these data is growing high. In order to store and manage spatio-temporal RDF big data, the following information should be efficiently stored: general data, data types, operations, and index. Researches for efficient search of spatio-temporal RDF big data is also needed in distributed semantic web environments. However, in the existing spatial information area, semantic web-based systems are inadequate to deal with storing and processing of spatio-temporal RDF big data. Moreover, HBase, MongoDB and Cassandra which are distributed database systems to process big data are difficult to search for spatio-temporal. This issue caused by absence of spatio-temporal operators and indexation. The number of MapReduce Jobs are increases by increase of join processing queries. The process of various triple pattern conditions in SPARQL for search query also makes it complicated. Finally these issues cause the degradation of query processing performance. This thesis proposes the spatio-temporal RDF big data processing architecture to solve these problems and process spatio-temporal RDF big data efficiently in distributed semantic web environment. The spatio-temporal RDF big data processing architecture is comprised of the spatio-temporal operation method, the spatio-temporal indexing method, and the spatio-temporal query execution plan methods. First, the spatio-temporal operation method, called TS-Operation, supports spatial data types and operators that comply with the OGC standard. Temporal data types and operators that comply with the ISO standard and spatio-temporal data types and operators that unify spatial and temporal data. This thesis compare spatio-temporal types, operations, and search performance with other existing spatio-temporal operation researches and prove the superiority. Second, the spatio-temporal indexing method, called TS-Index, constructs a spatio-temporal index and cluster to search spatio-temporal RDF big data efficiently. This thesis compare search performance with other existing spatio-temporal index researches and proves the excellence. Finally, the spatio-temporal query execution plan method, called TS-ExecPlan, makes join execution plans of SPARQL query with the catalog information table, join priority rule, and multi-join algorithm that performs efficient query processing. This thesis compare search performance with other existing SPARQL query processing researches and prove its advantage. 오늘날, 웹의 발전에 따라 수많은 콘텐츠가 생성되면서 웹의 데이터를 GIS와 연결시켜서 사용자에게 건물, 도로, 시설물 등에 관한 위치, 거리, 시간 등과 같은 시공간 정보를 제공하기 위한 시맨틱웹 서비스의 수요가 증가하고 있다. GIS 분야에서도 이러한 다양하고 의미있는 시공간 정보를 제공하고 서비스하기 위해, 시맨틱웹에서 사용할 수 있도록 RDF 형태로 제공하고 있다. 이러한 RDF 데이터는 빅데이터 환경으로 변화함에 따라, GML, RDF 등의 형태로 생성되는 정보들을 저장한 시공간 RDF 빅데이터로 생성되고 있으며, 이를 효율적으로 분산 처리하기 위한 연구에도 관심이 커지고 있다. 시공간 RDF 빅데이터는 비시공간 데이터와 시공간 데이터가 같이 저장되어 있으므로, 시공간 정보를 효율적으로 관리하기 위해 이를 위한 시공간 데이터 타입, 연산자, 인덱스 등이 지원되어야 한다. 그리고 분산 시맨틱웹 환경의 특성을 살려 시공간 RDF 빅데이터를 효율적으로 검색하기 위한 연구들도 필요하다. 그러나 기존 공간정보 분야에서 공간 데이터에 대한 서비스를 제공하는 시맨틱웹 기반 시스템들은 시공간 RDF 빅데이터를 저장하거나 시공간 데이터의 특성에 따른 연산 처리를 지원하는 기술의 연구 개발이 미흡하다. 또한 빅데이터를 처리하기 위한 분산 데이터베이스인 HBase, MongoDB, Cassandra 들은 시공간 연산 및 인덱스의 부재로 시공간 정보의 특성을 반영한 데이터 검색이 어렵다. 그리고 시공간 RDF 빅데이터의 생성으로 인해 SPARQL 질의에 트리플 패턴 조건들이 다양해져, 이를 위한 조인의 증가가 MapReduce Job의 증가로 이어져, 결국 질의 처리의 성능 저하라는 문제점이 발생한다. 본 논문에서는 분산 시맨틱 웹 환경에서 이러한 기존의 문제점들을 해결하고 시공간 RDF 빅데이터의 효율적인 질의 처리를 위한 시공간 RDF 빅데이터 처리 아키텍처를 제시한다. 시공간 RDF 빅데이터 처리 아키텍처는 시공간 데이터 연산 기술, 시공간 데이터 인덱싱 기술, 시공간 질의 실행 계획 기술로 나눠진다. 첫 번째, 분산 시맨틱 웹 환경에서 기존에는 지원하지 않던 시공간 RDF 빅데이터의 통합 처리가 가능하고 효율적인 시공간 연산 기능을 지원하도록 시공간 데이터 연산 기술인 TS-Operation(Time&Space Operation)을 제안한다. TS-Operation은 OGC의 공간 표준을 따르는 공간 데이터 타입 및 연산자를 지원하고, ISO의 시간 표준을 따르는 시간 데이터 타입 및 시간 연산자를 지원하며, 이를 통합한 시공간 데이터 타입 및 시공간 연산자를 지원한다. 그리고 관련 연구와 시공간 지원 종류, 연산 처리 시간을 비교하여 연구의 우수성을 검증하였다. 두 번째, 시공간 RDF 빅데이터를 보다 빠르게 검색할 수 있는 시공간 데이터 인덱싱 기술인 TS-Index(Time&Space Index)를 제안한다. TS-Index는 시공간 데이터에 대한 효율적인 검색을 가능하게 하기 위해 시공간 RDF 빅데이터에 대한 시공간 인덱스를 구축하고, 시공간적으로 클러스터링하여 저장함으로써 검색 성능을 향상시켰다. 그리고 관련 연구와 검색 질의 처리 시간을 비교하여 연구의 우수성을 입증하였다. 마지막으로 SPARQL 질의 시, 조인 수행을 빠르게 수행할 수 있는 시공간 질의 실행 계획 기술인 TS-ExecPlan(Time&Space Execution Plan)을 제안한다. TS-ExecPlan은 카탈로그 정보 테이블, 조인 우선순위 규칙, 다중 조인 알고리즘을 이용하여 질의에 대한 조인 실행계획을 작성하고 효율적인 질의 처리를 수행한다. 그리고 관련 연구와 검색 질의 처리 시간을 비교하여 연구의 우수성을 입증하였다.

빅데이터 기반 지능형 통합 산불 재난방지 플랫폼 구축에 영향을 미치는 요인에 관한 연구

홍수희 숭실대학교 대학원 2021 국내박사

국방 빅데이터 기반 안보상황 예측 방안

황현호 충북대학교 일반대학원 2024 국내박사

North Korea has been advancing its weapons of mass destruction (WMD) capabilities, including nuclear weapons and missiles. In addition, North Korea has recently posed blatant threats to South Korea and the world through preemptive use of nuclear weapons and operation of tactical nuclear weapons. Accordingly, in order to strengthen our military's defense capabilities, it has become more important than ever to solidify the ROK-US joint defense posture and secure advanced weapon systems through Defense Innovation 4.0. It is necessary to prepare for the improvement of military intelligence capabilities that can accurately check the current security situations in order to strengthen such defense capabilities. The cornerstone begins with information collection. Information is collected through surveillance and reconnaissance equipment, and the commander who recognizes the collected information makes a decision. At this time, the commander makes a decision based on the operational plan and the commander's know-how, and proceeds with the order of defeating the enemy and then defense. Commanders make the optimal decision by considering the situations of the enemy and allies at hand, as well as numerous internal and external environments. However, the process of quickly and accurately recognizing and deciding various situations for commanders puts them in a lot of agony and uncertainty. Additionally, incorrect or delayed judgment may occur due to uncertain information, preventing a decision from being reached at the optimal time. In other words, security situation prediction plans based on big data that can predict the future through the collection and processing of numerous data that can accurately judge the internal and external security situation are required. In this dissertation, we propose security situation prediction plans based on defence big data. In order to predict the security situations, the first thing that must be done is which variables to select and the definitions and scopes of the variables. The proposed plans are based on operational variables (PMESII-PT, Political, Military, Economic, Social, Information, Infrastructure, Physical environment, Time). and mission variables (METT-TC, Mission, Enemy, Troops, Terrain, Time Available, Civilian considerations) They are used as variables to face the situations in South Korea and North Korea and their definitions and scopes are distinguished. In addition, Open Source INTelligence (OSINT) is used as a way to collect related data. Public information collection is accessible to anyone. It is based on evidence from clear public information sources (newspapers, broadcasts, publications, online media, etc.) is an easy method to obtain information. BIGkinds is used as a method to access public source information. Through this, we intend to analyze the relationship and frequency of variables (excluding overlapping variables) of PMESII+TC and METT-TC, focusing on North Korea. The meaning of analyzing variables centered on North Korea is that the 2022 Defense White Paper defines ‘the North Korean regime and military as our enemies.’ Variables are analyzed based on public source information and evaluated through DIME (Diplomatic, Informational, Military, Economic) analysis as the country's overall means of national power: diplomacy, information, military, and economy. Through analysis and evaluation, we derive plans for developing defense big data. There are a total of 6 development plans such as ‘Activating security forecasting research using big data’, ‘Establishing partnerships to predict domestic and international security situations’, ‘Securing reliability of defense data’, ‘Strengthening security forecasting in connection with Defense Innovation 4.0’, ‘Conducting Mosaic Warfare using big data’. 북한은 핵과 미사일 등 대량살상무기(Weapons of Mass Destruction, WMD) 능력을 고도화하고 있다. 또한, 최근 북한은 핵 선제 사용 및 전술핵 운용을 통해 대한민국과 전 세계를 대상으로 노골적인 위협을 가하고 있다. 이에 우리 군은 방위역량을 강화하기 위하여, 한미 연합방위태세를 확고히 하고, 국방혁신 4.0을 통해 첨단화된 무기체계를 확보해야 하는 것이 그 어느 때보다 중요해졌다. 이와 같은 방위력 강화를 위해서는 현 안보상황에 대하여 정확히 확인할 수 있는 군사정보 능력 향상에 기인하여 대비해야 한다. 그 초석은 정보수집으로부터 시작될 것이다. 감시정찰 장비를 통해 정보수집을 하고, 수집된 정보를 인식한 지휘관이 결심하게 된다. 이때, 지휘관은 작전계획과 지휘관의 노하우를 바탕으로 적을 격퇴하고 이후 방어하는 순으로 진행된다. 지휘관은 당면한 적과 아군의 상황 그리고 수많은 대내외 환경을 고려하여 최적의 결심을 하게 된다. 하지만 지휘관은 여러 상황을 신속, 정확히 인식하고 결정하는 과정은 많은 고뇌와 불확실성에 놓이게 된다. 또한, 불확실한 정보에 의해 잘못된 판단 또는 판단의 지연으로, 최적 시기의 결심에 이르지 못하게 할 수 있다. 즉, 대내외적 안보상황을 정확히 판단할 수 있는 수많은 데이터 수집과 가공을 통해 미래를 예측할 수 있는 빅데이터 기반 안보상황 예측 방안이 요구된다. 본 논문에서는 국방 빅데이터 기반 안보상황 예측 방안을 제안한다. 안보상황 예측을 위해서 선행되어야 하는 것은 어떤 변수를 선택할 것인가와 그 변수가 갖고 있는 정의 및 범위에 대하여 설정하는 것이 우선이다. 제안하는 안보상황 예측 방안은 작전변수(PMESII-PT, Political, Military, Economic, Social, Information, Infrastructure, Physical environment, Time)와 임무변수(METT-TC, Mission, Enemy, Troops, Terrain, Time Available, Civilian considerations)에 기반한다. 대한민국과 북한의 상황을 직시할 수 변수로 활용하고자 한다. 그리고 변수와 관련된 자료를 수집하기 위한 방안으로 공개출처정보(Open Source INTelligence, OSINT)를 활용한다. 공개정보 수집은 누구나 접근할 수 있으며, 분명한 공개정보 출처(신문, 방송, 간행물, 온라인 매체 등)에 근거한 정보획득이고, 획득 용이한 방법이다. 공개출처정보를 접근하기 위한 방법으로 빅카인즈(BIGkinds)를 활용한다. 이를 통해 PMESII+TC와 METT-TC의 변수(중첩 변수 제외)를 북한 중심으로 분석하고자 한다. 북한을 중심으로 변수를 분석한다는 의미는 2022년 국방백서에 ‘북한 정권과 북한군은 우리의 적’으로 정의되어 있기 때문이다. 변수는 공개출처정보의 의해 자료 수집 및 분석을 하고 DIME(Diplomatic, Informational, Military, Economic) 분석을 통해 국가가 보유한 총체적 국력 수단인 외교·정보·군사·경제로 평가했다. 그리고 분석과 평가를 통해 국방빅데이터 발전방안을 도출했다. 발전방안은 ‘빅데이터를 활용한 안보예측 연구 활성화’, ‘국내외 안보상황 예측을 위한 파트너십 구축’, ‘국방 데이터 신뢰성 확보’, ‘국방혁신 4.0과 연계한 안보예측 강화’, ‘빅데이터를 활용한 모자이크전(Mosaic Warfare) 수행’, ‘국방 빅데이터 운영 인재 양성’으로 구분한다.

농업 빅데이터 플랫폼상의 농업경영데이터 활용의도에 영향을 미치는 요인에 관한 연구

손경자 숭실대학교 대학원 2021 국내박사

4차 산업혁명 시기를 맞아 데이터 활용의 중요성은 날로 주목받고 있다. 시가총액 상위를 차지하고 있는 대부분 기업은 데이터를 기반으로 한 플랫폼 기업이라고 이야기할 수 있으며 각국의 정부 또한 데이터 활용을 통한 정책 수립에 상당 부분 노력해오고 있다. 우리나라도 2020년 8월 데이터 3법(개인정보 보호법, 정보통신망 이용촉진 및 정보보호 등에 관한 법률(‘정보통신망법’), 신용정보의 이용 및 보호에 관한 법률(‘신용정보법’))이 통과됨에 따라 데이터를 통합 수집하고 개인정보를 가명 처리한 양질의 데이터를 민간기관에 제공하여 데이터 경제 활성화를 통한 국가 경쟁력을 높일 필요가 있다는 요구가 증대되고 있다. 하지만 아직, 우리나라 농업 데이터는 여러 기관에 분산되어 수집에 상당한 노력이 필요하고 정책 결정 시 느린 통계에 의존하여 뒤처진 정책 결정 가능성이 그대로 있다. 또한, 농업 관련 공공데이터의 종류와 양은 지속해서 증가하고 있으나, 품질관리 및 이를 활용한 융합․지능형 빅데이터 분석 등 서비스가 미흡하여 농업인은 본인 상황에 맞는 작물선택, 출하 시기 결정 등 영농의사결정에 애로를 겪고 있다. 그래서 농업은 힘들다는 인식이 팽배해 있으며 농업으로 소득을 창출하기 어렵다는 생각이 자리 잡고 있다. 다행히 정부에서는 이러한 문제 해소를 위해 스마트농업을 새로운 기회로 인식하고 스마트농업을 뒷받침하는 가장 핵심기술로 농업 빅데이터를 꼽고 있으며 2020년부터 농업 빅데이터 플랫폼을 구축 추진 중이다. 그동안 선행연구에서는 스마트농업을 위해 농업인들에게 어떠한 정보를 수집해서 제공해야 하는지에 대한 실험연구, 정책연구가 대부분으로 농업데이터플랫폼의 활용성을 높이기 위한 요소가 무엇인지, 어떠한 방향으로 플랫폼을 개선해야 하는지에 대한 실증연구는 전혀 없는 상황이다. 이에 본 연구는 농업데이터 플랫폼상의 농업경영데이터 활용의도라는 실증연구를 진행하여 활용 의도에 영향을 미치는 요인을 규명하고 이를 이론적으로 체계화하고자 한다. 연구모형은 농업 빅데이터 플랫폼의 조직 혁신기술 수용을 설명하기 위해 TOE Framework를 사용하여 조직특성, 환경특성 요인들이 활용 의도에 어떤 영향을 미치는지 살피고자 한다. 구체적인 조직특성요인으로 조직데이터특성, 조직투자의지, 환경특성요인으로 제도적지원, 스마트농업경쟁의 심화가 이용 의도에 어떤 유의한 영향을 미치는지 설정하였다. 또한, 기관마다 분산된 데이터를 통합하고 농업 빅데이터 플랫폼을 이용하는 사용자의 활용 의도 형성과정을 이해하기 위해 많은 연구에서 활용되고 있는 통합기술수용이론(UTAUT)과 정보시스템 성공모델을 기조로 하였다. 이를 통해 농업 빅데이터 플랫폼이라는 새로운 개념을 정보시스템에 대입(정보품질, 시스템품질)하였을 때 사용자 만족, 성과기대, 노력기대와의 관계를 검정하고 최종적으로 활용의도에 어떠한 영향을 미치는지 확인하였다. 경로계수를 비교하여 요인별로 사용자 만족에 영향을 미치는 정도를 분석한 결과 시스템품질, 정보품질 순으로 나타났다. 성과기대에 영향을 미치는 정도를 분석한 결과 조직투자의지, 시스템품질, 조직데이터특성, 정보품질 순으로 나타났다. 성과기대에는 조직투자의지가 가장 큰 영향을 미치는 것으로 나타났다. 노력기대에 영향을 미치는 정도를 분석한 결과 시스템품질, 정보품질로 나타났으며, 조직데이터특성, 조직투자의지는 영향을 미치지 못하는 것으로 나타났다. 마지막으로, 활용의도에 영향을 미치는 정도를 분석한 결과, 스마트농업경쟁의 심화, 노력기대, 성과기대, 사용자 만족 순으로 나타났으며, 스마트농업경쟁의 심화가 활용의도에 가장 큰 영향을 미치는 것으로 나타났다. 이와 함께, 농업 빅데이터 플랫폼을 통해 직·간접적인 서비스를 받을 수 있는 직업유형별로 조절효과를 분석한 결과 직접적인 데이터를 제공받아 공공기관, 농업인 등에게 분석서비스를 하는 민간기업은 정보품질에서 노력기대, 성과기대, 사용자 만족에 영향을 미치는 3가지 가설에서, 민간기업의 분석결과를 간접적으로 활용하는 공공기관 등은 시스템품질에서 사용자만족, 스마트농업경쟁의 심화에서 활용의도에 영향을 미치는 2가지 가설에서 조절효과가 있는 것으로 나타났다. 이는 빅데이터 플랫폼을 직접 활용하는 민간기업에겐 정보품질을, 간접활용하는 공공기관 및 농업인에게는 시스템품질을 강화할 필요가 있음을 시사한다. 향후 농업 빅데이터 플랫폼의 운영체계가 정착되고 서비스 조직이 갖추어진 후에는 시스템특성으로 시스템품질과 정보품질 외에 서비스품질이 활용의도에 미치는 영향에 관한 추가적인 연구가 시행되면 농업 빅데이터 플랫폼 활용에 대한 전체적인 정책 방향 설정에 도움이 될 것으로 보인다. 이 연구의 실증분석결과가 한국 농업이 빅데이터에 기반을 둔 스마트농업으로 빠르게 전환되는 계기가 마련되길 기대한다. Data utilization is becoming increasingly important in the 4th Industrial Revolution. Most of the top companies in the stock market are data-based platform companies, and the governments in each country have been taking significant efforts to establish policies through data utilization. With the passing of the Data 3 Act in January 2020, there is an increasing demand on Korea to enhance its national competitiveness by revitalizing the data economy by providing private institutions with high-quality data and aliased personal information. However, so far, Korea's agricultural data are distributed among various institutions, requiring a considerable effort to collect them. Thus, because of slow statistics, it is possible that there are delays in policy making. The types and amount of public agricultural data are continuously increasing. However, due to insufficient services, such as quality control and efficient big data analysis, farmers struggle with decision making such as evaluating what crops should be planted at the same time and determining the shipment time to the market based on their circumstances. Therefore, there is a widespread opinion that agriculture is not easy and is challenging in terms of providing sufficient income. Fortunately, the government recognizes smart agriculture as a new opportunity to solve this problem and considers agricultural big data as the most important technology to support smart agriculture. In fact, the government has been encouraging the development of an agricultural big data platform since 2020. In the meantime, there has been experimental research on identifying the type of information to be collected and provided to farmers for smart farming. However, no empirical research has been conducted to identify the factors that would enhance the utilization of agricultural data platforms and the directions in which the platforms should be improved. In response, this study aims to identify the factors affecting utilization intention by conducting an empirical study that aims to analyze the use of agricultural data platforms and organize them. The research model uses the technology-organization-environment (TOE) framework to explain the use of organizational innovation technologies in agricultural big data platforms, to analyze how organizational and environmental factors affect utilization intention. The specific organizational factors include the organizational data characteristics, organizational investment will, institutional support with environmental characteristics, and intensified competition in smart agriculture. In order to integrate data distributed among several institutions and understand the use formation process of a user`s intention when utilizing big data agricultural platforms, this study considers the unified theory of acceptance and use of technology (UTAUT) and information system success models widely used in existing studies. When the new concept of agricultural big data platforms was included in the information system (information quality, system quality), the relationship between user satisfaction, performance expectations, and effort expectations were evaluated, and their influence on utilization intention was analyzed. The influence on user satisfaction was analyzed by comparing the coefficients of seniority. The results show that system quality and information quality were followed by system quality and information quality. An analysis of the extent to which performance expectations are affected showed a willingness to invest in organizations, system quality, organization data characteristics, and information quality. In particular, organizational investment had the largest impact on performance expectations. Additionally, an analysis of the extent to which effort expectations are affected showed that system quality, information quality, and organizational data characteristics and investment had no effects. Finally, an analysis of the extent to which utilization intention is affected showed that the increasing competition in smart agriculture, effort expectations, performance expectations, and user satisfaction were the most influential. The private companies that receive direct and indirect services through agricultural big data platforms have three hypotheses that affect information quality, expectations of performance, and user satisfaction. There are policy implications for private companies that directly utilize big data platforms through a control effect analysis and for public institutions and farmers who indirectly use them. Consequently, the quality of the systems needs to be increased. In the future, once the operating systems of agricultural big data platforms and service organizations are established, further research will be conducted on the impact of service quality on utilization intention. Also, system quality and information quality will be investigated to establish policy directions. It is believed that the empirical analysis results of this study will provide an opportunity to transform Korean agriculture into smart agriculture based on big data platforms.

디지털 리터러시 기반의 빅데이터 시각화 소프트웨어의 유지보수 모델

한충구 숭실대학교 정보과학대학원 2020 국내석사

빅데이터 처리 기술은 4 차 산업혁명의 시대를 선도하는 다양한 혁신 기술들 중 하나이다. 빅데이터 처리 기술은 수집, 저장, 분석, 시각화 등 다양한 관점에서 세부 기술 집합으로 구분하여 볼 수 있다. 빅데이터 시각화 기술은 기업 내에서 의사결정지원도구로 활용가치가 높다. 수집된 데이터의 정제 및 일련의 가공을 거친 후, 비즈니스 관점에서 분석 및 데이터마이닝 처리를 거친 데이터를 다양한 챠트와 표의 형태로 시각화하여 표현한다. 공공기관이나 기업들은 조직 내 다양한 빅데이터 정보를 시각화하여 표현된 정보를 중요한 의사결정수단으로 활용하기 위하여 빅데이터 시각화 소프트웨어를 도입하고 있다. 빅데이터 시각화 소프트웨어의 주 사용계층은 기업 내 현업 사용자들로서 경영 본연활동 조직에 소속되어 있다. 이들은 IT 서비스 조직에 비교하면 IT 직무 역량이 비교적 낮은 특징이 있다. 과거에는 일련의 SI 형태의 시스템 구축 사업을 통하여 프로젝트 수행 조직 및 컴퓨터 프로그래머 언어에 숙달된 개발조직들이 분석,설계,구현,시험,이관 등의 개발 과정을 수행하여 빅데이터 분석 및 통계 보고서들을 사용자들이 이용할 수 있는 시스템을 구축했다. 그러나 최근에는 스프레드시트 등의 사무용 소프트웨어를 잘 다루는 디지털 리터러시 역량이 높은 사용자들이 등장하고 있다. 이러한 사용자 환경의 변화에 대응하여 빅데이터 시각화 소프트웨어는 사용자들이 직접 사용하면서 빅데이터 기반의 데이터 분석 및 시각적 표현을 할 수 있는 디지털 리터러시 기반 제품들이 시장에 공급되고 있다. 따라서 이제는 공공기관이나 기업 내 비즈니스 현업 조직이 디지털 리터러시 기반 환경에서 빅데이터 시각화 소프트웨어를 사용하여 빅데이터 시각화 어플리케이션들을 개발 및 운영하고 있다. 비즈니스 변화에 신속하게 대응하면서 직접 관련 빅데이터를 분석하고 시각화 구성하는 어플리케이션을 개발 또는 수정하는 행위는 소프트웨어 수명주기 및 IT 서비스 측면에서의 유지보수 프로세스 관점에서 관리 기법의 적용 필요성이 제기되고 있으나, 기존 IT 서비스 조직은 대개 IT 인프라 및 플랫폼 서비스 대상을 유지보수 범위로 한정한다, 디지털 리터러시 기반으로 산출되는 빅데이터 시각화 어플리케이션들과 업무 목적으로 작성된 문서 , 스프레드 시트 등의 사무용 파일을 같은 관점으로 보기 때문으로 볼 수 있다. 그 결과로 빅데이터 시각화 어플리케이션 또는 산출물 들은 조직 내에서 이력 정보가 공유되지 못하여 중복 개발 , 사용자 에러 등의 장애요소가 발생하는 문제점이 발생한다. 본 연구는 이러한 문제점에 대하여 디지털 리터러시 (Digital Literacy) 개념의 유지보수 모델을 제시하며, 실제 빅데이터 시각화 프로젝트에 제안 모델을 반영하고 제안 모델 적용 전과 후를 비교하여 공공, 제조, 금융 산업 군별로 각각 실제 빅데이터 시각화 시스템을 구현하는 사업영역에서 실증적 검증을 진행하였다. Big data processing technology is one of the various innovation technologies that lead the era of the fourth industrial revolution. Big data processing technology can be divided into detailed technology sets from various viewpoints such as collection, storage, analysis, and visualization. Big data visualization technology is highly useful as a decision support tool in the enterprise. After purifying and serializing the collected data, data that has been analyzed and data mining processing from a business perspective is visualized and expressed in the form of various charts and tables. Public organizations and corporations are introducing big data visualization software to visualize various big data information in the organization and use the expressed information as an important decision-making tool. The main users of big data visualization software are business users in the company, belonging to the organization of business management. They are characterized by relatively low IT job competency compared to IT service organizations. In the past, through a series of SI-type system construction projects, the project execution organization and development organizations who are proficient in computer programmer language performed development processes such as analysis, design, implementation, test, and migration, allowing users to receive big data analysis and statistical reports. We have built a system that can be used. However, recently, users with high digital literacy skills have been appearing to deal well with office software such as spreadsheets. In response to these changes in the user environment, big data visualization software is being supplied to the market with digital literacy-based products capable of analyzing and visualizing data based on big data while being directly used by users. Therefore, business organizations within public institutions or companies are now developing and operating big data visualization applications using big data visualization software in a digital literacy-based environment. Developing or modifying applications that directly analyze and visualize related big data while responding quickly to business changes has raised the need to apply management techniques in terms of maintenance processes in terms of software lifecycle and IT services. IT service organizations usually limit their IT infrastructure and platform service targets to maintenance, because they view digital data-based big data visualization applications and office files such as documents and spreadsheets created for business purposes from the same perspective. can see. As a result, big data visualization applications or artifacts do not share historical information within the organization, resulting in problems such as redundant development and user errors. This study presents a maintenance model of the concept of digital literacy for these problems, reflects the proposed model in the actual big data visualization project, and compares before and after applying the proposed model to each group of public, manufacturing, and financial industries. Empirical verification was conducted in a business area that implements a real big data visualization system.

IPA기법을 활용한 제조분야의 빅데이터 수용도 분석 : IT 분야 제조 A社 중심

주혁 성균관대학교 일반대학원 2015 국내석사

계측, 센서, 정보기술의 발달로 인하여 다양한 분야에서 다양하게 많은 데이터가 쏟아져 나오고 있다. 경영환경의 변화 속도가 빨라지고 복잡도가 높아질수록 미래를 예측하는 역량이 중요해지고 있으며 이는 경쟁자들과 차별화를 이루는 요소로 나타나고 있다. 특히 전자, 반도체,디스플레이 등 제조업의 발달과 IT기술이 발전으로 제조공정에서 생성되는 데이터의 양이 기하급수적으로 늘고 있다. 과거부터 공정관리(MES), 공급망 관리(SCM)를 통해 지속적으로 데이터를 확보하여 왔지만, 근래에 센서기술의 발달과 데이터분석의 성장, 사물인터넷과 기계의 융합으로 데이터가 급증하고 있다. 본 연구에서는 국내 전자부품 기업의 설비와 공정의 각 계층별 전문가를 대상으로 제조 분야에서 발생하는 설비와 공정의 센서, 영상데이터를 빅 데이터로 활용하기 위해 개선되어야 할 속성들에 대해 설문하였고, 이 데이터를 IPA기법을 활용하여 분석하여 직급별과 빅 데이터의 인지 유무별로 빅데이터에 대한 수용도를 분석하였다.

사회과학의 텍스트로서 빅데이터

정준석 경기대학교 정치전문대학원 2019 국내석사

제4차산업시대의 사회변화 방향은 여전히 예측하기 어려운 것이 현실이다. 재화생산 과정에서 인간의 노동력은 첨단기술들의 조합으로 대체되고, 생산성이 극대화될 것이다. 이러한 상황이 현실화될 경우 과연 인간은 무엇을 할 것이며, 사회구조와 사회적 현상들은 어떻게 변화될 것인가에 대한 연구가 절실하다. 이 연구는 제4차산업시대의 주요 개념 중 하나인 빅데이터가 사회과학적 텍스트로 활용되어야 하는 당위성과 빅데이터의 사회과학적 활용을 활성화시키기 위한 제도적 보완점을 제시하는 것을 목적으로 한다. 점진적인 사회적 변화를 관찰하고 새로운 사회의 이념과 실천이론을 제시하기 위한 과학적 수단으로 빅데이터는 매우 유용하기 때문이다. 그러나 우리나라 정부의 많은 노력에도 불구하고 여전히 기업과 정부기관의 정보독점으로 사회과학 영역에서 빅데이터에 접근하는 것은 매우 제한적이다. 공공영역에서 생성되는 빅데이터는 물론이고 기업과 포탈 등 사회 전반에서 형성되고 있는 빅데이터는 사회를 구성하고 있는 개인들의 활동을 통해 이루어진 것으로, 특정 개인이나 기업, 공공기관의 소유라고 할 수 없겠다. 따라서 이 논문은 빅데이터의 활용과 활성화를 위해, 특히 사회과학 영역에서 텍스트로서 사용할 수 있는 퍼블릭 빅데이터를 개념화 하여 이를 공공재로 규정하였다. 그리고 퍼블릭 빅데이터을 공개ㆍ공유할 수 있는 제도적 방안들을 모색하였다. 구체적으로 우선 선행연구를 통해 짧은 빅데이터의 역사 속에서 주로 ICT 분야와 산업분야에서 활용될 수 있는 방안에 대한 연구가 대다수를 차지하고 있었으나, 최근 사회과학, 인문학, 철학 등 다양한 분야에서 새로운 시대의 사회질서를 고민하고 방향을 제시하기 위한 노력이 나타나고 있는 것을 확인하였다. 특히 정치학 영역에서 구체적으로 선거와 정책과정에서 빅데이터를 활용함으로써 보다 효율적이고 구체적인 선거운동 방식과 대국민 정책수립을 시도하고 있는 사례에 대한 연구들을 찾아볼 수 있었다. 다음으로는 미국, 독일, 영국, 일본, EU 등 주요 국가들에서 제4차산업시대를 준비하면서 추진하고 있는 빅데이터 정책과 전략들을 살펴보았다. 대부분의 주요 국가들은 빅데이터의 공공재적 특성을 이해하고, 이를 공개하고 공유함으로써 새로운 사회의 풍요를 창출할 수 있는 방향으로 전략을 설정하고 있었다. 그리고 구체적인 정책으로 실천하기 위해 세밀하고 현실적인 제도들을 준비하고 있었다. 반면, 우리나라의 경우에는 빅데이터와 관련된 직접적인 법률은 없으며 개인정보보호법, 공공데이터법, 정보공개법 등에서 제한적인 접근을 보이고 있다. 일부 정부 부처에서 빅데이터를 전략적인 국가산업으로 육성하고 이를 활용할 방안들을 제시하고 있으나, 구체적인 내용을 볼 때 보다 체계적이고 효율적인 방안들이 제시되어야 할 것으로 보인다. 빅데이터 중 개인과 사회조직들의 활동을 통해 형성되는 것을 퍼블릭 빅데이터로 규정하고, 이 빅데이터가 사회과학의 텍스트로 활용되어지는 것은 필수불가결한 것이다. 이를 위해서는 우리나라의 정책적 전략과 제도적 보완이 시급하다 하겠다. It is still difficult to predict which way the social change would go in the fourth industrial age. During the process of goods production, human labor will be substituted by the combination of technological advancements and productivity maximized. There is a pressing need for studying changes in the social structure and the social phenomenon. This study aims to propose justification for big data, which is one of the main concepts of the fourth industrial age, to be utilized as social scientific text and also the systematic complementation to activate the social scientific use of big data. The reasoning behind is that big data is a greatly useful scientific measure in studying the gradual change in society and suggesting ideas and practical theories of the new society. Despite the efforts of our government, however, due to the companies and governmental institutions monopolizing information, access to big data in social scientific area is extremely limited. Not only those formed in public area, but also those in society at large such as companies and portals are products of activities by individuals constituting the society, thus cannot be treated as property of certain individual, company, or public institution. Therefore, for the purpose of utilizing and activating big data, this study conceptualized public big data, which can be used as text, especially in social scientific area, and defined it as public good. In addition, this study saught systematic means to disclose and share public big data. Specifically, precedent research showed that, in the short history of big data, most of the research was on the methods of utilizing them in ICT or industrial field, while recently there are efforts to contemplate and suggest directions for the social order of new era in diverse fields such as social science, humanities, and philosophy. Especially in political science, it was found that there are studies conducted to utilize big data in the process of election and policy making, in attempts of efficient and concrete election campaign and policy formulation. The study was then followed by examining policies and strategies for big data, in preparation for the fourth industrial age, of leading countries such as United States, Germany, United Kingdom, Japan, European Union, etc. Most of the leading countries have understood its characteristic as the public good, setting strategy in ways to generate abundance of new society through its disclosure and sharing. It was also found that they are preparing detailed and realistic system to put concrete policy into action. Meanwhile, in case of Korea, there are no direct law related to big data and exhibits limited approach in privacy law, public data law, public information act, etc. Few government departments have proposed plans to raise big data into strategic national industry and utilize them, but more systematic and efficient proposals need to be made. Defining what is formed from activities of individual and social organization among big data as public big data and it being utilized as social scientific text is indispensable. In order for that, policy strategy and systematic complementation in Korea can be said to be urgent.

빅데이터의 지식재산권 문제에 관한 연구

이이삭 성균관대학교 2015 국내석사

디지털 생활 일상화에 따른 데이터 증가, 저장 및 관리 비용의 감소와 함께 데이터 처리 기술이 발전하면서 빅데이터 시대를 맞이하였다. 이제는 수많은 데이터 속의 패턴과 현상을 분석하여 미래를 예측하는 것이 가능해졌다. 빅데이터 시대는 데이터가 곧 경쟁력이다. 전 세계가 빅데이터 시대를 선도하기 위해 국가적으로, 기업적으로 다양한 노력을 하고 있다. 우리나라가 빅데이터 시대를 선도하기 위해서는 빅데이터와 관련된 법적 문제를 살펴보고, 빅데이터 활성화를 위한 법제도적 기반을 마련하는 것이 중요하다. 그러나 지금까지 법적 논의가 포괄적이고 깊이 있게 진행되진 않았다. 논의가 어느 정도 진행되어 가이드라인이나 법 제정과 같은 결과를 가져온 것은 개인정보와 공공데이터에 대한 것뿐이다. 빅데이터는 소재가 되는 데이터와 기술이 지식재산과 관련되어 있기 때문에, 지식재산권 문제에 대한 법적 논의와 검토가 중요하다. 이에 관하여 선행 연구가 없는 것은 아니나, 개인정보나 공공데이터에 대한 논의와 비교해본다면 많이 부족한 실정이다. 이에 본 연구는 빅데이터와 관련된 지식재산권 문제를 전반적으로 살펴보며 빅데이터 활성화와 지식재산권법적 기반 마련에 기여하고자 한다. 본 연구는 빅데이터의 지식재산권 문제를 살펴보기에 앞서 빅데이터의 기존 정의와 그 문제점을 살펴보고, 빅데이터를 재정의한다. 아직까지 빅데이터를 바라보는 시각차로 인하여 통일된 정의가 없다. 빅데이터가 무엇인지 정확히 정의내리지 못했기에 그에 대한 논의도 제한적일 수밖에 없었다고 생각된다. 선행 연구를 살펴보면 빅데이터를 단순히 데이터의 크기로 파악하거나, 기술·분석적으로 바라보는 것이 대부분이었다. 하지만 빅데이터의 본질을 고려할 때, 데이터를 이용하여 의사결정에 유용한 결과를 제공하는 전체적인 과정으로 빅데이터를 정의하는 것이 바람직하다고 생각된다. 본 연구에서는 이와 같은 정의에 맞추어 빅데이터의 과정을 세분화해보고, 빅데이터 활용에서 발생하는 지식재산권 침해문제, 빅데이터를 이용한 지식재산권 보호 가능성, 빅데이터 활용에 대한 지식재산권으로서의 보호 가능성을 살펴보고자 한다. Using digital devices implies leaving a trace of something that we do daily. That is, we leave a trace of data. People generate a huge amount of data. Currently, billions of data are shared on social network services daily. Video content is up-loaded on Youtube every thirty seconds. About 4 billion messages are transmitted daily on Kakaotalk. Although such explosively increasing data turned out to be nothing but pieces of cyber-waste in the past, they have become revalued with the advancement of data processing technology and the decreasing cost of storage and maintenance. Today, data mean competitiveness in that it is now possible to foresee the future by analyzing patterns and phenomena in countless data, which are named 'big data' and draw attention as the 'crude oil in the 21st century'. Around the world, a range of national and corporate efforts are exerted to lead the age of big data. Domestically, as a preliminary action to lead the age of big data, it is important to look into relevant legal issues and to lay the legal and institutional foundation for vitalizing the use of big data. Unfortunately, however, such legal issues have not been discussed extensively and profoundly. Exceptionally, personal information and public data have been discussed to the extent that a guideline or law has been enacted. As big data and relevant technology are associated with intellectual property, legal issues concerning intellectual property rights should be discussed and reviewed. Some previous studies investigated intellectual property rights. Still, in comparison to studies on personal information or public data, intellectual property rights need to be discussed much further. In this context, the present study examines overall issues of intellectual property rights relevant to big data with intent to contribute to laying the legal foundation for intellectual property rights for big data and for vitalizing their use. This study redefines big data by reviewing the existing definition and its problems prior to discussing the intellectual property rights of big data. No agreed definition of big data exists as of now due to different perspectives on big data. Due to the absence of accurate definition of big data, previous discussions on big data could not but be limited. Most previous studies identified big data simply in terms of data size or took technological and analytical perspectives on big data. Yet, considering the essence of big data, it seems desirable to define big data as the overall process of using data and providing results useful for decision making. Based on the definition, this study subdivides the process of big data and sheds light on the issue of violating intellectual property rights, the potential for intellectual property right protection using big data and the potential for protecting big data as intellectual property rights.

빅데이터 활용 탐구 수업의 설계 효과 : 빅데이터 활용 역량과 학습만족도를 중심으로

윤한나 한국교원대학교 교육대학원 2022 국내석사

디지털 시대에 많은 양의 데이터가 축적되고 있는 가운데, 최신 정보통신 기술(ICT)과 맞물려 있는 중요한 근거자료인 빅데이터(Big Data)는 높은 활용 가치로 많은 관심을 받고 있다. 이에 따라 빅데이터를 창의적, 효과적, 효율적으로 활용할 수 있는 능력이 요구되며 빅데이터 활용 역량에 대한 교육 필요성이 대두되었다. 그러나 빅데이터 수집·분석·시각화의 유형 및 방법, 플랫폼, 프로그래밍 언어에 대한 이해를 바탕으로 계획을 수립하고 실행할 수 있는 구체적인 수업 설계 및 실행 효과 연구가 부족한 실정이다. 이에 본 연구에서는 국내 학교 교육 맥락을 반영하여 빅데이터 활용 탐구 수업을 설계하고 지구과학 교과 수업 현장에 적용하였다. 이를 통해 학습자의 빅데이터 활용 역량과 학습만족도의 변화를 확인하고자 하였다. 본 연구는 선행 연구 분석을 통해 교육적인 관점에서 빅데이터 활용 탐구 수업의 설계 시사점을 도출하였다. 이를 근거로 빅데이터 활용 탐구 수업과 시나리오 기반 빅데이터 활용 역량 검사지, 수행평가 루브릭을 설계하였다. 대전 소재 D과학고등학교 1학년 80명을 대상으로 지구과학 교과 총 9차시의 빅데이터 활용 탐구 수업을 진행하였다. 빅데이터 활용 역량을 측정하기 위해 시나리오 기반 빅데이터 활용 역량 사전·사후 검사와 학생 산출물(최종 보고서)을 수행평가 기준표로 평가하여 활용하였다. 사전·사후 검사의 결과는 대응표본 T 검정을, 최종 보고서는 기술 통계와 내용 분석을 하였다. 학습만족도를 확인하기 위해 설문 검사와 면담을 실시하였다. 학습만족도 설문 검사는 신뢰도 계수(Cronbach’s α)와 기술 통계를 분석하고 개방형 문항과 면담 내용은 내용 분석을 하였다. 본 연구의 결과는 첫째, 빅데이터 활용 역량 사전·사후 검사의 대응표본 T 검정 결과 빅데이터 활용 탐구 수업 전후에 학습자의 빅데이터 활용 역량에 통계적으로 유의한 차이가 있었다. 학생 산출물(최종 보고서) 평가 결과 학습자의 문제 인식 역량과 프로그래밍 역량에서 높은 점수가 나타났다. 둘째, 학습만족도 설문 검사 결과 학습자는 빅데이터 활용 탐구 수업에 높은 학습만족도를 보였다. 개방형 설문과 면담에서 높은 학습만족도에 대해 빅데이터 활용의 중요성을 인식한 상황에서 새로운 경험을 통해 흥미와 자신감을 얻고 융합적 사고와 협력적 활동이 가능하였기 때문이라고 답하였다. 본 연구를 통해 빅데이터 및 프로그래밍 언어 경험이 없는 경우에도 학습자의 빅데이터 활용 역량이 향상되었음을 보여주었다. 향후 여러 교과에서 학습자의 빅데이터 활용 역량 향상을 위한 빅데이터 활용 수업이 지속적으로 실천되어야 할 것이다. 또한, 빅데이터 활용을 위한 프로그래밍을 체계적으로 학습할 수 있도록 온라인 강의를 혼합하는 방식을 활용하는 등 학교 및 교과의 상황을 반영하여 빅데이터 활용 탐구 경험이 제공되어야 할 것이다.

전력 피크타임 예측을 위한 ELG 기반 빅데이터 플랫폼 구축

최은선 충북대학교 2021 국내석사

빅데이터의 경제적 가치의 중요성이 강조되고 새로운 가치 창출의 원동력으로 빅데이터 플랫폼에 대한 수요가 증가하고 있다. 산업별 특화된 빅데이터 플랫폼은 가치 창출을 위한 기본 인프라이다. 본 논문에서는 오픈 소스 패키지와 머신러닝을 사용하여 에너지 데이터 관리를 위한 빅데이터 플랫폼을 구축하고, 실제 전력 데이터 관리 및 분석을 위해 플랫폼을 적용했다. 빅데이터 플랫폼의 핵심은 머신러닝과 통합된 ELG 플랫폼이다. 수집된 데이터들은 ELG 플랫폼의 저장소에 저장되고, ELG 플랫폼에 저장된 데이터에 머신러닝을 적용했다. 머신러닝과 Prophet 패키지를 이용한 전력 소비 예측 모델과 Grafana 기반의 실시간 모니터링 모듈을 개발했다. 프로토타입 플랫폼은 서울에 있는 대학 건물의 실제 전력 데이터를 적용하여 검증하였다. As the importance of the economic value of big data is emphasized and demand for big data platforms is increasing as a driving force for new value creation. Big data platform specialized for each industry are the basic infrastructure for the value creation. In this paper, we built a big data platform for energy data management using open source packages and machine learning techniques. We then applied the platform for the real power data management and analysis. The key for the big data platform is ELG platform integrated with machine learning techniques. The data was collected and stored in the storage of ELG platform and the machine learning techniques have been applied to the data in the ELG platform. The power consumption prediction model using machine learning and prophet, and Grafana-based realtime monitoring module have been developed. The prototype platform has been applied for real power data from a university building in Seoul for the validity test.