Research on Data Acquisition Strategy and Its Application in Web Usage Mining

Cong-Lin Ran(염종림),Suck-Tae Joung(정석태) 한국정보전자통신기술학회 2019 한국정보전자통신기술학회논문지 Vol.12 No.3

웹 사용 마이닝 (WUM)은 웹 마이닝과 데이터 마이닝 기술의 응용 중의 하나다. 웹 마이닝 기술은 사용자가 웹 사이트에 액세스 할 때 웹 사용자가 생성 한 웹 서버 로그 데이터를 사용하여 사용자의 액세스 패턴을 식별하고 분석하는데 사용된다. 따라서 우선 데이터 마이닝 기술을 적용하여 웹 로그에서 사용자 액세스 패턴을 발견하기 전에 합리적인 방법으로 데이터를 수집해야 한다. 데이터 수집의 중요한 일은 사용자의 웹 사이트 방문 과정에서 사용자의 자세한 클릭 동작을 효율적으로 얻는 것이다. 이 논문은 주로 데이터 수집 전략 및 필드 추출 알고리즘과 같은 웹 사용 마이닝 데이터프로세스의 첫 단계 이전의 데이터 수집 단계에 중점을 둔다. 필드 추출 알고리즘은 로그 파일에서 필드를 분리하는 프로세스를 수행하며 대용량의 사용자 데이터에 대한 실제 응용에도 사용된다. Web Usage Mining (WUM) is one part of Web mining and also the application of data mining technique. Web mining technology is used to identify and analyze user’s access patterns by using web server log data generated by web users when users access web site. So first of all, it is important that the data should be acquired in a reasonable way before applying data mining techniques to discover user access patterns from web log. The main task of data acquisition is to efficiently obtain users" detailed click behavior in the process of users" visiting Web site. This paper mainly focuses on data acquisition stage before the first stage of web usage mining data process with activities like data acquisition strategy and field extraction algorithm. Field extraction algorithm performs the process of separating fields from the single line of the log files, and they are also well used in practical application for a large amount of user data.

Design of 3D Data Acquisition System on Handicrafts

Tu Gang 보안공학연구지원센터 2016 International Journal of Signal Processing, Image Vol.9 No.11

The 3D data acquisition system is a very effective means to protect handicrafts. This paper analyzed the advantage of 3D laser scanning technology and designed a 3D data acquisition system on handicrafts base on it. The hardware of this system includes 6 parts: laser range finder, computer, servo system, interface board, distance data instrument, angle data instrument. The software of this system have 4 functions: parameter setting, automatic scanning control, scanning data processing, fault diagnosis. This paper discussed the operation of the software platform and development tools, modular design of software, design of software system framework and information fusion of 3D data acquisition. This paper completed the fusion and matching of point cloud data.

Design and Implementation of Wind Load Resistance Performance Data Acquisition System of Building Curtain Wall

Zhigang Feng,Junlei Feng 보안공학연구지원센터 2016 International Journal of Hybrid Information Techno Vol.9 No.2

With the development of the curtain wall industry and expiration of the curtain wall structures which designed and built in the early life, the testing for building curtain walls will be increasingly focused on. In this paper, a Client/Server structure acquisition system of the curtain wall wind pressure resistance characteristics data, which is based on the Advantech data acquisition card PCI-1747U, has been designed and implemented for the GB/T 15227-2007 (Test method of air permeability, watertightness, wind load resistance performance for curtain walls). The hardware of the data acquisition system contain three major components: The sensor part; The signal conditioning circuits part, which consists of sensor supply circuit, I-V conversion circuit and filter circuit; data acquisition part consists of Advantech card PCI-1747U and Advantech industrial computer 610L. The software of the system contain the data acquisition Server and data processing client. They communicate through TCP/IP protocol and complete the sensor calibration, static test and dynamic test of the wind load performance data, query and output historical data and other functions. Microsoft SQL Server 2000 database was used to management the test data. After running and debugging, the system’s sample time and accuracy reached the requirement of wind load resistance performance test.

Research on Data Acquisition Strategy and Its Application in Web Usage Mining

염종림,정석태,Ran, Cong-Lin,Joung, Suck-Tae Korea Information Electronic Communication Technol 2019 한국정보전자통신기술학회논문지 Vol.12 No.3

웹 사용 마이닝 (WUM)은 웹 마이닝과 데이터 마이닝 기술의 응용 중의 하나다. 웹 마이닝 기술은 사용자가 웹 사이트에 액세스 할 때 웹 사용자가 생성 한 웹 서버 로그 데이터를 사용하여 사용자의 액세스 패턴을 식별하고 분석하는데 사용된다. 따라서 우선 데이터 마이닝 기술을 적용하여 웹 로그에서 사용자 액세스 패턴을 발견하기 전에 합리적인 방법으로 데이터를 수집해야 한다. 데이터 수집의 중요한 일은 사용자의 웹 사이트 방문 과정에서 사용자의 자세한 클릭 동작을 효율적으로 얻는 것이다. 이 논문은 주로 데이터 수집 전략 및 필드 추출 알고리즘과 같은 웹 사용 마이닝 데이터 프로세스의 첫 단계 이전의 데이터 수집 단계에 중점을 둔다. 필드 추출 알고리즘은 로그 파일에서 필드를 분리하는 프로세스를 수행하며 대용량의 사용자 데이터에 대한 실제 응용에도 사용된다. Web Usage Mining (WUM) is one part of Web mining and also the application of data mining technique. Web mining technology is used to identify and analyze user's access patterns by using web server log data generated by web users when users access web site. So first of all, it is important that the data should be acquired in a reasonable way before applying data mining techniques to discover user access patterns from web log. The main task of data acquisition is to efficiently obtain users' detailed click behavior in the process of users' visiting Web site. This paper mainly focuses on data acquisition stage before the first stage of web usage mining data process with activities like data acquisition strategy and field extraction algorithm. Field extraction algorithm performs the process of separating fields from the single line of the log files, and they are also well used in practical application for a large amount of user data.

스마트팜 생육환경 데이터 획득 및 분석

한석호,장훈석 한국정보전자통신기술학회 2023 한국정보전자통신기술학회논문지 Vol.16 No.3

Smart farms, which have been receiving attention as a solution to recent rural problems, refer to technologies that optimize the growing environment of crops and increase the productivity and quality of crops through efficient management. If the relationships between environmental data in smart farms are analyzed, additional productivity enhancement and crop management will be possible. In this paper, we propose a method for acquiring and analyzing nine environmental data, including temperature, humidity, CO2, soil temperature, soil moisture, insolation, soil EC, EC, and pH. Data acquisition is done through RS-485 communication between the main board and the sensor board and stored in the database after acquisition. The stored data is downloaded in Excel sheet format and analyzed through histograms, data charts, and correlation heatmaps. First, we analyze the distribution of total, day, and night data through histogram analysis, and identifiy the average, median, minimum, and maximum values by month through data chart analysis separating day and night to see how the data changes by month. Finally, we analyze the correlation of the data through a correlation heatmap analysis separating day and night. The results show a very strong positive correlation between temperature and soil temperature and soil EC and EC during the day, and a very strong positive correlation between temperature and soil temperature and soil EC and EC at night, and a strong negative correlation between temperature and soil EC. 최근 농촌문제를 해결하기 위해 주목받고 있는 스마트팜은 작물의 생육환경을 최적화하고 효율적인 관리를 통해 작물의 생산성과 품질을 높이는 기술을 의미한다. 이러한 스마트팜에 생육환경 데이터 간 관계를 분석한다면 추가적인 생산성 향상과 작물 관리가 가능할 것이다. 본 논문에서는 온도, 습도, CO2, 토양온도, 토양습도, 일사, 토양EC, EC, pH 9개의 생육환경 데이터를 획득하고, 이를 분석하는 방법을 제안한다. 데이터 획득은 Main board와 Sensor board 간 RS-485 통신을 통해 획득 후 데이터베이스에 저장하였다. 저장된 데이터는 엑셀 시트 형식으로 내려받아 히스토그램, 데이터 차트, 상관관계 히트맵 분석을 진행하였다. 먼저 히스토그램 분석을 통해 전체, 주간, 야간 데이터의 분포를 파악하였고, 주간과 야간을 구분하여 데이터 차트 분석을 통해 월별로 평균, 중앙값, 최소값, 최대값을 파악하여 월별 데이터 변화 추이를 확인했다. 마지막으로 주간과 야간을 구분하여 상관관계 히트맵 분석을 통해 데이터의 상관관계를 파악하였다. 결과 주간에서는 온도와 토양온도, 토양EC와 EC 간에 매우 강한 양의 상관관계를 보였으며, 야간에는 온도와 토양온도, 토양EC와 EC 간에 매우 강한 양의 상관관계, 온도와 토양EC 간에 강한 음의 관계를 확인할 수 있었다.

블루투스 동글과 아두이노를 이용한 차량 데이타 수집장치의 구현

안경문(Gyeong Moon An),김희식(Hiesik Kim) 대한전자공학회 2017 전자공학회논문지 Vol.54 No.11

국방획득 사업을 위한 빅데이터 활용 고찰

이재환,김태민,김일환,최기일 한국방위산업학회 2017 韓國防衛産業學會誌 Vol.24 No.3

Big Data is one of today’s keywords, most sought-after and driving changes in all areas, whether industry, science, or the arts, both public and private. Recently, in the field of defense, the data growth trend will accelerate along with the rapid development of network information and communication technology. Although there are a lot of considerations to be taken in order to apply big data in the defense acquisition business, there is a mistaken perception that big data can be analyzed at any time if there is a lot of data. In this study, we have explored the possibility of using Big Data in defense acquisition business based on accurate understanding of Big Data. In order to maximize actual performance, we summarized 6 things about what should be prepared in terms of organization and process. 빅데이터는 산업, 과학, 예술 등 공공과 민간부문을 불문한 모든 영역에 변화를 몰고 오고 있는 가장 주목받는 키워드 중 하나일 것이다. 최근 국방분야에서도 네트워크 정보통신 기술의 급격한 발전과 더불어 향후에도 데이터 증가추세는 더욱 가속화될 전망이다.국방획득 사업에서 빅데이터를 적용하기 위해서는 사전 선행되어야 할 고려요소들이 많음에도 불구하고, 단순히 데이터가 많이 축적되면 언제든지 빅데이터 분석이 가능하여 기존 인력이 하지 못했던 획기적인 성과 달성이 이루어질 것이라는 잘못된 인식이 있다.본 연구에서는 빅데이터에 대한 정확한 이해를 바탕으로 국방획득 사업에서 빅데이터의 활용 가능성을 탐색해 보았으며, 실질적인 성과를 극대화하기 위해 조직 및 프로세스 차원에서 무엇을 준비해야 하는지에 대해 6가지 사항으로 정리해보았다

온라인 플랫폼 기업결합의 경쟁제한성 판단 기준으로서 빅데이터에 대한 연구

박창규 한국경영법률학회 2024 經營法律 Vol.34 No.3

최근 미국, EU, 우리나라에서는 온라인 플랫폼 기업결합에 대한 규제가 강화되고 있다. 미국은 기업결합가이드라인을 개정하면서 시장구조적 추정 조항을 신설하는 등 과거와 결이 다른 집행을 예고하고 있다. EU는 DMA 제14조와 EUMR 제22조의 새로운 해석을 통해 온라인 플랫폼 기업결합을 강하게 규제하려고 한다. 우리나라도 거래금액을 기초로 한 사전신고제도, 정보자산 개념의 도입, 디지털 경제의 특성을 반영한 기업결합 심사기준의 개정 등을 통해 온라인 플랫폼에 대해 다양하고 구체적인 심사 기준을 제시하려고 한다. 이러한 규제는 킬러인수, 혼합결합, 빅데이터 수반 기업결합에 대한 규제를 포함하는데, 특히 빅데이터는 온라인 플랫폼의 핵심 자산으로서 기업결합의 경쟁제한성 판단기준으로서 새롭게 고려되어야 할 필요성이 있다. 기업결합의 경쟁제한성 판단기준으로서 빅데이터를 검토할 경우 (i) 기업결합 후 데이터 집적, (ii) 데이터의 오용, (iii) 데이터의 고착 효과, (iv) 데이터로 인한 진입장벽의 강화 등이 검토 요소로서 고려되어야 한다. 첫째, 데이터 집적은 (a) 결합회사의 데이터 수집 능력, (b) 데이터의 양, 가치, 다양성, 속도와 같은 데이터의 특징과 유형, (c) 유사한 데이터에 대한 경쟁사업자의 접근 가능성, (d) 데이터 집적에 대한 경쟁사업자의 대응 전략 등이 고려되어야 한다. 둘째, 데이터의 오용은 (a) 데이터 사용권의 취득과 (b) 데이터의 결합 가능성 등이 고려되어야 한다. 셋째, 데이터의 고착 효과는 (a) 양면시장성, (b) 간접네트워크, (c) 피드백루프 현상, (d) 멀티호밍 가능성 등이 고려되어야 한다. 넷째, 데이터로 인한 진입장벽의 강화는 (a) 기업결합 후의 데이터 수집능력의 규모, (b) 기업결합 전의 자체 보유한 데이터의 수준, (c) 기업결합 전후 데이터 수집능력과 데이터 가치의 변화 등이 고려되어야 한다. 빅데이터에 대한 활발한 논의에도 불구하고 현재까지 빅데이터 자체가 기업결합의 승인을 결정하는 요소로 작용한 적은 거의 없다고 할 수 있다. 빅데이터는 기업결합의 경쟁제한성 판단에 있어서 고려되어야 하는 필수적인 요소지만, 아직까지는 기업결합의 경쟁제한성 판단의 결정적 요소로 보기는 어렵다. 하지만 온라인 플랫폼이 발전할수록 빅데이터의 중요성은 커질 것이며, 따라서 향후에는 온라인 플랫폼 기업결합의 경쟁제한성 판단 기준으로서 빅데이터의 의미는 더욱 더 중요하게 될 것이다. Recently, the regulations on online platform mergers have been tightened in the US, EU, and Korea. The U.S. Agencies have revised the merger guidelines and added a new structural presumption, which signals a change in enforcement from the past. The European Commission intends to regulate online platform mergers through Article 14 of the DMA and a new interpretation of Article 22 of the EUMR. Korea is also trying to provide various and specific screening standard for online platforms through a premerger notification program based on the transaction amount, the introduction of the concept of big data, and efforts to revise the merger guideline to reflect the characteristics of the digital economy. These regulations include the regulation of killer acquisitions, conglomerate merger, and big data-driven mergers, and big data is a core asset of online platforms and needs to be considered as a new standard to establish anticompetitive effects of merger. When reviewing big data as a standard to establish anticompetitive effects of merger, the following factors should be considered: (i) accumulation of data after the merger, (ii) data-misuse, (iii) lock-in effect by data and (iv) increasing barriers to entry by data. First, accumulation of data should consider (a) the merged firm’s ability to collect data; (b) the nature and type of data, such as the volume, value, variety, and velocity of the data; (c) competitors' access to similar data; and (d) competitors' strategies to respond to accumulation of data. Second, data-misuse should consider (a) the acquisition of the right to use data and (b) the possibility of combining data. Third, the lock-in effect by data should consider (a) two-sided market, (b) indirect network effect, (c) feedback loops, and (d) multi-homing. Fourth, the increasing barriers to entry by data should consider (a) the size of the ability to collect data after the merger, (b) the level of the merging firm’s own data before the merger, and (c) the change in the ability to collect data and data value before and after the merger. Despite the open debate on big data, big data itself has rarely been a decisive factor in the approval of mergers to date. Big data is an essential factor to be considered in but it is not yet a decisive factor in establishing anticompetitive effects of merger, However, as online platforms develop, the importance of big data will increase, and therefore, the significance of big data as a standard to establish anticompetitive effects of online platform merger will become even more important in the future.

A study of user data integrity during acquisition of Android devices

Son, N.,Lee, Y.,Kim, D.,James, J.I.,Lee, S.,Lee, K. Elsevier 2013 Digital investigation Vol.10 No.suppl

At the time of this writing, Android devices are widely used, and many studies considering methods of forensic acquisition of data from Android devices have been conducted. Similarly, a diverse collection of smartphone forensic tools has also been introduced. However, studies conducted thus far do not normally guarantee data integrity required for digital forensic investigations. Therefore, this work uses a previously proposed method of Android device acquisition utilizing 'Recovery Mode'. This work evaluates Android Recovery Mode variables that potentially compromise data integrity at the time of data acquisition. Based on the conducted analysis, an Android data acquisition tool that ensures the integrity of acquired data is developed, which is demonstrated in a case study to test tool's ability to preserve data integrity.

터빈 축의 오정렬 진단을 위한 스마트 메모리형의 데이터 획득 시스템 개발

임재성(Jae Sung Im),김성민(Seung Min Kim),김성봉(Seong Bong Kim),김상봉(Sang Bong Kim) 한국동력기계공학회 2004 한국동력기계공학회 학술대회 논문집 Vol.- No.-

This paper presents the development results of a smart memory module for data acquisition system to examine the characteristics of shaft misalignment. The smart memory module is a standalone type with high capacity, and it can communicate with computer via RS-232 interface in off-line after data acquisition. In the process of shaft misalignment maintenance, the misalignment data achieved by strain gauges on the turbine rotor are synchronized with the angle data gathered by 4 angular sensors boarded on the smart memory system. The real time data is acquisitioned in the manner of self operation during testing; then the data saved in smart memory is translated into a computer for data processing and analysis via RS-232C. For the better precision, the system uses two types of filters: a low pass filter on interface circuit and a transfer average filter in software. Also the effectiveness of data acquisition operation using the developed smart memory module is proved through the experimental results using mock-up system.