Research on Data Acquisition Strategy and Its Application in Web Usage Mining

Cong-Lin Ran(염종림),Suck-Tae Joung(정석태) 한국정보전자통신기술학회 2019 한국정보전자통신기술학회논문지 Vol.12 No.3

웹 사용 마이닝 (WUM)은 웹 마이닝과 데이터 마이닝 기술의 응용 중의 하나다. 웹 마이닝 기술은 사용자가 웹 사이트에 액세스 할 때 웹 사용자가 생성 한 웹 서버 로그 데이터를 사용하여 사용자의 액세스 패턴을 식별하고 분석하는데 사용된다. 따라서 우선 데이터 마이닝 기술을 적용하여 웹 로그에서 사용자 액세스 패턴을 발견하기 전에 합리적인 방법으로 데이터를 수집해야 한다. 데이터 수집의 중요한 일은 사용자의 웹 사이트 방문 과정에서 사용자의 자세한 클릭 동작을 효율적으로 얻는 것이다. 이 논문은 주로 데이터 수집 전략 및 필드 추출 알고리즘과 같은 웹 사용 마이닝 데이터프로세스의 첫 단계 이전의 데이터 수집 단계에 중점을 둔다. 필드 추출 알고리즘은 로그 파일에서 필드를 분리하는 프로세스를 수행하며 대용량의 사용자 데이터에 대한 실제 응용에도 사용된다. Web Usage Mining (WUM) is one part of Web mining and also the application of data mining technique. Web mining technology is used to identify and analyze user’s access patterns by using web server log data generated by web users when users access web site. So first of all, it is important that the data should be acquired in a reasonable way before applying data mining techniques to discover user access patterns from web log. The main task of data acquisition is to efficiently obtain users" detailed click behavior in the process of users" visiting Web site. This paper mainly focuses on data acquisition stage before the first stage of web usage mining data process with activities like data acquisition strategy and field extraction algorithm. Field extraction algorithm performs the process of separating fields from the single line of the log files, and they are also well used in practical application for a large amount of user data.

Design of 3D Data Acquisition System on Handicrafts

Tu Gang 보안공학연구지원센터 2016 International Journal of Signal Processing, Image Vol.9 No.11

The 3D data acquisition system is a very effective means to protect handicrafts. This paper analyzed the advantage of 3D laser scanning technology and designed a 3D data acquisition system on handicrafts base on it. The hardware of this system includes 6 parts: laser range finder, computer, servo system, interface board, distance data instrument, angle data instrument. The software of this system have 4 functions: parameter setting, automatic scanning control, scanning data processing, fault diagnosis. This paper discussed the operation of the software platform and development tools, modular design of software, design of software system framework and information fusion of 3D data acquisition. This paper completed the fusion and matching of point cloud data.

Design and Implementation of Wind Load Resistance Performance Data Acquisition System of Building Curtain Wall

Zhigang Feng,Junlei Feng 보안공학연구지원센터 2016 International Journal of Hybrid Information Techno Vol.9 No.2

With the development of the curtain wall industry and expiration of the curtain wall structures which designed and built in the early life, the testing for building curtain walls will be increasingly focused on. In this paper, a Client/Server structure acquisition system of the curtain wall wind pressure resistance characteristics data, which is based on the Advantech data acquisition card PCI-1747U, has been designed and implemented for the GB/T 15227-2007 (Test method of air permeability, watertightness, wind load resistance performance for curtain walls). The hardware of the data acquisition system contain three major components: The sensor part; The signal conditioning circuits part, which consists of sensor supply circuit, I-V conversion circuit and filter circuit; data acquisition part consists of Advantech card PCI-1747U and Advantech industrial computer 610L. The software of the system contain the data acquisition Server and data processing client. They communicate through TCP/IP protocol and complete the sensor calibration, static test and dynamic test of the wind load performance data, query and output historical data and other functions. Microsoft SQL Server 2000 database was used to management the test data. After running and debugging, the system’s sample time and accuracy reached the requirement of wind load resistance performance test.

스마트팜 생육환경 데이터 획득 및 분석

한석호,장훈석 한국정보전자통신기술학회 2023 한국정보전자통신기술학회논문지 Vol.16 No.3

Smart farms, which have been receiving attention as a solution to recent rural problems, refer to technologies that optimize the growing environment of crops and increase the productivity and quality of crops through efficient management. If the relationships between environmental data in smart farms are analyzed, additional productivity enhancement and crop management will be possible. In this paper, we propose a method for acquiring and analyzing nine environmental data, including temperature, humidity, CO2, soil temperature, soil moisture, insolation, soil EC, EC, and pH. Data acquisition is done through RS-485 communication between the main board and the sensor board and stored in the database after acquisition. The stored data is downloaded in Excel sheet format and analyzed through histograms, data charts, and correlation heatmaps. First, we analyze the distribution of total, day, and night data through histogram analysis, and identifiy the average, median, minimum, and maximum values by month through data chart analysis separating day and night to see how the data changes by month. Finally, we analyze the correlation of the data through a correlation heatmap analysis separating day and night. The results show a very strong positive correlation between temperature and soil temperature and soil EC and EC during the day, and a very strong positive correlation between temperature and soil temperature and soil EC and EC at night, and a strong negative correlation between temperature and soil EC. 최근 농촌문제를 해결하기 위해 주목받고 있는 스마트팜은 작물의 생육환경을 최적화하고 효율적인 관리를 통해 작물의 생산성과 품질을 높이는 기술을 의미한다. 이러한 스마트팜에 생육환경 데이터 간 관계를 분석한다면 추가적인 생산성 향상과 작물 관리가 가능할 것이다. 본 논문에서는 온도, 습도, CO2, 토양온도, 토양습도, 일사, 토양EC, EC, pH 9개의 생육환경 데이터를 획득하고, 이를 분석하는 방법을 제안한다. 데이터 획득은 Main board와 Sensor board 간 RS-485 통신을 통해 획득 후 데이터베이스에 저장하였다. 저장된 데이터는 엑셀 시트 형식으로 내려받아 히스토그램, 데이터 차트, 상관관계 히트맵 분석을 진행하였다. 먼저 히스토그램 분석을 통해 전체, 주간, 야간 데이터의 분포를 파악하였고, 주간과 야간을 구분하여 데이터 차트 분석을 통해 월별로 평균, 중앙값, 최소값, 최대값을 파악하여 월별 데이터 변화 추이를 확인했다. 마지막으로 주간과 야간을 구분하여 상관관계 히트맵 분석을 통해 데이터의 상관관계를 파악하였다. 결과 주간에서는 온도와 토양온도, 토양EC와 EC 간에 매우 강한 양의 상관관계를 보였으며, 야간에는 온도와 토양온도, 토양EC와 EC 간에 매우 강한 양의 상관관계, 온도와 토양EC 간에 강한 음의 관계를 확인할 수 있었다.

Research on Data Acquisition Strategy and Its Application in Web Usage Mining

염종림,정석태,Ran, Cong-Lin,Joung, Suck-Tae Korea Information Electronic Communication Technol 2019 한국정보전자통신기술학회논문지 Vol.12 No.3

웹 사용 마이닝 (WUM)은 웹 마이닝과 데이터 마이닝 기술의 응용 중의 하나다. 웹 마이닝 기술은 사용자가 웹 사이트에 액세스 할 때 웹 사용자가 생성 한 웹 서버 로그 데이터를 사용하여 사용자의 액세스 패턴을 식별하고 분석하는데 사용된다. 따라서 우선 데이터 마이닝 기술을 적용하여 웹 로그에서 사용자 액세스 패턴을 발견하기 전에 합리적인 방법으로 데이터를 수집해야 한다. 데이터 수집의 중요한 일은 사용자의 웹 사이트 방문 과정에서 사용자의 자세한 클릭 동작을 효율적으로 얻는 것이다. 이 논문은 주로 데이터 수집 전략 및 필드 추출 알고리즘과 같은 웹 사용 마이닝 데이터 프로세스의 첫 단계 이전의 데이터 수집 단계에 중점을 둔다. 필드 추출 알고리즘은 로그 파일에서 필드를 분리하는 프로세스를 수행하며 대용량의 사용자 데이터에 대한 실제 응용에도 사용된다. Web Usage Mining (WUM) is one part of Web mining and also the application of data mining technique. Web mining technology is used to identify and analyze user's access patterns by using web server log data generated by web users when users access web site. So first of all, it is important that the data should be acquired in a reasonable way before applying data mining techniques to discover user access patterns from web log. The main task of data acquisition is to efficiently obtain users' detailed click behavior in the process of users' visiting Web site. This paper mainly focuses on data acquisition stage before the first stage of web usage mining data process with activities like data acquisition strategy and field extraction algorithm. Field extraction algorithm performs the process of separating fields from the single line of the log files, and they are also well used in practical application for a large amount of user data.

국방획득 사업을 위한 빅데이터 활용 고찰

이재환,김태민,김일환,최기일 한국방위산업학회 2017 韓國防衛産業學會誌 Vol.24 No.3

Big Data is one of today’s keywords, most sought-after and driving changes in all areas, whether industry, science, or the arts, both public and private. Recently, in the field of defense, the data growth trend will accelerate along with the rapid development of network information and communication technology. Although there are a lot of considerations to be taken in order to apply big data in the defense acquisition business, there is a mistaken perception that big data can be analyzed at any time if there is a lot of data. In this study, we have explored the possibility of using Big Data in defense acquisition business based on accurate understanding of Big Data. In order to maximize actual performance, we summarized 6 things about what should be prepared in terms of organization and process. 빅데이터는 산업, 과학, 예술 등 공공과 민간부문을 불문한 모든 영역에 변화를 몰고 오고 있는 가장 주목받는 키워드 중 하나일 것이다. 최근 국방분야에서도 네트워크 정보통신 기술의 급격한 발전과 더불어 향후에도 데이터 증가추세는 더욱 가속화될 전망이다.국방획득 사업에서 빅데이터를 적용하기 위해서는 사전 선행되어야 할 고려요소들이 많음에도 불구하고, 단순히 데이터가 많이 축적되면 언제든지 빅데이터 분석이 가능하여 기존 인력이 하지 못했던 획기적인 성과 달성이 이루어질 것이라는 잘못된 인식이 있다.본 연구에서는 빅데이터에 대한 정확한 이해를 바탕으로 국방획득 사업에서 빅데이터의 활용 가능성을 탐색해 보았으며, 실질적인 성과를 극대화하기 위해 조직 및 프로세스 차원에서 무엇을 준비해야 하는지에 대해 6가지 사항으로 정리해보았다

블루투스 동글과 아두이노를 이용한 차량 데이타 수집장치의 구현

안경문(Gyeong Moon An),김희식(Hiesik Kim) 대한전자공학회 2017 전자공학회논문지 Vol.54 No.11

OBD-II에 연결하는 차량 데이타 수집 장치는 주행 중에 차량 내부 센서의 동작 데이타를 기록할 수 있는 장치이다. 블루투스 동글과 교육용 마이크로 컨트롤러인 아두이노를 이용하여 저렴한 비용으로 쉽게 구현할 수 있는 차량 데이터 수집 장치를 제안 한다. OBD-II에서 수집한 데이타를 분석하여 차량의 고장 및 성능, 연비 등의 분석이 가능하다. 그러나 주행 시 차량의 엔진 점화계통의 노이즈와 ISM 주파수 대역을 사용하는 주변기기의 무선통신 간섭 환경 하에서 수집한 데이타의 일부는 간헐적인 끊김과 에러를 포함하고 있다. 에러가 없는 데이타만을 획득하는 것이 필요하다. 본 논문에서는 수집한 데이타에서 제안하는 에러 필터링 알고리즘을 적용하여 수집한 데이터의 에러범위를 설정하고 이 범위를 초과하는 데이타는 1차로 필터링하고 데이타의 기울기를 조사하여 기울기가 급변하는 데이타는 2차로 필터링 한다. 기울기가 급변하는 데이타는 대부분이 에러 데이타이다. 실제 필요한 데이터를 획득하는 것을 확인하였다. 운행 차량의 수집된 데이타를 분석하여 센서의 정상동작 여부 검사, 차량의 성능 검증, 연비 검증 등 산업용 및 군용차량에도 적용 가능 할 것이다. The vehicle Data Acquisition System that connects to the OBD-II is a device that can record diagnostic and driving information of the vehicle. The Bluetooth dongle and the educational micro controller, Arduino, make it possible to implement a vehicle data acquisition system that can be easily implemented at low cost. Analyzing the data received from OBD-II, it is possible to analyze the failure and performance of the vehicle, fuel efficiency, etc. However, some of the data collected in the environment of the vehicle"s engine ignition system and the wireless communication interference of peripheral devices using the ISM frequency band during driving include intermittent breaks and errors. It is necessary to acquire only data without error. In this paper, I apply the error filtering algorithm proposed in the received data. In this method, the error range of received data is set, and the data exceeding this range is firstly filtered, and the slope of the received data is examined to filter the data whose gradient changes rapidly. Most of the data whose slope changes suddenly is error data. And confirmed that it actually acquires necessary data. It can be applied to industrial and military vehicles such as inspection of normal operation of sensor, verification of performance of vehicle, fuel efficiency verification, etc. by storing and analyzing collected data of vehicles in operation.

A study of user data integrity during acquisition of Android devices

Son, N.,Lee, Y.,Kim, D.,James, J.I.,Lee, S.,Lee, K. Elsevier 2013 Digital investigation Vol.10 No.suppl

At the time of this writing, Android devices are widely used, and many studies considering methods of forensic acquisition of data from Android devices have been conducted. Similarly, a diverse collection of smartphone forensic tools has also been introduced. However, studies conducted thus far do not normally guarantee data integrity required for digital forensic investigations. Therefore, this work uses a previously proposed method of Android device acquisition utilizing 'Recovery Mode'. This work evaluates Android Recovery Mode variables that potentially compromise data integrity at the time of data acquisition. Based on the conducted analysis, an Android data acquisition tool that ensures the integrity of acquired data is developed, which is demonstrated in a case study to test tool's ability to preserve data integrity.

플랫폼기업결합 규제론에 대한 고찰 - 데이터독점론과 킬러인수론을 중심으로 -

주진열 한국경쟁법학회 2022 競爭法硏究 Vol.46 No.-

This article addressed some problems of the Korean Fair Trade Commission (KFTC)’s regulatory policy on platform M&A based on the dubious terms ‘data monopoly’ as well as ‘killer acquisition.’ First of all, the term ‘data monopoly’ is oxymoron because it is not possible to monopolize data in its ordinary meaning. Strictly speaking, there cannot exist data monopoly. On the other hand, it should be noted that the political slogan of ‘data monopoly’ is coined by the New Brandeis movement arguing that the so-called GAFA(Google, Apple, Facebook, and Amazon) ruins not only the U.S. economy but also American democracy. The New Brandeis movement also uses the false premise of ‘killer acquisition’ as an argument for the prohibition of GAFA’s acquisition of start-ups. Regardless of the New Brandeis movement in the U.S., the KFTC should not overuse the dubious terms ‘data monopoly’ and ‘nascent/killer acquisition’ as if data can actually be monopolized and there actually exist the so-called ‘nascent acquisition’ by the Korean platforms such as Naver and Kakao.

터빈 축의 오정렬 진단을 위한 스마트 메모리형의 데이터 획득 시스템 개발

임재성(Jae Sung Im),김성민(Seung Min Kim),김성봉(Seong Bong Kim),김상봉(Sang Bong Kim) 한국동력기계공학회 2004 한국동력기계공학회 학술대회 논문집 Vol.- No.-

This paper presents the development results of a smart memory module for data acquisition system to examine the characteristics of shaft misalignment. The smart memory module is a standalone type with high capacity, and it can communicate with computer via RS-232 interface in off-line after data acquisition. In the process of shaft misalignment maintenance, the misalignment data achieved by strain gauges on the turbine rotor are synchronized with the angle data gathered by 4 angular sensors boarded on the smart memory system. The real time data is acquisitioned in the manner of self operation during testing; then the data saved in smart memory is translated into a computer for data processing and analysis via RS-232C. For the better precision, the system uses two types of filters: a low pass filter on interface circuit and a transfer average filter in software. Also the effectiveness of data acquisition operation using the developed smart memory module is proved through the experimental results using mock-up system.