펌 실시간 데이타베이스를 위한 선택적 동시성 제어 방법

홍동권(Hong Dong-Kweon),황인재(In-Jae Hwang) 한국정보과학회 2000 정보과학회논문지 : 데이타베이스 Vol.27 No.3

펌 실시간 트랜잭션은 마감 시간을 넘길 경우 시스템에 ldlr을 주지 못하므로 시스템 내에서 더 이상 수행될 필요가 없는 특성을 가지고 있는 트랜잭션이다. 많은 여구들이 펌 실시간 트랜잭션의 위의 특성을 이용하여 펌 실시간 데이타베이스 시스템의 성능 향상을 시도하고 있다 . 지금까지의 펌 실시간 트랜잭션 성능 향상을 위한 많은 여구들은 보류 재시작을(deferred restart) 사용하는 낙관적 동시성 제어방법의 변형을 제시하였다. 본 논문에서는 즉시 재시작(immediate restart)을 선호하는 경우와 보류 재시작을 선호하는 경우를 분석하여 2가지 방법을 선택적으로 사용하는 잠금 방식의 알고리즘인 선택적 동시성 제어 방법(ACC-Adaptive Concurrency Control)을 제안하며 제안하는 방법은 트랜잭션에 대한 어떠한 사전 지식도 필요하지 않는다. 마지막으로 시뮬레이션을 통한 성능 분석 결과 ACC는 특히 시스템 부하가 보통이상인 경우 낮은 트랜잭션 실패율로 좋은 성능을 보이는 것을 발견하였다. Firm real-time transactions are those which need not be considered any more if their deadlines are not met, as there is no value to completing the transaction after its deadline. There have been several approaches that exploit the semantics of a firm deadline well to improve the performance of firm real-time database sytems (RTDBS). Most of them are variations of Optimistic Concurrency Control (OCC) which use only deferred restart policy to resolve conflicts among transactions. In this paper, we identify some situations that prefer immediate restart policy and other situations that favor deferred restart policy. Based on the above observation, we propose a locking based concurrency control algorithm, Adaptive Concurrency Control (ACC), which use immediate restart and deferred restart policies selectively. Our approach do not assume any priori knowledge of transactions. Simulation results show that ACC performs well in terms of transaction miss rate in medium and heavy load.

격리 포리스트를 이용한 NoSQL 데이터베이스의 구조적 이상치 탐지와 스키마 추출

홍동권(Dong-Kweon Hong) 한국지능시스템학회 2022 한국지능시스템학회논문지 Vol.32 No.3

NoSQL 데이터베이스는 스키마 제약을 강하게 요구하지 않음으로써 지속적인 스키마 변경(Schema evolution)과 다양한 구조의 데이터를 쉽게 수용할 수 있는 장점이 있다. 하지만 NoSQL 데이터베이스의 응용 프로그램의 개발과 데이터 분석 과정에서 데이터베이스에 포함된 구조적 정보의 추출과 이상치(Outlier)를 탐지하는 것은 매우 중요한 과정이다. 본 논문에서는 JSON 형식으로 표현된 NoSQL 데이터베이스의 도큐먼트(Document) 구조적 정보를 그래프로 표현하는 기존의 방식들에서 벗어나 도큐먼트의 키(Key) 집합을 활용하는 방안을 활용하였다. 키 집합은 다시 일정한 크기의 벡터로 변환되고, 트리 기반의 고립탐지 기술인 격리 포리스트(Isolation forest)의 입력으로 사용되어 컬렉션의 대표 스키마 추출과 이상치 탐지(Outlier detection)를 동시에 수행하는 기법을 제안하였다. 마지막으로 모의실험을 통하여 본 논문에서 제안한 방식이 다양한 실험 환경에서 효율적으로 스키마를 추출하고 이상치를 탐지하는 것을 확인하였다. By not requiring strong schema constraints, schema-less, NoSQL database are able to do continuous schema evolution and are cable to store data with various structure easily. However it is inevitable to extract implied schema and to detect outliers during the application development and data analysis on NoSQL database. In this paper we used set of document keys rather than building graph data structure to express structure of document with JSON format. Document keys are transformed to vector format and then the isolation forest algorithm is applied to detect outliers and to extract implicit representative schema at the same time. Finally we have shown the exactness of our approach by performing with randomly generated data and various parameters.

레코드 단위의 동기화를 지원하는 개별 클라우드 구현 기법

홍동권(Dong-Kweon Hong) 한국지능시스템학회 2014 한국지능시스템학회논문지 Vol.24 No.3

클라우드 컴퓨팅 (Cloud Computing) 환경의 중요성, 편리성이 점점 커지면서 개인 정보 (프라이버시, privacy)에 대한 염려도 점점 더 커지고 있다. 클라우드 환경에서 개인 정보의 보호에 대한 연구와 노력은 계속 지속되고 있지만 개인 정보의 침해에 대한 염려는 항상 존재하고 있다. 또한 대부분의 클라우드 환경이 제공하는 파일 단위의 단순화된 동기화 기법은 파일의 부분 변경을 어렵게 한다. 특히 파일에 데이터베이스를 생성하는 SQLite와 같은 내장형 DBMS를 사용하는 데이터 중심 앱에서 단순한 파일 단위의 동기화는 많은 정보를 잃어버릴 수 있게 한다. 본 논문에서는 모바일 기기에서 데스크탑 컴퓨터를 이용하여 레코드 단위의 세밀한 동기화를 지원하는 개별 클라우드를 구축하는 기법을 제안하고, 데모 시스템을 구축하여 그 기능을 확인한다. 데모 시스템은 데스크탑 컴퓨터에 RESTFul 웹 서비스 기능을 구현한 후 모바일 기기의 스키마와 동일한 스키마를 클라우드 저장소인 데스크탑 컴퓨터에 구현하고, 낙관적 방식의 레코드 단위의 동기화를 지원하게 한다. As the usefulness of mobile device is kept growing the privacy of the cloud computing is receiving more attentions. Even though many researches and solutions for privacy matters are suggested we are still worrying about the security problems. In addition most of cloud computing systems uses file-level synchronization which make it difficult to modify a part of a file. If we use data-centric app that stores data on embedded DBMS such as SQLite, a simple synchronization may incur some loss of information. In this paper we propose a solution to build a personal cloud that supports record-level synchronization. And we show a prototype system which uses RESTful web services and the same schema on mobie devices and the cloud storage. Synchronization is achieved by using a kind of optimistic concurrency control.

SQL 호스트에서 동적 번호 부여 방식의 성능 평가

홍동권(Dong-Kweon Hong) 한국지능시스템학회 2009 한국지능시스템학회논문지 Vol.19 No.3

XML 일부분의 변경이 가능한 동적 XML 환경에서 XML의 검색과 변경 기능을 효율적으로 지원하기 위한 방법으로 XML 통적번호 부여 방식에 대한 연구가 활발히 진행되고 있다. 동적 번호 부여 방식은 ORDPATH, DLN과 같이 노드 번호를 부여할 때 인접 노드의 번호에 의존적인 방식과, PSN과 같이 인접한 노드의 변호에 독립적인 노드 번호를 사용하는 2가지의 방식이 있다. 본 논문은 앞의 2가지 동적 번호 부여 방식을 SQL 환경에서 비교하기 위한 환경을 구축하고, W3C XQuery의 변경 형식을 사용하여 그 성능을 비교한다. There has been many active researches on dynamic XML numbering scheme for efficient retrievals and updates of XML. There are two major approaches for dynamic numbering schemes. One approach is dependant on adjacent node numbers when they assign new number for newly inserted node. While the other approach is independent on adjacent node numbers. In this paper we explain the table schema and procedures for our experiments on an SQL host to compare the performance of the two approaches and shows W3C XQuery performance results of the two approaches on the SQL host.

불안정 모바일 네트워크 환경에서 공유 데이터 의미 동기화 기법

홍동권(Dong-Kweon Hong) 한국지능시스템학회 2015 한국지능시스템학회논문지 Vol.25 No.6

공유 데이터의 동기화 방법은 데이터와 응용의 특성에 따라 적절한 방법이 필요하다. 본 논문에서는 비트랜잭션 데이터(nontransactional data)에 대한 비연결 모드 동기화 기법으로 의미 동기화 기법(semantic Approach 줄여서 semanticAppr)을 제안하고, 의미 동기화 기법이 다중 사용자간의 상호 협업 과정에서 비트랜잭션 데이터의 데이터 무결성을 위한 직렬화를 완화하여 각 사용자의 작업 손실이 줄어들게 함을 보인다. 또 클라이언트에서 서버로 문서 전체를 전송하는 것이 아니라 문서에 대한 연산을 로그 생성하여 전송함으로써 데이터 전송 양을 급격히 줄인다. Synchronization methods for shared data need to be selected properly based on characteristics of data and applications. In this paper we suggest a new semantic synchronization method, semanticAppr, for non_transactional data in disconnected mode. Our approach reduces loss of works in cooperative environments by weakening constraint of serializability. In addition it reduces data transfer by sending operation log instead document itself.

XQuery FLWOR 연산의 SOL 변환 기법 분석

홍동권(Dong-Kweon Hong) 한국지능시스템학회 2008 한국지능시스템학회논문지 Vol.18 No.2

인터넷의 활용이 웹 1.0, 웹 2.0으로 점점 더 활성화 되어감에 따라 XML의 사용도 점점 더 가속화 되고 있다. XML의 사용에 있어 효과적인 검색 기능은 필수적인 요소이며 XML 질의어의 사실상 표준인 W3C XQuery의 활용도 점점 늘어가는 추세이다. XQuery는 비정형적 문서와 데이터를 다루는 XML의 특성으로 인하여 질의어로서는 매우 복잡한 구조와 다양한 기능을 기지고 있다. XQuery의 가장 대표적인 구문은 for, let, where, order by, return의 기능을 나타내는 FLWOR 구문으로 XQuery 처리 시스템에서 가장 중요한 역할을 한다. 본 논문은 XQuery FLWOR 연산을 관계형 환경에서 처리하는 방법과 FLWOR 연산의 형식에 따라 그 방법들의 기능과 정확성을 증명 확인한다. As the usefulness of internet is kept changing more productively with web 1.0, web 2.0 usage of XML is also increasing very rapidly. In XML environment the most critical function is the ability of effective retrieval of useful information from XML repository. That makes the W3C XQuery more popular. XQuery has very complicated structure as a query language due to the semi_structured nature of XML. FLOWOR, which stand for for, let. where, order by, return, is the most commonly used expression in XQuery. In this paper we suggest the methods to handle XQuery FLWOR on relational environments. We also analyze and evaluate our approach to prove its correctness.

관계형 테이블을 이용한 W3C XQuery 변경 기능의 지원

홍동권(Dong-Kweon Hong) 한국지능시스템학회 2008 한국지능시스템학회논문지 Vol.18 No.3

XML 질의어의 표준으로 인정받고 있는 XQuery의 검색 기능의 확장으로 새로운 XML의 삽입, 삭제 기능에 대한 표준화가 진행되고 있다. XML 데이터베이스가 단순한 문서 관리의 기능에서 벗어나 기존 데이터베이스의 장점인 OLTP 기능까지 지원하려는 노력을 하고 있다. 본 논문은 XQuery 검색 기능을 관계형 환경에서 지원하기 위한 선행 연구의 결과에 XQuery 변경 기능을 추가하기 위한 연구의 결과로 1) XML을 저장하기 위한 테이블 구조, 2) 계층 구조를 저장하기 위한 번호 부여 방식, 3) 효율적인 검색 기능을 지원하기 위한 경로 사용의 장.단점, 4) XQuery 변경 구문의 SQL 변환 과정을 제시한다. XQuery is a new recommendation for XML query. As an efforts for extending XQuery capabilities XML insertion and deletion are being studied and its standardization are going on. Initially XML databases are developed simply for XML document management. Now their functions are extending to OLTP. In this paper we are adding updating functions to XQuery processing system that is developed only for XQuery retrievals. We suggest the structure of tables, numbering schemes for hierarchical structures, and the methods for SQL translations for XQuery updates.

K-means 클러스터링을 활용한 NoSQL 데이터 베이스 분할 기법

홍동권(Dong-Kweon Hong) 한국지능시스템학회 2021 한국지능시스템학회논문지 Vol.31 No.5

NoSQL 데이터베이스 컬렉션 내부의 도큐먼트들끼리는 구조적 유사성이 있어야 하며 만약 유사성이 약화되는 경우 그 데이터베이스의 가치는 감소된다. 기존 관계형 모델은 스키마제약 조건을 강하게 요구하지만 NoSQL은 그렇지 않다. 본 논문에서는 NoSQL 데이터베이스의 컬렉션에서 발생하는 약화된 유사성 문제점을 해결하기 위하여 컬렉션 내부의 도큐먼트들에 대한 k-평균 군집화를 통한 분할 방법을 사용하여 유사성을 향상 시키는 방법을 제안하였다. 도큐먼트들 사이의 유사성 척도를 도큐먼트의 JSON 키를 사용한 구조 정보를 벡터화 하고, 문서의 유사성을 벡터들의 유클리드 거리(Euclidean distance)로 변환하여 비교하였다. 그 다음 벡터로 변환된 도큐먼트의 구조 정보들에 대한 군집화를 통하여 컬렉션 내부의 도큐먼트들에 대한 분할을 적용하여 분할된 문서들에 대해서 유사도를 향상시켰으며, 마지막으로 랜덤하게 생성한 샘플 데이터를 사용한 실험을 통하여 그 정확성을 확인하였다. Documents in a collection need to be structurally similar in a NoSQL database. Otherwise the value of database diminishes. In relational model records in a table strictly follow the schema constrainits but NoSQL model does not. In this papepr, we have developed a method to increase structural similarity of documents in each collection of NoSQL by using collection partition approach. We extracted JSON keys as structural information from each documents and then transformed those JSON keys to vectors, applied k-means clustering algorithm to make partiotions. Finally we showed the exactness of our approach by performming experimentation with randomly generated sample data.

주기억장치 상주형 데이타베이스를 위한 부하 적응형 연성 실시간 트랜잭션 스케쥴링 기법

홍동권(Dong-Kweon Hong),황인재(Injae Hwang) 한국정보과학회 1998 정보과학회논문지(B) Vol.25 No.9

많은 실시간 응용들은 디스크 상주형 데이터베이스로는 처리할 수 없는 아주 급박한 시간제한을 가지고 있다. 이러한 응용들을 위해서는 모든 데이타가 주기억장치에 항상 존재하는 주기억장치 상주형 데이타베이스가 그 유일한 해답을 제공할 수 있다. 이 논문에서는 마감시간과 같은 정적 정보와 시스탬의 부하정보와 같은 동적 정보를 주기억장치에서 효과적으로 이용하는 방법을 제시하고 그 방법을 이용한 2개의 실시간 트랜잭션 스케쥴링 알고리즘을 (CCA-ALF와 EDF-CR-ALF) 제시한다. 마지막으로 시뮬레이션을 통하여 새로 제시하는 알고리즘의 성능을 평가하여 정적 정보와 동적 정보를 같이 사용하는 방법의 장점을 보여준다. Many real-time applications have very tight time constraints which couldn't be met by disk resident databases. For those applications, main memory databases where entire database are stored in main memory are the proper choice. In this paper, we propose two real-time transaction scheduling algorithms -- CCA-ALF (Cost Conscious Approach with Average Load Factor) and EDF-CR-ALF (Earliest Deadline First-Conditional Restart with ALF) -- which use both static (e.g., deadline) and dynamic information (e.g., system load) for main memory databases by utilizing data access patterns of transactions. We compare the performance of those algorithms with CCA and EDF-HP which do not use system load information at all.

XSTAR: XML 질의의 SQL 변환 알고리즘

홍동권(Dong-Kweon Hong),정민경(Min-Kyoung Jung) 한국지능시스템학회 2007 한국지능시스템학회논문지 Vol.17 No.3

XML이 다양한 분야에 널리 이용되면서 대용량의 XML을 효과적으로 관리하는 여러 가지 방법들이 연구되고 있다. 특히 지금까지 상업적, 기술적으로 성공적인 데이터 모델인 관계형 데이터베이스를 기반으로 한 여러 가지 방법들이 연구되고 있다. 본 논문은 관계형 DBMS를 사용하여 XML 질의어인 XQuery를 SQL로 변환하는 알고리즘인 XSTAR(XQuery to SQL Translation Algorithms on RDBMS)를 설계 및 구현한다. 본 연구의 XSTAR 알고리즘은 기본적인 XPath 뿐만 아니라 XQuery FLWOR 표현식, XQuery함수, 그리고 전문 검색(Fulltext 검색[8])과 관련된 몇몇 특수한 기능을 효율적으로 지원할 수 있으며, 질의의 결과 값을 XML 형태로 재생성하여 사용자에게 반환한다. 본 논문에서 제안하는 XSTAR 알고리즘은 현재 웹상에서 공개적으로 시범 운용 되고 있는 XML 문서의 관리 및 질의 처리 시스템인 XPERT(XML Query Processing Engine using Relational Technologies, http://dblab.kmu.ac.kr/project.jsp")의 질의 처리 엔진으로 사용되고 있다. There have been several researches to manipulate XML Queries efficiently since XML has been accepted in many areas. Among the many of the researches majority of them adopt relational databases as underlying systems because relational model which is used the most widely for managing large data efficiently. In this paper we develop XQuery to SQL Translation Algorithms called XST AR that can efficiently handle XPath, XQuery FLWORs with nested iteration expressions, element constructors and keywords retrieval on relational database as well as constructing XML fragments from the transformed SQL results. The entire algorithms mentioned in XSTAR have been implemented as the XQuery processor engine in XML management system, XPERT, and we can test and confirm it's prototype from "http:/dblab.kmu.ac.kr/project.jsp".