상황인지 모바일 어플리케이션 개발을 위한 프로세스 : A Process to Develop Context-Aware Mobile Applications

이정우 숭실대학교 대학원 2011 국내석사

With rapid growth of mobile software market, mobile computing is getting important in recent years. Specially, traditional computing devices only use values entered by users but mobile computing devices can use users’ context additionally. The key characteristic of mobile devices distinguished from traditional computing devices is recognition of context in surroundings of users. It helps context-aware mobile applications such as LBS (Location Based Service) or Augmented Reality become hot trends in mobile computing. Although context-aware mobile applications provide users with a benefit that their functions are customized under users’ surroundings, it is hard to handle context information systematically because of its constant change. In order to realize the benefit and control constantly varying context information, there should be systematic and effective processes and methods to develop the context-aware mobile applications. Therefore, this master thesis proposes a process for developing context-aware mobile applications to provide a novel solution for the addressed issue. Before proposing the process, this master thesis classifies context as personal context and environmental context to cope with it effectively. Personal context that refers to internal factors of users and devices includes device context and user preference. On the other hand, environmental context refers to external conditions. The environmental context encompasses situational context and service context. For organizing the development process, three activities are added to general OOAD (Object Oriented Analysis Design) process. The three activities are focus on dealing with context information more systematically. The activities represent context information as XML. According to the proposed development process, this master thesis implements a prototype application based on Android platform to show the feasibility of the process. The proposed process enables context-aware mobile applications to be developed more systematically and effectively. 최근 모바일 소프트웨어 시장의 빠른 성장으로 모바일 컴퓨팅의 중요성이 높아지고 있다. 특히 기존 컴퓨팅 장비는 사용자가 직접 입력하는 값만을 컴퓨팅에 이용하는데 그치지만 모바일 컴퓨팅 장비는 사용자의 주변 상황을 인지할 수 있다는 특징을 가지고 있다. 이러한 모바일 디바이스의 특징이 반영된 위치기반이나 증강현실 서비스 등의 모바일 어플리케이션의 개발은 모바일 컴퓨팅 분야에서도 특히 주목을 받고 있다. 비록 상황인지 모바일 어플리케이션이 사용자의 상황에 따른 최적화된 기능을 제공한다는 장점이 있지만 상황에 따라 끊임없이 변하는 상황 정보를 체계적으로 사용하기 어렵다는 단점도 가진다. 상황인지 모바일 어플리케이션의 장점을 유지하면서 끊임없이 변하는 상황 정보를 효과적으로 다루기 위해서는 상황인지 모바일 어플리케이션의 개발에 체계적으로 상황 정보를 다루는 개발 프로세스가 적용되어야 한다. 본 연구는 상황인지 모바일 어플리케이션 개발을 위해 상황 정보를 체계적이고 효과적으로 다루기 위한 개발 프로세스를 제안한다. 이에 앞서 상황 정보에 대한 분류를 수행한다. 상황 정보의 분류는 개발 프로세스에서 이용되는 상황 정보를 더욱 체계적이고 효과적으로 다룰 수 있도록 도와준다. 상황 정보는 크게 개인 상황과 환경 상황으로 분류된다. 개인 상황은 사용자와 디바이스의 내부 요인들과 관련된 것으로 디바이스 상황과 사용자 선호로 구성된다. 환경 상황은 외부 요인들에 영향을 받는 상황 정보를 의미하며 주변 상황과 서비스 상황을 포함한다. 본 연구에서 제안하는 상황인지 모바일 어플리케이션의 개발 프로세스는 일반적인 객체지향 개발 프로세스에 상황인지를 다루기 위한 상황 모델링, 상황 처리 설계, 상황인지 모듈 구현의 세가지 활동을 추가한다. 이 활동들에서 사용되는 상황 정보는 XML로 표현된다. 그리고 제안한 상황인지 모바일 어플리케이션의 유용성을 보이기 위해서 본 연구는 제안한 개발 프로세스를 적용한 안드로이드 플랫폼 기반의 프로토타입 어플리케이션을 구현하는 사례연구를 수행한다. 제안한 개발 프로세스는 상황 정보를 사용하는 다양한 모바일 어플리케이션에 적용되어 보다 체계적이고 효과적인 개발을 유도할 수 있다.

상황인지 기반 지능형 객체 분류 로봇 시스템

김명식 충북대학교 2016 국내박사

이 연구에서는 물류분야에서 극한의 노동력을 이용하여 수작업으로 이루어지는 물류객체의 분류 적재작업을 로봇으로 대체하기 위한 자동화 시스템 연구를 진행하였다. 산업현장이나 제조업체에서 사용하고 있는 로봇 매니퓰레이터는 미리 입력되어 정해진 공간 좌표만을 가지고 있어 단순하고 반복적인 작업 환경에만 사용된다. 그러나 물류에서 사용되는 객체는 크기나 무게가 다양하고 객체를 Pick-up하고 적절한 공간에 Drop을 하기 위해서는 대상 객체의 상황을 인지하고 추론하여 상황에 따라 적절하고 능동적이고 지능적인 제어가 필요하다. 이 연구에서는 상황인지 모델과 지능형 기계학습 분류모델을 이용하여 물류분야에서 사용되는 객체의 상황정보를 수집하고 추론하여 다양한 객체를 오류 없이 효과적으로 분류 적재를 하기 위한 시스템을 제안하였다. 제안된 시스템의 연구내용의 요약은 형상정보를 이용한 상황인지 기반 지능형 객체 분류 로봇 시스템 그리고 이 시스템을 농산물류에 적용한 농산물류 자동화 로봇 시스템으로 나누어진다. 첫째는 상황인지 기반 지능형 객체 분류 로봇 시스템의 연구이다. 물류에서 사용되는 객체는 크기나 무게가 다양하여 사전에 입력된 공간좌표만을 가지고는 로봇 매니퓰레이터의 제어가 불가능하므로 상황인지 모델을 이용하여 추론을 통한 능동적이고 지능적인 제어가 가능해야 한다. 상황인지를 위해서는 컨베이어 벨트 위를 고속으로 이동하는 객체의 형상정보를 수집해야한다. 이때 객체의 형상을 측정하는 LMS에서 수집된 부정확한 데이터로 인해 객체의 분류 성공률이 낮아지는 문제가 발생한다. 이로 인해 객체 분류 적재 시 객체의 파손과 로봇의 오작동이 발생한다. 이것은 상황인지 모델이 부정확한 상황정보에 대한 대처능력이 떨어지기 때문이다. 이러한 문제점과 상황인지 모델의 한계점을 해결하기 위한 방안으로 기계학습에 많이 사용하는 지능형 분류모델을 이용한 형상정보 이용 객체 분류기와 전체 시스템인 상황인지 기반 지능형 객체 분류 로봇 시스템을 연구 개발하였다. 그리고 두 번째는 농산물류 자동화 로봇 시스템이다. 국내에서 운영되고 있는 농산 물류의 거점인 APC에서 농산물 박스객체의 분류 적재 작업은 농촌에 거주하고 있는 사람들을 시간제 고용으로 해결 하였으나 최근 농촌 고령화가 심각하게 진행되면서 노동력 확보에 어려움이 따르며 시설 자동화나 로봇이용 등 대책이 강구되고 있는 실정이며, 이와 같은 문제를 해결하기 위해서 APC를 대상으로, 상황인지 기반 지능형 객체 분류 로봇 시스템을 이용하여 정형객체 분류 적재를 위한 농산물류 자동화 로봇 시스템을 구현하였다. 연구결과는 상황정보의 불확실성으로 인한 객체 분류 오류 문제에 대하여 ANN, SVM, BN의 3개의 분류모델을 이용하여 학습과 검증을 통해 성능이 가장 좋은 ANN 분류모델을 적용한 형상정보 이용 객체 분류기를 개발하였다. 개발된 객체 분류기는 98% 분류 성공률을 보여 상황인지 모델의 Classification Rule에서 사용하는 알고리즘보다 76%의 성능이 개선됨을 확인하였으며 객체 분류 실패로 인한 택배물건의 파손, 로봇의 오작동 문제를 해결하였다. 또한, APC에서는 정형 박스객체의 분류작업을 전수 수작업으로 하였으나, 시스템이 도입된 2014년 1월부터 2016년 4월까지 28개월간의 운영결과를 분석한 결과 처리된 전체 객체 중 로봇 1,2가 58.3%를 처리하여 절반이상을 분류 적재 하였으며, 수작업 작업자 한 사람의 객체 분류 적재 주기시간이 1분 30초에서 4분으로 2분 30초 증가하여, 그 만큼 노동 강도를 낮추는 효과를 가져왔다. 우리가 연구한 시스템 (즉, 상황인지 기반 지능형 객체 분류 로봇 시스템, 이 로봇 시스템을 농산물류에 적용한 농산물류 자동화 로봇 시스템)은 다양한 객체를 한 번에 분류 적재해야 하는 응용인 농산물, 수산물, 항공/항만 화물에 활용이 가능하다고 생각된다. 또한 제조업체나 산업현장에서 사용하는 부품이나 완성품의 입출고 시에도 분류 및 보관 자동화가 가능 할 것으로 생각된다. This dissertation probed into the automation system to replace the classification and stacking operation of objects which are carried out manually by using great labor force in the field of logistics. The robot manipulator used in the industrial scenes or by manufacturing companies has only preset fixed spatial coordinates and is used for simple and repetitive operations. To pick up objects of various sizes and weights handled in the logistics field and drop them in appropriate spaces, however, it is necessary to have an active and intelligent control that is aware of the context of the target object and deduce the situation to respond accordingly. This dissertation proposed a system that collects and deduces the contextual information of the objects handled in the field of logistics and classifies and stacks various objects effectively without error by using context-awareness model and intellectual machine learning classification model. Our approaches of the suggested system is summarized into the robot system for intelligent object classification based on context-awareness using the shape data and the agricultural logistics automation robot system using the system. First, it is the study of the robot system for intelligent object classification based on context-awareness. The objects used in logistics vary in size and weight and therefore it is impossible to control robot manipulator solely based on the preset spatial coordinates. In other words, it is necessary to control it actively and intellectually based on assumptions made by using context-awareness model. It is necessary to collect the information about the shape of the object moving at a high speed on the conveyor belt in order to be aware of the context. This involves the problem of deteriorating the success rate in object classification due to the incorrect data collected by LMS(laser measurement system) which measures the shape of object, and this leads to the damage of object during classification and stacking of objects and robot malfunction. This is attributed to the fact that the context-awareness model lacks the ability to cope with incorrect contextual information. To eliminate these problems and overcome the limit of the context-awareness model, an object classifier using shape information and a robot system for intelligent object classification based on context-awareness which is the entire system were developed by using the intellectual classification model which is often used for machine learning. Second, it is the agricultural logistics automation robot system. APC(agriculture product processing center), the key facility for agricultural logistics operated in Korea, has dealt with the classification and stacking of agricultural box objects through the part-time employment of the residents of farm villages, however, is looking for alternatives such as facility automation or robot system due to the difficulty in finding labor force following intense aging of the rural society. To resolve this problem, an agricultural logistics automation robot system for the classification and stacking of objects with a fixed shape using a robot system for intelligent object classification based on context-awareness which was developed for APC. As a result of study, an object classifier using shape information by applying ANN(artificial neural network) classification model which showed the best performance in training and testing of three classification models such as SVM(support vector machine), ANN, and BN(bayesian network) for the problem of the error in classifying the object due to the uncertainty of context information. The object classifier developed demonstrated 98% classification success rate which is 76% improved performance compared with the algorithm used by the classification rule of the context-awareness model and eliminated the problems of the breaking the item to deliver due to the failure in classifying objects and of robot malfunction. APC had classified the entire volume of fixed shape box objects with manually. However, the analysis of APC operation for 28 months from January 2014 to April 2016 showed that robots 1 and 2 classified and stacked 58.3% of all box objects handled, which is more than half, and increased the object classification and stacking cycle of each manual worker from 1 minute 30 seconds up to 4 minutes by 2 minutes and 30 seconds, reducing the intensity of labor as much. Our proposed system (in hence, the robot system for intelligent object classification based on context-awareness and the agricultural logistics automation robot system using the robot system) can be used to sort agricultural products, fishery products, and freights at the airport and seaport where various objects have to be sorted and loaded simultaneously. Our proposed system can be also used to automatically sort and store parts and finished goods when receiving or shipping them in manufacturing sites and industrial settings.

상황인지 추론을 위한 RFMatrix 기반의 모델 개발

김종곤 성균관대학교 대학원 2007 국내석사

유비쿼터스 컴퓨팅이 점차 확산되어짐에 따라 유비쿼터스 환경이 급격하게 발전하고 있다. 이러한 변화로 인해 사용자 정보와 사용자 주변의 환경 정보를 파악하여 적절한 시간에 적절한 서비스를 제공할 수 있는 맞춤형 기술과, 인간과 컴퓨터의 관계를 인간과 인간의 관계처럼 좀 더 자연스러운 관계를 유지 할 수 있는 상황인지 컴퓨팅이라는 개념이 필요하게 되었다. 상황인지 컴퓨팅은 상황을 기반으로 하여 사용자에게 적절한 서비스를 제공하는 기술이기 때문에 상황을 정확하게 인지할 수 있는 상황 인지 모델이 중요한 역할을 하게 된다. 현재 여러 가지의 상황 인지 모델이 개발되어 사용되고 있으나, 사람의 행동이 복잡하고 다양하기 때문에 사람의 상황을 정확하게 인지하고 정의하여 적용하기란 어렵다. 또한 상황은 사람 주변의 센서에 의해서 생성되는 데이터를 기반으로 정의되기 때문에 사람의 행동에 의해서 발생하는 능동적인 상황과 주변 상황에 의해서 발생하는 수동적인 상황으로 나눌 수 있다. 그러므로 상황을 정확하게 정의하고 적용하기 위해서는 사람의 복잡한 행동을 모두 분석하여 반영하고, 능동적인 상황과 수동적인 상황을 모두 반영할 수 있는 모델이 필요하다. 본 연구의 목적은 상황인지 컴퓨팅 환경에서 상황을 정확하게 인지하기 위하여 RFMatrix 기반의 상황인지 모델을 제안한다. 세부적으로는 Wearable computing 환경에 적합한 장갑형 RFID reader를 이용한 상황인지에 대한 연구와 구현을 통하여 5W1H와 RFMatrix를 기반으로 개발된 모델에 적용하고, 실험을 통하여 모델의 정확성을 검증하고자 한다. RFMatrix 기반의 상황인지 모델은 5W1H와 RFMatrix를 기반으로 하여 상황을 정의하고 인지하는 모델이다. 5W1H는 RFID를 통하여 수집되는 4W(When, Who, What, Where)의 초기 상황 정보와 최종 상황인 1W1H(How, Why)로 구분된다. Who는 특정한 공간의 사람으로, 학생과 선생님을 정의한다. What은 학생과 선생님 의도에 대상이 되는 사물(What_Object)과 주변 환경에 의해 대상이 되는 학생과 선생님(What_Human)을 정의 한다. Where는 사람의 현재 위치 정보로, 학생과 선생님의 현재 위치 정보이다. How와 Why는 최종 상황을 정의하며, How는 학생과 선생님의 외적인 행동정보이고, Why는 학생과 선생님의 내적인 의도와 감성정보이다. RFMatrix는 사람의 능동적인 행동, 수동적인 행동, 사람과 사물의 상관관계로 구성되어 있다. 사람의 의지에 의해서 발생하는 상황인 능동적인 행동과 주변 환경의 변화에 의한 사람의 행동 상황인 수동적인 행동을 통해서 사람과 사물의 상관관계를 반영하여 상황을 정의한다. RFMatrix 기반의 상황인지 모델의 유용성을 검증하기 위해 선생님, 학생과 주변 사물의 관계를 통하여 상황이 발생되는 학습공간에서 6가지 상황(학생입실, 선생님입실, 수업, 문제풀이, 선생님퇴실, 학생퇴실)을 가정하여 실험을 실시하였다. 실험 결과는 실제 학습공간에서 발생하는 상황을 모두 영상 정보로 전환한 동영상 상황 정보를 기준으로, RFMatrix 기반의 상황인지 모델을 이용한 RFID 상황인지 시스템의 정확도를 비교 분석하여 검증하였다. 학습공간에서의 RFMatrix 기반의 상황인지 모델은 수업과 문제풀이와 같이 2명이 동시에 존재하는 공간에서의 복잡한 상황을 정의하여 인지 할 수 있었으며, 전반적으로 약 70%의 상황인지 정확도를 나타내었다. 그러나 RFID 정보를 수집할 수 없는 음영지역으로 인해 초기 상황정보가 부족하여 30%의 상황인지 오류가 발생하였다. 실험 결과를 통해서 RFMatrix 기반의 상황인지 모델은 다른 응용서비스에서 변환과정 없이 공통으로 사용될 수 있는 상황을 생성할 수 있으며, 복잡하고 다양한 사람의 상황을 인지하고 정의 할 수 있었다. 또한 사람의 행동에 의해서 발생하는 능동적인 상황과 주변 상황에 의해서 발생하는 수동적인 상황을 모두 반영 할 수 있으며, 2명 이상의 복잡한 상황에서도 상황을 인지하고 정의 할 수 있었다. 앞으로의 연구로, RFMatrix 상황인지 모델은 수집되는 정보에 의해서 상황을 정의하기 때문에 상황인지의 정확성을 높이기 위해서 RFID를 통하여 수집되는 정보의 음역지역을 줄여 수집되는 정보의 양을 높일 수 있는 연구가 필요하다. 또한, RFID의 음영지역에서 RFID를 통하여 수집될 수 없는 정보를 보충하기 위한 다른 형태의 정보가 필요하며, 다른 센서를 추가적으로 사용하여 상황을 정의 할 수 있는 Matrix의 연구가 진행되어야 한다.

주변 개체 간 관계 추론을 통한 위협 상황 인지 기법

전명중 숭실대학교 대학원 2020 국내박사

Recently, the development of technologies that recognize the situation around them is active in order to provide intelligent services in such areas as automobiles and drones. In particular, technology is required to recognize and avoid objects that threaten me in the surrounding environment. Various methods have been studied for this purpose, but most of them are low-level situational awareness through scene recognition. Thus, this study proposes to recognize the threat situation through ontology-based relationship reasoning and to infer the objects available for avoidance in threat situations. Furthermore, it also proposes to utilize deep learning to supplement the imperfection and dependence of ontology reasoning and to predict future situations. This study basically follows Endsley's three-step situation awareness model. First, as a Perception step, it is assumed that information about the surrounding objects can be acquired not only about the scenes that appear in view, but also for the objects through various sensors. These object information is then converted and stored in a formalized form called Grid Map. The next step, Comprehension, is to deduce the threat situation through the object relationships based on acquired object information. The Comprehension step in this study deduce the threat situation through five reasoning processes. The first of the five processes is to select only objects that should be interested in the current environment. This helps to improve the overall performance of the system by preventing unnecessary inferences about indifferent objects. Next, object knowledge expansion inference is performed to identify specific types of objects based on selected object information and to acquire additional knowledge that is known in advance. The extended object information is used for mathematical calculations for inference relationships between objects. Knowledge extension is called Instantiation, and specific types of objects are defined as classes of ontology. It then uses Description Logic(DL) for the defined class to express the attribute information that the object has by default. Later, when an instance belongs to this class, basic attribute information is acquired together to expand knowledge. The next process is to deduce the relationship between objects from the attributes of the acquired object of interest. There may or may not be more than one relationship between itself and its surrounding objects. Thus, this system deduces the existence of a relationship between all interested objects through ontology. And based on that information, we judge the current threat situation. The existence of inter-object relationships is determined by mathematical calculations based on the attribute information of the objects of interest expressed in Grid Map. And based on this information, we deduce the threat situation of of an object. The threat situation in an object is inferred through a rule-inference based on the Semantic Web Rule Language (SWRL) using relationship information between objects. And if the threat situation has been inferred, it deduces the surrounding objects to be used to avoid this threat. Inference objects to be used for avoidance is also done in the same way as inter-object relationship reasoning. This inferred knowledge depends on the level of expert knowledge. Also, the dependency of experts can make it difficult to update ontology. Thus, to solve these two problems, this study proposes complementary method using Convolutional Neural Network(CNN). Incorrectly inferred data in ontology are collected and used to build CNN model. And in the reasoning process, ontology inference is carried out first, The output is then calibrated using the CNN model. These methods can increase the accuracy of threat situation reasoning and have the advantage of automating the process of creating a CNN model to reduce the dependence of experts. Finally, while current threat situations are important, it is also important to predict future threat situations. So we propose a method to predict future threat situations by utilizing the Long Short-Term Memory Network(LSTM) of Deep Learning. Future threat situations are deduced by collecting historical time series data and building LSTM models based on them. 최근 자동차나 드론과 같은 분야에서 지능적인 서비스를 제공하기 위해 스스로 주변 상황을 인지하는 기술 개발이 활발하다. 특히 주변 환경에서 위협이 되는 개체를 인식하고 이를 회피하기 위한 기술이 요구되고 있다. 이를 위해서 다양한 방법이 연구되었지만 대부분 장면 인식을 통한 저 수준의 상황 인지 방식이다. 그래서 본 연구에서는 고 수준의 위협 상황을 인지하기 위해 온톨로지 기반의 개체 간 관계 추론을 통한 위협 상황 인지를 하고 위협 상황에서 회피에 이용할 수 있는 개체를 추론하는 방법을 제안한다. 더 나아가 딥러닝을 활용하여 온톨로지 추론의 불완전성과 의존성을 보완해주는 방법과 미래 상황을 예측하는 방법도 함께 제안한다. 본 연구는 기본적으로 Endsley의 3단계 상황 인지 모델을 따르고 있다. 먼저 Perception 단계로서 주변 개체들에 대한 정보를 수집하는 단계로서 시야에 나타나는 장면에 대한 정보뿐만 아니라 여러 가지 센서를 통한 개체에 대한 속성 정보를 취득할 수 있다고 가정한다. 그리고 이러한 개체 정보는 Grid Map이라는 정형화된 형태로 변환되어 저장된다. 다음 단계인 Comprehension은 취득한 개체 정보들을 기반으로 개체 간 관계를 통해 위협 상황을 추론하는 것이다. 본 연구에서의 Comprehension 단계는 5가지 추론 과정을 통해서 위협 상황을 추론한다. 5가지 과정 중 첫 번째는 현재 환경에 관심을 가져야 할 대상만 선택하는 것이다. 이는 무관심한 개체에 대한 불필요한 추론을 방지함으로서 시스템의 전체 성능을 향상시키는데 도움이 된다. 다음 단계는 선별된 관심 개체 정보를 기반으로 개체의 구체적인 종류를 알아내고 이에 따라 사전에 알고 있는 지식을 추가 획득하기 위한 개체 지식 확장 추론이다. 확장된 개체 정보는 개체 간 관계 추론을 위한 수식적 계산에 사용된다. 지식 확장은 Instantiation 이라고 하며 개체의 구체적인 종류는 온톨로지의 클래스로 정의한다. 그리고 정의된 클래스에 대해 Description Logic(DL)을 활용하여 개체가 기본적으로 가지고 있는 속성 정보들을 표현한다. 이후, 인스턴스가 이 클래스에 속하게 되면 기본 속성 정보들도 함께 취득하여 지식을 확장한다. 다음 과정은 획득한 관심 개체의 속성들을 통해서 개체 간 관계를 추론하는 것이다. 자신과 주변 개체 간 관계에서는 하나 이상의 관계가 존재할 수 있으며 없을 수도 있다. 그래서 본 시스템에서는 모든 관심 개체 간의 관계 존재 유무를 온톨로지를 통해 추론한다. 그리고 그 정보를 기반으로 현재 위협 상황을 판단한다. 개체 간 관계의 존재 여부는 Grid Map으로 표현된 관심 개체의 속성 정보들을 기반으로 수식적 계산을 통해 알아낸다. 그리고 이 정보를 기반으로 개체 위협 상황을 추론한다. 개체의 위협 상황 추론은 개체 간 관계 정보를 사용한 Semantic Web Rule Language(SWRL) 기반의 규칙 추론을 통해 이루어진다. 그리고 위협 상황이 추론되었다면 이 위협으로부터 회피하기 위해 이용할 주변 개체들을 추론한다. 회피에 사용할 개체 추론 역시 개체 간 관계 추론과 동일한 방식으로 수행된다. 이렇게 추론된 지식은 전문가의 지식수준에 따라 정확도가 달라진다. 또한 전문가의 의존성으로 인해 온톨로지의 업데이트가 어려워질 수 있다. 따라서 이러한 두 가지 문제점을 해결하기 위해 Convolutional Neural Network(CNN)을 활용한 보완 방법을 제안한다. 온톨로지에서 잘못 추론된 데이터를 수집하여 CNN 모델을 구축하는데 사용한다. 그리고 추론 과정에서는 먼저 온톨로지 추론을 수행한 뒤, 그 출력을 CNN 모델을 이용하여 보정한다. 이와 같은 방법은 위협 상황 추론의 정확도를 높일 수 있으며 CNN 모델을 생성하는 과정을 자동화 하여 전문가의 의존성을 줄일 수 있는 장점이 있다. 마지막으로 현재 위협 상황도 중요하지만 미래의 위협 상황을 예측하는 것도 중요하다. 그래서 딥러닝의 Long Short-Term Memory Network(LSTM)을 활용하여 미래의 위협 상황을 예측하는 방법을 제안한다. 미래의 위협 상황은 과거의 시계열 데이터를 수집하고 이를 기반으로 LSTM모델을 생성하여 추론한다.

상황인지 워크플로우 모델의 효율적인 재사용을 위한 시나리오 문서 관리 방법

유연승 숭실대학교 대학원 2019 국내석사

IoT 환경에서 발생하는 센서 데이터를 바탕으로 주변 상황을 판단하는 상황인지 기술은 동적으로 변화하는 환경에 따라 자동화된 서비스를 제공하기 위해 워크플로우를 적용하는 방향으로 활발히 연구가 진행되고 있다. 상황인지 기반의 워크플로우는 특정 사용자 또는 환경에 맞춤화된 서비스를 실행하기 위해 서비스 도메인에서 제공하는 상황 정보와 서비스 정보를 기반으로 모델링된다. 이러한 상황인지 워크플로우 모델은 서비스 환경의 한정된 자원을 사용하여 모델링되기 때문에 다수의 워크플로우 모델 간에는 중복되는 요소들이 발생할 수 있다. 시나리오 개발자는 매번 동일한 방법으로 중복되는 요소들을 설정하는 과정으로 인해 워크플로우 모델링 작업에 대한 불편함을 갖는다. 시나리오 개발자는 사전에 작업이 완료된 시나리오 문서를 이용하여 상황인지 워크플로우 모델의 요소들을 재사용할 수 있다. 하지만 이와 같은 방법은 상황인지 워크플로우의 모든 흐름을 분석하고 특정 요소를 추출하는 작업이 필요하여 시나리오 개발자에게 재사용에 대한 많은 노력과 시간이 요구된다. 이에 본 논문에서는 상황인지 워크플로우 모델의 효율적인 재사용을 위한 시나리오 문서 관리 방법을 제안한다. 제안하는 방법은 상황인지 워크플로우 모델의 독립적으로 재사용할 수 있는 요소들을 별도의 시나리오 문서로 관리하고 워크플로우 편집 과정에서 활용할 수 있도록 제공하여 시나리오 개발자의 작업 효율을 향상시킨다. 또한 재사용하는 요소들의 기존 속성 값들을 필요에 따라 변경하여 새로운 서비스 환경에 적응할 수 있도록 지원한다. 실험에서는 제안하는 방법이 적용된 시나리오 문서 편집기를 이용하여 상황인지 워크플로우 모델의 요소들이 효율적으로 재사용되는 과정을 시뮬레이션을 통해 보인다. In the IoT environment, based on sensor data, context awareness technology is actively being studied to apply workflow to provide automated services according to dynamically changing environment. The context-aware workflow is modeled on the basis of context information and service information provided by the service domain in order to execute services tailored to specific users or environments. Since the context-aware workflow model is modeled using limited resources of the service environment, there may be overlapping elements among multiple workflow models. Scenario Developers have inconvenienced workflow modeling tasks by setting overlapping elements in the same way each time. The scenario developer can reuse the elements of the context-aware workflow model using previously completed scenario documents. However, this approach requires much effort and time for reuse by scenario developers because it needs to analyze all the flows of the context-aware workflow and extract specific elements. In this paper, we propose a scenario document management method for efficient reuse of context-aware workflow model. The proposed method improves the work efficiency of the scenario developer by managing the reusable elements of the context-aware workflow model as a separate scenario document and using it in the workflow editing process. Also, the existing attribute values of the reuse elements are changed as needed to adapt to the new service environment. In the experiment, we show through the simulation that the elements of the context aware workflow model are efficiently reused by using the scenario editor with the proposed method.

상황인지 애플리케이션의 효과적인 개발도구에 대한 연구

박종문 울산대학교 2014 국내박사

Context-aware computing, as a component of a ubiquitous computing, is a core technology that supports human-centric intelligent service using contextual information in real situations. With the advent of the IoT era, multiple billion devices can generate huge amounts of data that might be used in IoT applications. However, there are a lot of obstacles to delivering these tremendous data at the right time, to the right place and with the right quality. Also, effective development of context-aware applications using the delivered data is not an easy challenge. In this dissertation, we present two studies for supporting effective development of context-aware applications in the IoT environment. As the first part of our research, we propose a context distribution framework named SCondi utilizing the messaging service which supports MQTT. SCondi provides the notion of context channel as a core feature to support efficient and reliable mechanism for distributing huge context information in the IoT environment. The context channel is an abstract communication channel which can reliably tailor and disseminate a collection of information to service providers. Based on the MQTT messaging service, the context channel provides a pluggable filter mechanism that supports effective extraction, tailoring, authentication and security of information. Using the context channels as transport media of context-aware systems, SCondi provides a higher level abstract mechanism for information delivery in the IoT environment. As the second part, we present a toolkit named JCOOLS that effectively generates context-aware applications that work in a ubiquitous environment. To manage the complicated and various context information of users, JCOOLS adopts JCAF as the context awareness framework and programming API for creating context-aware applications. Also, to separate much of the business logic from the application source codes, we utilize DROOLS which is a JBOSS business rule management system to support a Java rule engine API (JSR-94). Based on JCAF and DROOLS, JCOOLS enables developers to define contexts and actions as context rules according to the change of contexts. Based on the definition of contexts, JCOOLS also generates abstract program codes for the development of context-aware server and client applications, which enables users to effectively develop a variety of context-aware services. Keywords: Internet of Things, Context-aware Computing, Context Data Distribution, Context Channel, Messaging Service, Inference Engine, MQTT, M2M 유비쿼터스 컴퓨팅의 중요한 부분인 상황인지 컴퓨팅은 실제 환경의 여러 상황정보를 이용하여 인간중심의 지능적인 서비스를 제공하는 핵심 기술이다. IoT 시대의 도래와 함께, 수십억의 장치로부터 IoT 응용분야에서 활용될 수 있는 막대한 양의 정보가 생산되고 있다. 그러나 데이터의 품질을 보장하면서 적절한 시기에, 올바른 장소로 전달하고, 이를 활용하여 상황인지 애플리케이션을 효과적이고 체계적으로 개발하는 데에는 많은 어려움이 따른다. 본 논문에서는 IoT 환경에서 상황인지 애플리케이션의 효과적인 개발을 지원하기 위하여 다음과 같은 두 종류의 연구를 수행하였다. 첫 번째 연구에서는 MQTT 메시징서비스를 활용하는 상황정보 분배 프레임워크인 SCondi를 소개한다. SCondi는 IoT 환경에서 막대한 양의 상황정보를 분배하기위한 효과적이고 신뢰성 있는 메커니즘을 지원하는 핵심기능으로 Context Channel을 제공한다. Context Channel은 상황정보를 안정적으로 서비스 공급자에게 전달하는 추상화된 통신채널로서 MQTT 메시징 서비스를 기반으로 상황정보의 효과적인 추출, 처리, 인증, 보안 등을 지원하는 필터체인 메커니즘을 제공한다. SCondi는 IoT 환경에서 상황인지 시스템에서의 전송매체인 Context Channel을 활용하여 상황정보 분배를 위한 고수준의 추상화된 메커니즘을 제공한다. 두 번째 연구에서는 유비쿼터스 환경에서 상황인지 애플리케이션을 효과적으로 생성하는 도구인 JCOOLS를 소개한다. JCOOLS는 복잡하고 다양한 사용자의 상황정보를 관리하고 애플리케이션 구현을 위한 API를 제공하는 상황인지 프레임워크인 JCAF을 기반으로 개발되었다. 또한, 애플리케이션 내부에서 구현되는 비즈니스 로직을 애플리케이션의 소스코드로부터 분리하기 위하여 DROOLS를 이용한다. DROOLS는 자바 규칙엔진 API(JSR-94)를 지원하는 JBOSS 비즈니스 규칙관리 시스템이다. JCAF과 DROOLS를 기반으로, JCOOLS는 프로그램 개발자가 상황정보와 상황정보의 변화에 대응하는 Context Rule을 정의하도록 지원한다. 이와 더불어 정의된 상황정보를 기반으로 상황인지 서버와 클라이언트 애플리케이션의 작성을 위한 추상화된 프로그램 코드를 생성하여 다양한 상황인지 서비스의 효과적인 개발을 가능하게 한다.

효과적인 상황인지를 위한 지식 증류 기반의 트랜스포머 모델 : 시계열 공간 데이터에서 시-공간 정보를 어텐션하는 트랜스포머 기반의 상황인지 모델

김필송 건국대학교 대학원 2023 국내석사

상황인지(Situation Recognition)는 컴퓨터 비전과 인공지능의 결합을 통해 주변 환경을 이해하고 상황을 인식하는 기술을 개발하는 분야이다. 상황인지 분야는 주로 CNN, RNN 모델을 기반으로 연구되었다. 본 논문은 기존에 상황인지에 주로 사용되던 CNN 기반 모델 대신 Transformer를 기반으로 공간 정보와 시간정보를 어텐션하는 상황인지 모델을 제안한다. 상황인지 분야는 이미지 분류 같은 대중적인 분야에 비해 학습 데이터를 구하기가 까다롭다. 어떤 상황을 인지하는지에 따라 데이터를 직접 구해야 하는 경우가 많아, 최근 모델의 학습에 필요한 충분한 양의 데이터를 확보하지 못하는 경우가 많다. 따라서 이를 해결하기 위해 지식 증류 알고리즘을 적용하여, 적은 데이터에서도 효과적으로 학습이 되는 시공간 트랜스포머 기반의 상황인지 모델을 제안한다. 전장 상황에서 5초 후 아군 피해도를 예측하는 실험을 진행하며, 전장 시뮬레이터인 VT-MAK에서 상황인지에 필요한 특징만 추출하여 전처리한 데이터를 모델의 학습 데이터로 사용하여 모델 성능을 검증한다. 기존 CNN 기반 상황인지 모델 및 지식 증류를 사용하지 않은 모델과의 비교를 통해, 제안된 모델이 기존 모델대비 성능의 향상을 보임에 따라 본 논문에서 제안된 모델의 유효성을 증명하였다. Situation Recognition is a field that develops technology to understand the surrounding environment and recognize situations through the combination of computer vision and artificial intelligence. The field of situational awareness has been mainly studied based on CNN and RNN models. This paper proposes a context-awareness model that pays attention to spatial and temporal information based on a Transformer instead of a CNN-based model that was mainly used for context-awareness in the past. Context awareness is more difficult to obtain training data than popular fields such as image classification. In many cases, data must be obtained directly depending on the situation in which it is recognized, so it is often difficult to secure sufficient amount of data necessary for learning the latest model. Therefore, to solve this problem, a knowledge distillation algorithm is applied to propose a space-time transformer-based context-awareness model that can learn effectively even with a small amount of data. In a battlefield situation, an experiment to predict the damage of allies after 5 seconds is conducted, and the model performance is verified by using the preprocessed data as the training data of the model by extracting only the features necessary for situational awareness in the battlefield simulator VT-MAK. Through comparison with existing CNN-based context-awareness models and models that do not use knowledge distillation, the validity of the proposed model in this paper was proved as the proposed model showed improved performance compared to the existing model.

모바일 상황인지 어플리케이션의 전력 소비 BMT 모델 개발 및 테스팅

전제홍 아주대학교 일반대학원 2016 국내석사

모바일 디바이스는 배터리라는 제한된 전력을 기반으로 동작하므로 어플리케이션이 소비하는 전력에 민감할 수밖에 없다. 상황인지 어플리케이션은 다양한 센서를 이용하여 상황을 추론하므로 일반적인 어플리케이션이 소비하는 전력보다 전력 소비가 크고 이에 대한 상세한 평가 결과를 제공하는 연구는 미비하였다. 전력 소비를 고려한 상황인지 어플리케이션의 개발을 위해서는 모바일 디바이스의 다양한 컴포넌트가 소비하는 전력에 대한 고려가 필요하다. 또한 기존의 전력 소비에 대한 정보는 사용자의 사용 패턴을 고려하지 못하고 전체적인 소비량만을 제공하거나, 센서가 사용하는 전력에 대한 정보를 구분하여 제공하지 못하였다. 게다가 상황인지 어플리케이션이 어떠한 기기에서 동작하는지, 어떠한 센서를 주로 사용하는지에 따라 그 전력 소비가 달라질 수 있다. 그렇기 때문에 개발자들이 전력 소비를 고려하여 어플리케이션을 개발하는 데 유의미한 정보가 제공되지 않았다는 문제점이 있다. 소프트웨어를 평가할 수 있는 여러 방법이 있지만 이를 상황인지 어플리케이션에 적용하기에는 어렵다. 기존의 연구는 전력 소비와 사용 패턴을 함께 고려하지 않고 소프트웨어의 일반적인 품질을 평가하기 위한 방법을 제시하고 있기 때문이다. 한편 전력 소비에 대한 정보를 제공하고자 하는 연구가 있으나, 소프트웨어가 동작하는 기기의 전력 소비에 대한 자세한 평가 기준을 제시하지는 않는다. 만약 이러한 요인을 고려하여 개발자들에게 상황인지 어플리케이션이 사용하는 모바일 디바이스의 컴포넌트가 소비하는 전력에 대한 상세한 평가 정보가 제공된다면, 전력 소비를 고려하여 상황인지 어플리케이션의 개발이 가능해 질 것이다. 본 논문에서는 상황인지 어플리케이션의 전력 소비를 평가할 수 있는 BMT(Bench Mark Test) 모델을 제안한다. 이 BMT 모델은 첫째, 다양한 모바일 디바이스에 적용하여 상황인지 어플리케이션을 평가할 수 있다. 둘째, 컨텍스트에 따라 사용하는 센서를 선택하여 평가할 수 있다. 마지막으로, 사용자의 사용 패턴을 고려하여 상황인지 어플리케이션의 전력 소비를 평가할 수 있다.

유비쿼터스 환경에서 상황인지 응용을 위한 위치기반 웹서비스 프레임워크의 설계

안철범 檀國大學敎 大學院 2010 국내박사

최근 유비쿼터스 컴퓨팅 환경에 대한 관심과 보급이 확대되면서 RFID나 USN을 이용한 다양한 스마트 공간(smart space)들이 조성되고 있으며, 수많은 센서를 통해 수집한 데이터를 가공하여 상황에 따라 자동화된 서비스를 제공하는 상황인지 시스템(Context-Aware System)에 대한 연구와 적용범위가 확대되고 있다. 또한 무선 인터넷과 모바일시스템의 발전으로 사용자의 이동에 따른 위치정보를 이용하는 위치기반 서비스에 대한 수요와 필요성이 급증하고 있다. 일반적으로 상황인지 시스템은 그 특성상 사용자와의 상호작용을 최대한 배제하며 자동화된 서비스를 제공한다. 그러나 상황인지 능력의 한계로 인해 대부분 단편적인 서비스에 제한되며, 사용자의 의지와는 무관하게 일방적으로 제공되는 단방향성의 문제점이 있다. 또한 GPS를 이용하는 기존 위치기반 서비스의 경우 집, 건물 등과 같은 실내 공간에서는 GPS의 특성상 위치파악이 불가능하여 지속적인 서비스를 제공하지 못하는 문제점이 있다. 본 논문의 목적은 기존의 시스템들이 가지는 이러한 문제점들을 해결하고, 사용자가 스마트폰과 같은 단일 인터페이스 장치를 이용하여 생활 주변의 다양한 스마트 공간 어디서든지 서비스 제공자와 상호작용하면서 원하는 서비스를 이용할 수 있는 시스템을 제공하는 것이다. 따라서 본 논문에서는 이러한 요구사항을 충족하기 위한 방안으로 서비스지향 아키텍처(Service Oriented Architecture, SOA) 모델을 적용한 ‘위치기반 상황인지 웹서비스 프레임워크’를 설계하였다. 제안 프레임워크는 각 도메인별로 구축된 다수의 상황인지 시스템들을 개별 서비스 제공자로 하고, 스마트폰과 같은 휴대용 이동단말장치를 서비스 요구자로 하며, 사용자의 현재 위치를 기반으로 사용자가 원하는 서비스를 제공하는 서비스 제공자를 검색하고 연결 환경을 제공하는 서비스 중개자로 구성된다. 제안 프레임워크를 적용할 경우 서비스 이용자 측면에서는 스마트폰과 같은 단일 사용자 인터페이스를 통해 다양한 서비스를 이용함으로써 사용자의 편의성을 최대한 보장할 수 있으며, 서비스 제공자에게는 기존의 상황인지 시스템이 가지는 서비스의 제약과 단방향성의 문제를 극복하고 보다 복합적이고 통합된 고품질 서비스를 제공할 수 있게 된다. 또한 GPS의 특성상 실내에서의 측위가 불가능할 경우에도 서비스 제공자의 실내 측위 정보를 공유함으로써 사용자의 현재 위치 정보를 지속적으로 파악하여 끊김 없는 위치기반 서비스를 제공할 수 있다. 부가적으로 지역 도메인에 설치된 다양한 네트워크 인프라를 최대한 활용함으로써 통신비용의 절감 효과와 스마트 폰과 같은 휴대용 이동 단말 장치를 다양한 상황인지 서비스와 상호작용하는 단일 사용자 인터페이스로 활용함으로써 추가적인 비용 없이 기존의 키오스크와 같은 인터페이스의 대체 효과로 인한 시스템 구축비용의 절감 효과도 클 것으로 사료된다. Recently, smart spaces are being created using RFID or USN due to increase in interests and supply on ubiquitous computing environments, and the scope of researches and applications are expanding on Context-Aware System which processes sensed data collected from numerous sensors and provides automated services properly according to situations. There are sharp increase in demands and needs for location-based services using location information by the movement of users due to development of wireless internet and mobile system. Generally, Context-Aware System excludes interaction with users as much as possible due to its characteristics and provides automated service. However, only simple service is provided in most cases due to limits in ability to recognize contexts, there are problems of providing service in one direction regardless of the user's will. Furthermore, existing location-based services using GPS have has problem of not providing seamless services since it is impossible to know the location because of characteristics of GPS in indoors such as houses and buildings. The goal of this thesis is to solve these problems existing systems have and to provide system that users can access desired service by interacting with service provider at any place in various smart spaces using single interface device such as smart phones. Therefore, in this paper, we designed 'Location-based Context-Aware Web Service Framework' by applying SOA(service-oriented architecture) model as a way of satisfying these requirements. The proposed framework is composed of service provider, service requester and service broker. The service broker is multiple Context-Aware System constructed according to each domain and the service requester is mobile devices such as smart phone. The service broker provides services for searching service providers desired by the user based on current location of the user as well as providing environments for connecting service. The adoption of proposed framework will guarantee user convenience as much as possible by using various services through single user interface such as smart phone from the aspects of service users. Service providers can provides more comprehensive and integrated high-quality services by overcoming limits in service and one-way communication that existing Context-Aware System has. Furthermore, it can provide location-based service without interruption by continuously examining current location of the user by sharing service provider's indoor location information, even when it is impossible to determine location within indoor due to characteristics of GPS. Additionally, it is expected to reduce the costs for constructing system by replacing interfaces such as existing kiosk without additional costs by utilizing mobile devices such as smart phone as single user interface interacting with various Context-aware services. Moreover the reduction in communication costs will be expected by maximally utilizing various network infrastructures constructed in local domain.

C-ITS 첨단도로 환경을 위한 엣지 네트워크 기반 교통상황인지 시스템의 설계 및 구현

임지용 동명대학교 대학원 2022 국내박사

차세대 교통시스템으로 주목받고 있는 C-ITS(Cooperative-Intelligent Transport Systems)는 교통 분야의 최우선 해결과제인 교통안전과, 교 통편의를 목표로 연구개발 및 현장 적용에 박차를 가하고 있다. 이에 따 라 C-ITS의 요소 기술인 교통 정보 수집 기술, 도로 구성요소 간 연결 기술, 교통정보 서비스 등 다양한 연구개발이 진행되고 있다. 그러나 현 재 서비스되고 있는 교통시스템은 중앙집중식 교통정보 서비스 구조, 부 족하고 미흡한 첨단 도로 인프라 및 도로 인프라 간 연결 기술은 고도화 된 정보처리 서비스가 요구되는 C-ITS를 실현하기에 한계점이 있다. 본 논문에서는 이러한 한계점을 극복하기 위해 도로 인프라 간의 연결 및 정보처리 환경인 엣지 네트워크를 제안하였다. 엣지 네트워크는 RSSI(Received Signal Strength Indicator)와 메시지 수신 횟수를 기반으 로 인접한 노드의 그룹을 생성하는 하는 무선 네트워크 구축 기법으로, 생성된 그룹 내의 정보 교환을 통해 효율적인 엣지 컴퓨팅 환경을 지원 한다. 제안한 엣지 네트워크를 기반으로 교통흐름과 돌발 사고를 인지할 수 있는 교통상황인지 시스템을 구축하였다. 구축한 교통상황인지 시스 템은 교통정보 수집 및 제공 역할의 IoT 디바이스, IoT 디바이스 간 연 결 기법인 엣지 네트워크, 교통흐름 및 교통사고 인지하는 교통상황 인 지 알고리즘, 교통상황 모니터링 소프트웨어로 구성된다. 그리고 도로현 장실험을 통해 교통흐름과 교통사고를 인지하고, 도로 이용자에게 정보 를 전달하는 교통정보 서비스의 예를 제시하였다. 교통흐름 인지 기능은 상시 동작하여 IoT 디바이스를 통해 교통흐름 상태를 표시하고, 사고발 생 시 사고 상황을 인지하여 IoT 디바이스를 통해 현장에서 사고정보를 표시한다. 교통상황 모니터링 소프트웨어에서는 지도 기반 모니터링 기 능과 및 IoT 디바이스 상태관리 기능을 제공한다. 또한, 엣지 네트워크 의 안정성과 효율성을 검증하기 위해 기존의 RSSI 기반 메시 네트워크 와 제안한 엣지 네트워크를 대상으로 실험을 진행하였다. 실험결과 엣지 네트워크에서의 데이터 전송률은 평균 97.04%, 데이터 전송 시간은 평균 252.33ms, 네트워크 장애 복구시간은 평균 50798ms의 결과를 보였다. C-ITS(Cooperative-Intelligent Transport Systems), which is attracting attention as a next-generation transportation system, is spurring R&D and field application with the goal of traffic safety and transportation convenience, which are the top priorities in the transportation field. Various R&D such as information collection technology, road component connection technology, and traffic information service are underway as element technologies for C-ITS. However, the transportation system currently being serviced has limitations in implementing C-ITS, which requires advanced information processing services, due to the centralized traffic information service structure, insufficient and insufficient state-of-the-art road infrastructure and connection technology between road infrastructures. In this dissertation, to overcome these limitations, an edge network, which is an environment for connection and information processing between road infrastructures, is proposed. Edge networks are wireless network construction techniques that create groups between adjacent nodes based on RSSI and the number of message receptions, and support an efficient edge computing environment by exchanging information between nodes in the generated group. Based on the proposed edge network, a traffic situation recognition system was established to recognize traffic flows and unexpected accidents. The established traffic situation awareness system consists of IoT devices that collect and provide traffic information, edge network that is a connection technique between IoT devices, a traffic situation recognition algorithm that recognizes traffic flows and accidents, and traffic situation monitoring software. In addition, an example of a traffic information service that recognizes traffic flow and traffic accidents through road field experiments and delivers information to road users was presented. The traffic flow recognition function operates all the time to display the traffic flow status through the IoT device, recognizes the accident situation when an accident occurs, and displays accident information on the spot through the IoT device. The traffic condition monitoring software provides map-based monitoring functions and IoT device status management functions. In addition, to verify the stability and efficiency of the edge network, experiments were conducted on the existing RSSI-based mesh network and the proposed edge network. As a result of the experiment, the average data transmission rate in the edge network was 97.04%, the average data transmission time was 252.33ms, and the average network failure recovery time was 50798ms.