VTS: 클라우드 기반 온디바이스 AI 응용을 위한 가상의 테스트베드 시스템

임근식,함명주,정재윤 한국정보과학회 2020 정보과학회 컴퓨팅의 실제 논문지 Vol.26 No.1

Recently, the execution of training and inferencing is spreading to user devices (called on-device AI). With the advent of a variety of on-device AI applications and devices, cloud systems are used to facilitate continuous code integration and deployment more rapidly and effectively for many developers. As a result, it is becoming critical to process and verify on-device AI applications in the cloud environment. This paper proposes novel techniques for creating virtual devices for on-device AI applications in cloud environments. Besides, we present a cloud-based virtual testbed system that processes GUI applications of the device in real-time. From our experimental result, a 1:N mapping structure-based producer & consumer model technique improved the verification speed of the application up to 237% compared to the existing system. 최근 훈련 및 추론의 실행이 사용자 단말로 확산되고 있으며, 이를 온디바이스 AI라고 부르고 있다. 다양한 온디바이스 AI 응용과 기기들이 등장함에 따라 지속적인 코드 통합과 배포를 보다 빠르고 효과적으로 다수의 개발자들을 대상으로 수행하기 위하여 클라우드 시스템을 사용하고 있다. 그 결과 클라우드에서 온디바이스 AI 응용을 실시간으로 실행 및 검증하는 연구가 중요해지고 있다. 본 논문은 클라우드 환경에서 온디바이스 AI 응용을 위해 가상의 장치를 생성하는 기법들을 제안한다. 또한 단말의 GUI 응용들을 실시간으로 실행 가능한 클라우드 기반의 Virtual Testbed System을 제시한다. 우리의 실험 결과, 1:N 맵핑 방식의 생산자 & 소비자 모델 기법은 기존 시스템에 비하여 애플리케이션의 검증 속도를 237%까지 개선하였다.

스마트 온디바이스의 고가용성을 위한 TCP 세션 복구 기술

홍승태 ( Seungtae Hong ),김법균 ( Beob-kyun Kim ),이광용 ( Kwang-yong Lee ),김정시 ( Jeong-si Kim ),임채덕 ( Chae-deok Lim ) 한국정보처리학회 2017 정보처리학회논문지. 컴퓨터 및 통신시스템 Vol.6 No.6

최근 스마트 온디바이스 및 정보 통신 기술의 발전으로 인하여, 중단 없는 서비스에 대한 요구가 점차 증가하고 있다. 이에 따라 시스템의 장애 발생 시에도 지속적으로 서비스를 제공할 수 있는 고가용성이 주목받고 있다. 한편, 대부분의 인터넷 서비스는 TCP를 기반으로 제공되기 때문에, 스마트 온디바이스의 고가용성을 위해서는 효율적인 TCP 세션 복구 기술이 필수적이다. 그러나 기존 TCP 세션 복구 기술은 높은 세션복구비용이 요구되거나 페일오버를 지원하지 않는 문제점이 존재한다. 이러한 문제점을 해결하기 위해, 본 논문에서는 스마트 온디바이스의 고가용성을 위한 TCP 세션 복구 기술을 제안한다. 이를 위해 첫째, 순서 번호와 확인 응답 번호의 보정을 통해 TCP 세션의 재연결 과정 없이 TCP 세션을 복원한다. 둘째, 마스터 서버와 백업 서버 간에 TCP 세션 복구 데이터를 동기화하고, 마스터 서버의 장애 발생 시 페일오버를 수행한다. 마지막으로, 가상 IP 주소와 GARP (Gratuitous ARP) 패킷의 전송을 통해 피어에게 무중단 서비스를 제공한다. With the development of smart on-devices and communication technology, demand for non-stop services is increasing. Therefore, the high availability for continuously providing services in the event of system failure has been spotlighted. Meanwhile, because most internet-based services are provided by using TCP, an efficient TCP session recovery technique for providing non-stop services is required. However, the existing TCP session recovery techniques are inefficient because it has a high recovery cost or does not support failover operation, To solve these problems, in this paper, we propose a TCP session recovery technique for high availability in smart on-devices. For this, we first recover the TCP session without re-establish the TCP session by correcting a sequence number and a acknowledgment number. Second, we synchronize the TCP session recovery data between the master and the server, and then we operate the failover operation when master server fails. Finally, we provide the non-stop service to peer by using the virtual IP number and the transmission of GARP (Gratuitous ARP) packet.

모바일 디바이스에서 계층별 프로세서 할당을 통한 딥러닝 학습 가속

하동휘,권진세,김형신 한국정보과학회 2021 정보과학회 컴퓨팅의 실제 논문지 Vol.27 No.6

딥러닝 개인화 응용은 사용자가 원하는 요구 사항에 맞게 딥러닝 모델을 재학습해야 한다. 기존의 모델 학습 방법은 서버에서 학습한 모델을 모바일 디바이스로 전송한다. 기존 방법은 개인 정보 유출, 서버 운용 비용 증가 등의 문제를 야기할 수 있다. 이런 문제를 해결하기 위해 모바일에서 딥러닝 학습 방법을 적용한다. 하지만, 모바일 디바이스는 자원이 부족하여 딥러닝 학습 수행이 어렵다. 본 논문에서는 모바일 CPU와 GPU를 효율적으로 사용하여 모바일 디바이스에서 딥러닝 학습 속도를 향상하는 시스템을 제안한다. 제안하는 시스템은 모델 계층별 연산 시간과 프로세서 간 데이터 전송 시간을 프로파일링한다. 프로파일링 결과를 토대로 동적 프로그래밍을 이용하여 프로세서를 탐색하고 각 계층에 최적의 프로세서를 할당한다. 3개의 카테고리로 이루어진 커스텀 데이터를 CIFAR-10 이미지로 사전 학습된 모델을 이용하여 전이 학습하였다. 제안하는 알고리즘을 ODROID-XU4와 Firefly RK3399 Plus에서 실험한 결과, 각각 25.7%, 3.2% 성능 향상을 확인하였다. With the recent development in deep learning, the application of personalization has increase. Personalized deep learning models require initial training according to the user requirements. When the event of unseen data occurs, it is necessary to retrain and update the optimal model. Traditional methods send personal data to servers to create a model and send it to mobile devices. In this process, problems, such as leakage of private data, excessive network traffic, and an increase in server operating costs, may occur. To solve this problem, on-device learning is a well-known approach. However, mobile devices lack hardware resources. In this paper, we propose a method to reduce the training time for a mobile device by effectively utilizing Central Processing Unit(CPU) and Graphic Processing Unit(GPU). The proposed system profiles the computing and data transfer time. With the result of profiling and dynamic programming, the method searches the processor and allocates the optimal processor to each layer. Based on a pre-trained model with CIFAR-10, we apply transfer learning to train the custom data consisting of three categories faster than initial training. With two mobile devices (ODROID-XU4 and Firefly RK3399 Plus), the proposed method reduces the execution time by 25.7% and 3.2%, respectively.

스마트폰 기반 휠체어 이동 수단의 온디바이스 탐지에 대한 예비 연구

김창기(Changki Kim),황성진(Sungjin Hwang),김한성(Hansung Kim),차재혁(Jaehyuk Cha),김광욱(Kwanguk (Kenny) Kim) 한국HCI학회 2024 한국HCI학회 학술대회 Vol.2024 No.1

임베디드 시스템에서의 안전모 탐지를 위한 YOLO-NAS 모델 설계

최우석(Woo-Seok Choi),조중훈(Joong-Hoon Jo),박우찬(Woo-Chan Park),최상현(Sang-Hyun Choi) 한국콘텐츠학회 2024 한국콘텐츠학회논문지 Vol.24 No.3

온 디바이스 얼굴 라이트필드 합성 시스템

박준형,박인규 대한전자공학회 2021 전자공학회논문지 Vol.58 No.5

In this paper, we propose a light field synthesis system using a monocular facial image as input in an on-device environment. In order to overcome the difficulty of acquiring the ground truth facial light field in supervised learning, the proposed technique uses the synthesized light field acquired for various faces using a 3D modeling tool as learning data. In addition, a network compression method and mobile optimized deep learning framework are used for on-device implementation. The proposed system also includes viewpoint change and depth estimation functions that can be applied to the acquired light field image. For these, we apply OpenCL base GPU parallel processing so that these functions can be processed quickly in an on-device environment. Finally, this paper evaluates the operation results and processing time of our system implemented as GUI program on each platform. 본 논문에서는 온 디바이스 환경에서 단안의 얼굴 영상을 입력받아 라이트필드 영상을 합성하는 시스템을 제안한다. 제안하는 기법은 지도학습에서의 참값(ground truth) 얼굴 라이트필드 취득의 어려움을 극복하기 위해, 3차원 모델링 도구를 이용하여 다양한 얼굴에 대해 취득한 합성 라이트필드를 학습데이터로 이용한다. 또한, 온 디바이스 구현을 위해 네트워크 경량화 기법과 모바일에 최적화된 딥러닝 프레임워크를 사용한다. 제안하는 시스템은 취득한 라이트필드 영상에 적용될 수 있는 시점변환과 깊이추정 기능을 포함한다. 이를 위해, OpenCL기반 GPU 병렬처리를 적용하여 온 디바이스 환경에서 라이트필드 응용효과들이 신속히 처리될 수 있도록 하였다. 마지막으로, 본 논문은 제안하는 시스템을 GUI 프로그램으로 구현해 각 플랫폼에서의 동작결과 및 처리시간을 평가했다.

온 디바이스 객체 검출을 위한 상황 인지 기반의 모델 선택 기법

강성주(Seongju Kang),정채은(Chaeeun Jeong),정광수(Kwangsue Chung) 한국정보과학회 2021 정보과학회 컴퓨팅의 실제 논문지 Vol.27 No.8

DNN (Deep Neural Network)은 얼굴 인식, 음성 인식, 객체 검출 등 지능형 어플리케이션에 필요한 컴퓨터 비전 기술이다. DNN모델은 수많은 은닉층과 학습 파라미터를 포함하기 때문에 객체 검출알고리즘은 많은 연산 리소스를 요구한다. 그러므로, 모바일 장치와 같이 리소스가 제한된 환경에서는 객체 검출을 수행하는데 어려움이 있다. 본 논문에서는 온 디바이스 객체 검출을 위한 상황 인지 기반의 모델 선택 기법을 제안한다. 모델의 연산 리소스를 줄이기 위하여 시공간 도메인 별 OOI (Object Of Interest) 그룹을 정의하고 각 도메인에 대해 경량화 모델을 학습시킨다. 제안하는 기법은 상황 정보를 기반으로 시공간 도메인을 결정하고 짧은 지연 시간으로 정확한 물체 감지가 가능하도록 최적의 DNN 모델을 선택한다. 기존의 객체 검출 기법과의 비교 실험을 통해 제안하는 기법이 유사한 정확도를 달성하면서 짧은 지연 시간으로 객체 검출이 가능한 것을 확인하였다. The deep neural network (DNN) is computer vision technology required for intelligent applications such as face recognition, voice recognition, and object detection, etc. Since the DNN model contains a number of hidden layers and learning parameters, the object detection algorithm requires many computational resources. Therefore, it is difficult to perform object detection in resource-constrained environments such as mobile devices. In this paper, we proposed a context-aware model selection scheme for on-device object detection. To reduce the computational resources of the DNN model, we defined the object of interest (OOI) groups for each spatiotemporal domain and trained lightweight models for each domain. The proposed scheme determines the spatiotemporal domain based on the context information and selects the optimal DNN model to enable accurate object detection with a short latency.

온 디바이스 AI 기반 주행 환경 인식을 이용한 퍼스널 모빌리티 안전 제어 연구

강수혁(Soohyeok Kang),김근수(Geunsu Kim),박규도(Gyudo Park),노형태(Hyeongtae Noh),변세희(Sehee Byun) 한국자동차공학회 2022 한국자동차공학회 학술대회 및 전시회 Vol.2022 No.11

In this paper, we propose a method for recognizing the current driving environment and limiting the moving speed. For environment recognition, an on-device AI system using a smartphone’s camera and gps are configured. The recognized result is transmitted to mobility through bluetooth communication. In mobility, the logic that controls driving speed through torque control was designed according to the recognition result. Since this system has limited computing resources, it is necessary to use model compression techniques such as quantization or pruning to reduce the computational load while maintaining the performance of the AI model. So the trained model was quantized into types float16, int8, and full int8. The inference performance of quantized model was evaluated and applied on the CPU, GPU, and NPU of Samsung’s Galaxy S22 Ultra smartphone. Also, we tested the proposed method in the actual mobility system using the MOBILGO of the Hyundai KEFICO’s electric two-wheeled vehicle system.

온-디바이스 엣지 컴퓨터 기반 설비예지보존 솔루션 구축에 관한 연구

이용환(Yong-Hwan Lee),서진형(Jin-Hyung Suh) 한국컴퓨터정보학회 2020 韓國컴퓨터情報學會論文誌 Vol.25 No.4

본 연구에서는 현재 일반적인 스마트 팩토리에서 데이터 전송에 사용하는 중앙 집중형 시스템에서 발생하는 데이터를 중앙의 센터까지 전송, 처리할 때 발셍하는 전송 지연 등의 문제 해결을 위하여 필요한 곳에 연산과 저장 장치를 도입하는 분산 컴퓨팅 패러다임 (Distributed Computing Paradigm)인 온-디바이스 (On-Device) 기반 에지 컴퓨팅 (Edge Computing) 기술과 빅데이터 분석 기술 및 활용 방법의 연구를 통하여 설비 고장 등을 예지하여 가동율을 높일 수 있는 산업현장의 설비관리에 활용되는 솔루션을 제안한다. 그러나 에지 컴퓨팅 기반의 기술이 실제 적용되더라도 네트워크 에지에서 장치의 증가는 많은 양의 데이터가 데이터 센터로 전달되어 네트워크 대역이 한계치에 이르게 되어 네트워크 기술의 향상에도 데이터 센터는 수많은 응용에서 중요한 요건이 되는 수용 가능한 전송 속도와 응답 시간을 보장하지 못하게 된다. 이와 같은 요구조건을 수용할 수 있는 일체형 하드웨어 기술과 공장관리 및 제어 기술을 적용한 설비보존 및 스마트 팩토리 산업 분야에 적용할 수 있는 연구를 통하여 생산성 증대를 지원할 수 있는 지능적 설비관리를 지원하도록 하여 추후 빅데이터에 적합한 딥러닝을 적용할 수 있는 인공지능 기반 설비 예지 보전 분석 도구로 발전할 수 있는 기반을 제공한다. In this paper we propose an uses on-device-based edge computing technology and big data analysis methods through the use of on-device-based edge computing technology and analysis of big data, which are distributed computing paradigms that introduce computations and storage devices where necessary to solve problems such as transmission delays that occur when data is transmitted to central centers and processed in current general smart factories. However, even if edge computing-based technology is applied in practice, the increase in devices on the network edge will result in large amounts of data being transferred to the data center, resulting in the network band reaching its limits, which, despite the improvement of network technology, does not guarantee acceptable transfer speeds and response times, which are critical requirements for many applications. It provides the basis for developing into an AI-based facility prediction conservation analysis tool that can apply deep learning suitable for big data in the future by supporting intelligent facility management that can support productivity growth through research that can be applied to the field of facility preservation and smart factory industry with integrated hardware technology that can accommodate these requirements and factory management and control technology.

다중 응용시스템용 앱기반 2-채널 사용자 인증방안

송태기(Tae-Gi Song),조인준(In-June Jo) 한국콘텐츠학회 2018 한국콘텐츠학회논문지 Vol.18 No.9

현재 사용자가 조직 내 다중의 응용시스템들에 접근하기 위해서 사용되는 사용자인증기술은 ID/PW 기반의 SSO기술이 적용되고 있다. 이러한 사용자 인증방안은 ID/PW와 SSO의 근본적인 단점을 그대로 지니고 있다. 즉, ID/PW의 보안 취약점 때문에 PW의 주기적 변경 및 잘못된 PW입력 횟수 제한 등을 들 수 있고, SSO는 중앙 집중적으로 인증정보를 저장하는 SSO서버가 추가되기 때문에 고비용, 가용성 확보, 해킹 타겟 명확화 등의 문제를 지닌다. 또한 SSO로 포탈 응용화면에 접근 후 자리를 비웠을 때, 다른 사람이 자유롭게 타인의 응용시스템을 사용할 수 있는 근본적인 취약성이 있다. 본 논문에서는 기존에 사용되고 있는 ID/PW기반의 SSO 사용자 인증기술이 지닌 문제점들을 근본적으로 제거하기 위해 앱 기반 2-채널 인증방안을 제안하였다. 이를 위해 SSO서버에 저장되는 중앙 집중적인 사용자 인증정보를 각 개인의 스마트폰으로 분산시켰다. 그리고 사용자가 특정 응용시스템을 접근할 경우 항상 자신의 스마트폰 앱을 경유하여 인증되도록 하였다. Currently, the user authentication technology used by users to access multiple applications within an organization is being applied with ID/PW-based SSO technology. These user authentication methods have the fundamental disadvantages of ID/PW and SSO. This means that security vulnerabilities in ID/PW can lead to periodic changes in PWs and limits on the number of incorrect PW inputs, and SSO adds high cost of the SSO server, which centrally stores the authentication information, etc. There is also a fundamental vulnerability that allows others to freely use other peoples applications when they leave the portal application screen with SSO. In this paper, we proposed an app-based 2-channel authentication scheme to fundamentally eliminate problems with existing ID/PW-based SSO user authentication technologies. To this end, it distributed centralized user authentication information that is stored on SSO server to each individuals smartphone. In addition, when users access a particular application, they are required to be authenticated through their own smartphone apps.