A Guaranteed Real-time Scheduling Algorithm for (m, k)-firm Deadline-constrained Tasks on Multiprocessors

Cho, Hyeonjoong,Gong, Yeonhwa Taylor Francis 2013 IETE journal of research Vol.59 No.5

한정된 전력량을 가진 멀티프로세서 시스템에서 (m,k)-firm 데드라인 태스크를 위한 실시간 스케줄링 기법

공연화,조현중,Kong, Yeonhwa,Cho, Hyeonjoong 한국정보처리학회 2013 정보처리학회논문지. 컴퓨터 및 통신시스템 Vol.2 No.6

We propose Energy-constrained Multiprocessor Real-Time Scheduling algorithms for (m,k)-firm deadline constrained tasks (EMRTS-MK). Rather than simply saving as much energy as possible, we consider energy as hard constraint under which the system remains functional and delivers an acceptable performance at least during the prescribed mission time. We evaluate EMRTS-MKs in several experiments, which quantitatively show that they achieve the scheduling objectives. 본 연구에서는 전력량 제약을 가진 멀티프로세서 시스템에서 (m,k)-firm 데드라인을 갖는 실시간 태스크를 효율적으로 스케줄링 할 수 있는 방법으로 EMRTS-MK(Energy-constrained Multiprocessor Real-Time Scheduling algorithms for (m,k)-firm deadline constrained tasks) 를 제안한다. EMRTS-MK는 단지 전력 소모량을 최소로 줄이는 것이 목표가 아니라 한정된 전력량을 고려하여 시스템이 주어진 임무 시간(Mission Time) 동안 최소한의 서비스 품질을 보장하고 동시에 가능하면 최대한의 서비스 품질을 제공함을 목표로 한다. 본 연구에서는 상용멀티코어 환경에서 EMRTS-MK를 구현하여 성능을 평가하였으며, 제안된 알고리즘이 (m,k)-firm 데드라인을 갖는 멀티미디어 서비스를 효과적으로 지원해 줄 수 있다는 것을 보였다.

공중 포인팅을 위한 제스쳐 인식기반 핸드 헬드형 디바이스

서경은(Kyeongeun Seo),조현중(Hyeonjoong Cho) 한국HCI학회 2014 한국HCI학회 학술대회 Vol.2014 No.2

원격 거리에 있는 스크린을 제어하기 위한 기술로는 정밀한 센서가 탑재된 웨어러블 장치를 이용하는 방법과 스크린 쪽에 3D 센서을 설치하고 깊이 정보를 포함한 손의 움직임을 판단하여 제어하는 방법이 존재한다. 웨어러블기기를 활용한 방법은 섬세한 제어가 가능하다는 장점이 있으나 착용에 따른 불편함 등이 존재하고 설치형 3D 센서를 활용한 방법은 맨손으로 쉽게 제어할 수 있다는 장점이 있으나 섬세한 손의 움직임을 탐지하기 어렵고 센서의 탐지 범위를 벗어나면 제어가 불가능하다는 단점이 있다. 본 연구에서는 기존 방법의 단점을 극복하고 섬세한 제스처를 활용할 수 있는 핸드 헬드형 기기를 소개한다. 사용자들이 이미 익숙하게 사용하고 있는 TV 리모컨을 메타포로 차용하여 사용자가 쉽게 손에 쥘 수 있는 디자인을 고안하였으며 9축 자유도 센서를 이용하여 섬세한 손의 움직임을 탐지하도록 설계했다. 또한 버튼이 아닌 제스처 인식을 기반으로 하여 좀 더 자연스럽고 직관적인 제어가 가능하도록 하였으며 특히 비교적 섬세한 제스처인 엄지와 검지를 이용하는 핀치(pinch)를 활용할 수 있도록 설계되었다. 향후 원격 스크린 상에 표현되는 가상 버튼, 가상 다이얼 등 다양한 가상 위젯이 자연스러운 제스쳐와 접목 될 경우 원격 스크린 제어의 대안으로 발전 가능성이 있다고 판단된다. The gesture recognition-based controlling technology for a remote screen can be implemented either by wearable gloves equipped with various sensors or by 3D sensors established near the screen. The gloves enable subtle hand gestures to be detected but may cause inconvenience of wearing them whenever they are used. The 3D sensors-based gesture recognition allows users to control remote screens just with bare hands, but it may be difficult to detect subtle hand gestures and impossible to detect hand gestures out of range of sensing range. We focus on the middle ground between the aforementioned two methods to develop a user-friendly hand held device. The device is deigned to be easily held like the existing TV remote controllers and it is equipped with a 9 degree of freedom sensors, infrared emitters, and a infrared camera to detect subtle hand gestures. Especially, the device relies on pinching gestures that enable natural and intuitive control operation. When these gesture recognition is used together with virtual widgets like virtual buttons, virtual dials on remote screens, we believe that it has high potential to be an alternative remote controller in the near future.

수어 번역을 위한 3차원 컨볼루션 비전 트랜스포머

성호렬 ( Horyeor Seong ),조현중 ( Hyeonjoong Cho ) 한국정보처리학회 2024 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.13 No.3

한국에서 청각장애인은 지체장애인에 이어 두 번째로 많은 등록 장애인 그룹이다. 하지만 수어 기계 번역은 시장 성장성이 작고, 엄밀하게 주석처리가 된 데이터 세트가 부족해 발전 속도가 더디다. 한편, 최근 컴퓨터 비전과 패턴 인식 분야에서 트랜스포머를 사용한 모델이 많이 제안되고 있는데, 트랜스포머를 이용한 모델은 동작 인식, 비디오 분류 등의 분야에서 높은 성능을 보여오고 있다. 이에 따라 수어 기계 번역 분야에서도 트랜스포머를 도입하여 성능을 개선하려는 시도들이 제안되고 있다. 본 논문에서는 수어 번역을 위한 인식 부분을 트랜스포머와 3D-CNN을 융합한 3D-CvT를 제안한다. 또, PHOENIX-Wether-2014T [1]를 이용한 실험을 통해 제안 모델은 기존 모델보다 적은 연산량으로도 비슷한 번역 성능을 보이는 효율적인 모델임을 실험적으로 증명하였다. In the Republic of Korea, people with hearing impairments are the second-largest demographic within the registered disability community, following those with physical disabilities. Despite this demographic significance, research on sign language translation technology is limited due to several reasons including the limited market size and the lack of adequately annotated datasets. Despite the difficulties, a few researchers continue to improve the performance of sign language translation technologies by employing the recent advance of deep learning, for example, the transformer architecture, as the transformer-based models have demonstrated noteworthy performance in tasks such as action recognition and video classification. This study focuses on enhancing the recognition performance of sign language translation by combining transformers with 3D-CNN. Through experimental evaluations using the PHOENIX-Wether-2014T dataset [1], we show that the proposed model exhibits comparable performance to existing models in terms of Floating Point Operations Per Second (FLOPs).

Multi-rate fluid scheduling of mixed-criticality systems on multiprocessors

Ramanathan, Saravanan,Easwaran, Arvind,Cho, Hyeonjoong Kluwer Academic Publishers 2018 Real-time systems Vol.54 No.2

A Hand Gesture Recognition Method using Inertial Sensor for Rapid Operation on Embedded Device

( Sangyub Lee ),( Jaekyu Lee ),( Hyeonjoong Cho ) 한국인터넷정보학회 2020 KSII Transactions on Internet and Information Syst Vol.14 No.2

We propose a hand gesture recognition method that is compatible with a head-up display (HUD) including small processing resource. For fast link adaptation with HUD, it is necessary to rapidly process gesture recognition and send the minimum amount of driver hand gesture data from the wearable device. Therefore, we use a method that recognizes each hand gesture with an inertial measurement unit (IMU) sensor based on revised correlation matching. The method of gesture recognition is executed by calculating the correlation between every axis of the acquired data set. By classifying pre-defined gesture values and actions, the proposed method enables rapid recognition. Furthermore, we evaluate the performance of the algorithm, which can be implanted within wearable bands, requiring a minimal process load. The experimental results evaluated the feasibility and effectiveness of our decomposed correlation matching method. Furthermore, we tested the proposed algorithm to confirm the effectiveness of the system using pre-defined gestures of specific motions with a wearable platform device. The experimental results validated the feasibility and effectiveness of the proposed hand gesture recognition system. Despite being based on a very simple concept, the proposed algorithm showed good performance in recognition accuracy.

다중 세분화 자원 예약 기반의 저전력 실시간 스케쥴링 기법

선주형,조현중,Sun, Joohyung,Cho, Hyeonjoong 한국정보처리학회 2013 정보처리학회논문지. 컴퓨터 및 통신시스템 Vol.2 No.8

본 논문에서는 멀티미디어 서비스를 위한 파워-효율적인 고정 우선순위의 실시간 스케쥴링 알고리즘으로 다중 세분화 자원 예약 기반의 정적 전압 조절 알고리즘 (STATIC-MULTIRSV)을 제안한다. 다중 세분화 자원 예약은 전통적인 데드라인 기반의 자원 예약 보다 높은 연산 자원 사용률과 더 나은 태스크간 독립성을 제공하는 모델로서 [2]에서 소개된바 있다. 다중 세분화 모델을 기반으로 제안된 STATIC-MULTIRSV 알고리즘은 비디오 스트림들의 I-프레임들을 각각의 데드라인을 모두 만족하는 것을 보장하면서 파워 소비를 줄이도록 고안되었다. 제안된 알고리즘은 실시간 리눅스[6] 상에서 구현을 통해 실험적으로 기존의 방법에 비해 파워 소모를 최대 15%까지 줄였음을 보였다. We proposes a power-aware fixed-priority real-time scheduling algorithm for multimedia service, called static voltage scaling algorithm with multi-granularity resource reservation (STATIC-MULTIRSV). The multi-granularity resource reservation was introduced to deliver higher system utilization and better temporal isolation than the traditional approaches in [2]. Based on this, our STATIC-MULTIRSV is designed to reduce the power consumptions while guaranteeing that all I-frames of each video stream meet their deadlines. We implemented the proposed algorithm on top of ChronOS Real-time Linux [6]. We experimentally compared STATIC-MULTIRSV with other existing methods which showed that STATIC-MULTIRSV reduce power consumption by maximum 15% compared to its experimental counterparts.

Energy-Efficient Biometrics-Based Remote User Authentication for Mobile Multimedia IoT Application

( Sungju Lee ),( Jaewon Sa ),( Hyeonjoong Cho ),( Daihee Park ) 한국인터넷정보학회 2017 KSII Transactions on Internet and Information Syst Vol.11 No.12

Recently, the biometric-based authentication systems such as FIDO (Fast Identity Online) are increased in mobile computing environments. The biometric-based authentication systems are performed on the mobile devices with the battery, the improving energy efficiency is important issue. In the case, the size of images (i.e., face, fingerprint, iris, and etc.) affects both recognition accuracy and energy consumption, and hence the tradeoff analysis between the both recognition accuracy and energy consumption is necessary. In this paper, we propose an energy-efficient way to authenticate based on biometric information with tradeoff analysis between the both recognition accuracy and energy consumption in multimedia IoT (Internet of Things) transmission environments. We select the facial information among biometric information, and especially consider the multicore-based mobile devices. Based on our experimental results, we prove that the proposed approach can enhance the energy efficiency of GABOR+LBP+GRAY VALUE, GABOR+LBP, GABOR, and LBP by factors of 6.8, 3.6, 3.6, and 2.4 over the baseline, respectively, while satisfying user's face recognition accuracy.

A Study of Mobile Edge Computing System Architecture for Connected Car Media Services on Highway

( Sangyub Lee ),( Jaekyu Lee ),( Hyeonjoong Cho ) 한국인터넷정보학회 2018 KSII Transactions on Internet and Information Syst Vol.12 No.12

The new mobile edge network architecture has been required for an increasing amount of traffic, quality requirements, advanced driver assistance system for autonomous driving and new cloud computing demands on highway. This article proposes a hierarchical cloud computing architecture to enhance performance by using adaptive data load distribution for buses that play the role of edge computing server. A vehicular dynamic cloud is based on wireless architecture including Wireless Local Area Network and Long Term Evolution Advanced communication is used for data transmission between moving buses and cars. The main advantages of the proposed architecture include both a reduction of data loading for top layer cloud server and effective data distribution on traffic jam highway where moving vehicles require video on demand (VOD) services from server. Through the description of real environment based on NS-2 network simulation, we conducted experiments to validate the proposed new architecture. Moreover, we show the feasibility and effectiveness for the connected car media service on highway.

Lip and Voice Synchronization Using Visual Attention

윤동련 ( Dongryun Yoon ),조현중 ( Hyeonjoong Cho ) 한국정보처리학회 2024 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.13 No.4

본 연구에서는 얼굴 동영상에서 입술의 움직임과 음성 간의 동기화 탐지 방법을 제안한다. 기존의 연구에서는 얼굴 탐지 기술로 얼굴 영역의 바운딩 박스를 도출하고, 박스의 하단 절반 영역을 시각 인코더의 입력으로 사용하여 입술-음성 동기화 탐지에 필요한 시각적인 특징을 추출하였다. 본 연구에서는 입술-음성 동기화 탐지 모델이 음성 정보의 발화 영역인 입술에 더 집중할 수 있도록 사전 학습된 시각적 Attention 기반의 인코더 도입을 제안한다. 이를 위해 음성 정보 없이 시각적 정보만으로 발화하는 말을 예측하는 독순술(Lip-Reading)에서 사용된 Visual Transformer Pooling(VTP) 모듈을 인코더로 채택했다. 그리고, 제안 방법이 학습 파라미터 수가 적음에도 불구하고 LRS2 데이터 세트에서 다섯 프레임 기준으로 94.5% 정확도를 보임으로써 최근 모델인 VocaList를 능가하는 것을 실험적으로 증명하였다. 또, 제안 방법은 학습에 사용되지 않은 Acappella 데이터셋에서도 VocaList 모델보다 8% 가량의 성능 향상이 있음을 확인하였다. This study explores lip-sync detection, focusing on the synchronization between lip movements and voices in videos. Typically, lip-sync detection techniques involve cropping the facial area of a given video, utilizing the lower half of the cropped box as input for the visual encoder to extract visual features. To enhance the emphasis on the articulatory region of lips for more accurate lip-sync detection, we propose utilizing a pre-trained visual attention-based encoder. The Visual Transformer Pooling (VTP) module is employed as the visual encoder, originally designed for the lip-reading task, predicting the script based solely on visual information without audio. Our experimental results demonstrate that, despite having fewer learning parameters, our proposed method outperforms the latest model, VocaList, on the LRS2 dataset, achieving a lip-sync detection accuracy of 94.5% based on five context frames. Moreover, our approach exhibits an approximately 8% superiority over VocaList in lip-sync detection accuracy, even on an untrained dataset, Acappella.