공격에 강인한 DRM 소프트웨어 보호 기술 연구 : MPEG-4 ISMACryp 기반의 콘텐츠 유통 시스템 기술 연구

정재웅 세종대학교 대학원 2005 국내석사

DRM은 소프트웨어 보안 기술과 인증서 기반의 유통 주체 인증 기술을 통해서 사용자 환경에서의 디지털 콘텐츠 및 플레이 환경 보호 기능을 제공할 수 있다. 현재 이와 같은 소프트웨어 보안 기술은 크게 발전하는 추세이다. 본 논문에서는 ISMA 표준에 DRM 기법이 적용된 ISMACryp 표준을 기반으로 패키징 소프트웨어를 개발하였고 임베디드 리눅스 셋탑박스 환경의 콘텐츠 유통 시스템에 적용하였다. DRM provides a protection mechanism of digital contents in a distributed software environment. Currently, software security based on PKI technologies grows rapidly. In this paper, we develope packaging software based on ISMACryp standards and apply the developed system a commercial version of embedded linux set-top box.

스마트 관제 시스템에서의 기계학습 기술 구동을 위한 사용자 인터페이스 설계에 관한 연구

이수민 세종대학교 대학원 2021 국내석사

최근 영상처리 및 기계학습에 대한 관심이 높아짐에 따라 다양한 분야에서 해당 기술을 적용한 제품 및 서비스 등이 요구되고 있다. 특히, CCTV 관제 시스템 분야에서는 영상 데이터에 적용 가능한 영상처리 및 기계학습 기술을 자체적으로 개발하거나 구입하여 시스템에 탑재하고 있으며 이에 따라 비전문가인 사람들의 관심도 높아지고 있다. 하지만 기계학습 분야에 대한 전문가의 수는 부족하며, 해당 전문지식을 습득 및 시제품 개발까지는 많은 시간과 비용이 소모되기 때문에 전문가 양성에 어려움을 겪고 있다. 또한, 시제품을 구입하여 사용하더라도 기계학습 모델 학습 시스템을 사용하는 경우, 전문 지식이 없으면 용어에 대한 이해나 시스템 사용에 어려움이 있어 사용자가 직접 모델을 설계하고 데이터셋을 수집하는 데에는 어려움이 존재한다. 본 논문에서는 영상처리 및 기계학습 기술이 탑재되어 있는 스마트 관제 시스템에서 기계학습 기술을 구동하기 위한 사용자 인터페이스를 설계하였으며, 사용자 인터페이스를 설계하기에 앞서 기존에 출시된 딥러닝 모델 학습 시스템 중 영상 및 이미지 데이터를 사용할 수 있는 시스템에 대해 조사하고 각 시스템의 기능 및 장단점을 분석하였다. 분석한 내용을 기반으로 기존 시스템의 장점을 벤치마킹하고 단점을 보완하여 시스템을 설계하였으며, 제안하는 시스템의 기능은 기계학습 모델 생성 방법 및 순서에 따라 Data Selection, Model Training, Model Testing 기능으로 나누었다. 시스템에서 제공하는 기계학습 기술은 Domain으로 분류하고 관제 기능의 효율을 극대화시킬 수 있는 Anomaly와 Action과 관련된 기술을 우선적으로 선별 및 모듈화하여 탑재하였으며, 사용자가 관련 데이터셋을 수집하는 데 소비하는 시간을 줄일 수 있도록 데이터셋을 수집하여 시스템에서 제공할 수 있도록 하였다. Data Selection 기능은 기계학습 모델 생성에 필요한 데이터셋을 선택할 수 있는 기능으로, 사용자의 목적에 따라 기계학습 기술을 선택할 수 있으며, 선택한 기술에 따라 시스템에서 제공하는 Sample Data 또는 사용자가 보유한 Custom Data를 구성 및 선택할 수 있다. Model Training 기능은 Data Selection에서 선택한 기술 및 데이터를 사용하여 모델을 학습할 수 있는 기능으로, 모델 학습 과정에서 필요한 파라미터 예시 값을 추천하고 모델학습 과정에 대한 log 및 그래프를 제공하여 사용자가 보다 쉽게 모델을 생성할 수 있도록 하였다. Model Testing 기능은 Model Training 기능에서 생성한 모델에 대해 테스트할 수 있는 기능으로, 테스트 결과에 대한 파일 및 영상을 확인할 수 있도록 설계하였다. 향후 연구로는 본 논문에서 정의하였던 Domain 이외에 관제 시스템에서 구동할 수 있는 Domain을 추가로 정의하고 관련 기술과 데이터셋을 고도화하고자 하며, 영상 전처리 기술 등을 추가적으로 탑재하고자 한다. 또한, 사용자 평가를 실시하여 사용성 높은 시스템을 개발하고자 한다.

Machine learning?based prediction model and big data-associated risk factors of COVID-19

연동건 세종대학교 대학원 2024 국내박사

CCTV 영상 분석을 위한 스마트 관제 시스템 구현을 위한 설계에 관한 연구

이혜원 세종대학교 대학원 2021 국내석사

영상처리 기술의 발전과 시각 센서의 기능이 발달하면서 관련 연구의 활용성이 증대되고 있다. 이에 따라 시각 센서와 영상처리 기술이 가장 크게 활용되고 있는 CCTV 관제시스템의 활용 분야가 넓어지면서 관제시스템을 활용하는 사용자 집단이 넓어지고 있다. 하지만 현재 제공되는 시스템들은 단일 시스템만으로는 영상 분석을 원활히 수행하기 어렵고, 단순히 기기로부터 입력받는 영상을 표출하는 기능만을 제공하거나 시스템이 제공하는 분석 기술이 다양하더라도 이를 실제로 활용하여 더 고수준의 분석 결과를 도출하기 위해서는 시스템 외적인 데이터가 추가로 필요하다는 문제점이 존재한다. 또한, 시스템이 제공하는 UI나 사용되는 용어 등의 직관성이 떨어지고 전문적인 지식을 요구하여 사용성이 떨어지는 한계가 존재한다. 따라서 본 논문에서는 더욱 보편적인 활용이 이루어질 수 있도록 직관적인 UI를 제공하고, 단일 시스템으로도 고수준의 영상 분석 결과를 도출할 수 있도록 충분한 데이터와 기능을 제공하는 시스템을 제안한다. 관제시스템을 설계하기에 앞서 이미 개발되어있는 관제시스템과 VMS를 조사하고 수집하여 기존 시스템이 제공하고 있는 영상 분석을 위한 도구들과 그 사용성에 대한 분석을 수행하였으며, 분석 과정에서 도출된 타 시스템의 특장점을 참고하고 한계점을 보완하여 시스템 설계에 활용하였다. 제안하는 관제시스템의 기능은 크게 정보 시각화, 영상 관제, 영상 분석 기능으로 나뉘며, 상위 3개의 기능부터 그 하위 기능까지 모듈화하여 추후 수정이 자유로이 이루어질 수 있도록 하였다. 정보 시각화 기능은 외부 데이터와의 결합 및 시각화를 통해 영상 분석 시 사용자가 추가적인 정보를 보다 편리하게 활용할 수 있도록 하였으며, 영상 관제 기능은 직관적인 레이아웃 구성과 영상 개수에 따른 자동 레이아웃 변경, 정보 시각화 기능 및 영상 분석 기능 간의 정보 전달을 통해 영상을 보다 효율적으로 확인할 수 있도록 하였다. 영상 분석 기능은 타 관제시스템에서 공통으로 사용되는 요소 기술만을 부착하여 사용자가 영상에서 핵심적인 정보만을 추출할 수 있도록 설계하였다. 제안한 시스템의 평가를 위해 소프트웨어 품질평가 표준모델 및 시스템 사용 만족도 모델을 참고하여 사용자 설문을 작성하였으며, 데모 시스템 영상과 함께 배포하였다. 설문 결과 본 논문에서 제안하는 시스템은 유지 보수성과 기능 적합성 측면에서 높은 성과를 이루어냈음을 알 수 있었으며, 이는 본 논문에서 제안한 시스템이 향후 고도화될 수 있는 높은 확장성을 지니고 있으며 제공하는 기능들이 영상 분석을 위해 효과적으로 활용될 수 있음을 의미한다. 향후 연구에서는 시스템에 사용된 기능 간의 통합과 고도화를 통해 새로운 형태의 영상 관제 및 분석 도구를 제공하는 관제시스템을 구축하고자 한다. With the developments of imaging technology and the advancements in visual sensor functionalities, the utilization of related research is increasing. As a result, the use of CCTV control systems, which are the most widely used visual sensors and video processing technologies, has expanded, and the number of users utilizing control systems is increasing. However, currently provided systems have limited potentials to perform video analysis smoothly with a single system, and they only provide the function of expressing the video received from the device. Even if they have the analysis technology, it is diverse with reduced available functions. In order to derive higher-level analysis results from these systems, there is a problem that additional data from outside the system is required. In addition, the UI provided by existing systems and the terms used are less intuitive, and there is a limit in which the usability is lowered by requiring specialized knowledge. Therefore, in this paper, we propose a system that provides an intuitive UI for more universal use and provides sufficient data and functions to derive high-level video analysis results even with a single system. Prior to designing the control system, the already developed control system and VMS were deeply investigated and collected to analyze the tools and their usability for video analysis provided by the existing systems, and the features of other systems derived from the analysis process were referenced and the limitations were supplemented and utilized in the system design. The functions of the proposed control system are largely divided into information visualization, video control, and video analysis functions, and can be updated freely in the future as it is modularized from the top three functions into lower functions. The information visualization function allows users to observe additional information more conveniently when analyzing videos in a combined form and visualizing it using external data. The video control function has an intuitive layout configuration and automatic layout change abilities according to the number of videos, information visualization function. Through the transfer of information between the video analysis functions, the video can be checked more efficiently. The video analysis function is designed so that the user can extract only essential information from the video by attaching only the specific technologies commonly used in other control systems. For the evaluation of the proposed system, a user questionnaire was created by referring to the software quality evaluation standard model and the system use satisfaction model. We distributed the questionnaire along with the demo system video. The survey results showed that the system proposed in this paper has achieved high performance in terms of maintenance and function suitability, which means that the system proposed in this paper has high scalability to be advanced in the future and the functions provided can be used effectively for video analysis. In future research, we intend to build a control system that provides a new type of video control and analysis tool through integration and advancement of functions used in the system.

Advanced Study of Emotion Recognition Based on Speech Signals using Deep Learning

Mustaqeem 세종대학교 대학원 2022 국내박사

Speech is the best significant way of communication between human beings and a potential way for human-computer interaction (HCI). Assessable emotion recognition using sensors as audio signals is an emerging domain of research in HCI. That applies to multiple applications such as virtual reality, human-reboot interaction, healthcare, behavior assessment, and emergency call centers to determine the user's emotional state from his/her speech. Nowadays, the baseline speech emotion recognition (SER) method has quite a low accuracy and high computation which needs improvement to make it feasible for real-time commercial applications. The key reason for low accuracy and high computational cost is the scarceness of datasets, feature selection, and model configuration. Similarly, emotion recognition is an active and open issue in the current era that plays a crucial role in real-time applications. In the current era, the SER system has lacked real-time speech processing. As we know, emotion recognition from oral speech signals is one of the important and challenging tasks due to multi-modality and limited data availability. Nowadays, a smart system is required for real-world applications to efficiently process and recognize the responsive state of the speaker. To enhance the analytical abilities to assist the communication by a human-machine interface (HMI). It is necessary to design a reliable and robust SER system, which efficiently recognizes the emotions through various modalities such as oral speech, images, videos, gestures, phonemes, and text transcription. This study addresses the stated challenges by investigating high-level models and algorithms including 1D/2D CNNs models. Sequential models, long short-term memory (LSTM), gated recurrent unit (GRU), self-attention mechanism, and auto-encoders for SER. Due to these, we achieved better precision with effective processing compared to state-of-the-art methods. In this study, we present major four contributions to SER using advanced deep learning techniques. That analyzed and learn the spatial, spectral, and temporal cues of speech signals and efficiently identify the human behavior/emotion during his/her speech. The details of each proposed technique are as follow: (1) Propose a novel artificial intelligence (AI) assisted deep stride convolutional neural network (DSCNN) scheme using the plain nets approach to learn salient and discriminative cues from the spectrogram. The limited hidden patterns are learned in convolutional layers with distinctive strides. To down-sample, the extracted feature maps rather than pooling layer and global high-level cues are learned in fully connected layers. (2) Propose an end-to-end real-time SER model that is based on a 1D dilated convolutional neural network (DCNN). Our model used a multi-learning strategy to parallel extract spatial salient emotional features and long-term contextual dependencies from the speech signals. The modal used residual blocks with a skip connection (RBSC) module, to find a correlation, the emotional cues. And the sequence learning (Seq_L) module, to learn long-term contextual dependencies from input features. (3) Propose a novel modest and lightweight deep learning-based SER with a self-attention module called the bottleneck attention module (BAM). In this model, a multi-layer perceptron (MLP) is used in channel attention to learn global cues. And dilated (CNN) is used in spatial attention to extract spatial information from the input tensor. Furthermore, we merge, both attentions, spatial and channel and produce the combined attention weights as a bottleneck attention module. We placed the proposed BAM in the middle of convolutional and fully-connected layers and trained the system in an end-to-end manner. (4) propose a two-stream deep convolutional neural network (DCNN) with an advanced version of neighborhood component analysis called iterative NCA. To learn jointly spatial-spectral cues and select the most discriminative optimal features for final prediction. Our model composes two-channel each channel is concerned with a CNN structure to learn features from speech signals. The first channel extracts features from the spectral pitch and the other channel extracts cues from the spatial area. Finally, fused both and fed to INCA to remove the severance and select optimal features for final model training. The ablation studies and comprehensive experiments are accompanied over IEMOCAP, RAVDESS, SAVEE, and EMO-DB speech emotion datasets. Our all proposed system shows consistent improvements in experiments for all mentioned datasets, respectively. Testing and prediction performance of the proposed systems shows the significance, efficiency, and effectiveness on each dataset from 3% to 6% over state-of-the-art methods. 음성은 인간 사이의 의사소통에서 가장 효과적인 도구이며, 인간과 컴퓨터의 상호작용에서 중요한 연구방법이다. 오디오 신호로부터 기록된 신호를 평가하는 감정인식은 가상현실, 헬스케어 인간과 로봇의 상호작용 등 다양한 분야로 적용되는 새로운 연구분야이다. 하지만, 현재 음성기반 감정인식은 인식정확도가 현저히 낮고 연산량이 많기 때문에 다양한 음성 특징요소를 활용하여 실시간으로 적용할 수 있도록 개선이 필요하다. 우리의 삶에 있어서 가장 중요한 의사소통 방법은 음성이며, 음성에서 나타나는 오디오 신호 기반의 감정인식은 가상현실, 메타버스 디지털 헬스케어 등 응용 프로그램에 적용될 수 있는 새로운 연구분야이다. 하지만 이러한 음성기반 감정인식(SER) 방법은 그 인식정확도가 현저히 낮고 , 연산량이 높기 때문에 실시간으로 적용가능한 프로그램으로 적용하기 위해서는 개선이 필요하며,이와 더불어 실시간 감정인식 응용프로그램은 현시대에 있어서 능동적으로 개발이 필요하다. 또한, 자유발화에서의 음성신호는 데이터의 가용성으로 인해 인식율이 낮기 때문에 실제 발표자의 응답상태에 대한 영상, 이미지, 행동, 언어 등 효율적으로 처리 및 인식하기 위한 안정적인 스마트 SER 시스템이 필요하다. 본 연구에서는 1D/2D CNN 모델, LSTM(Long Short-Term Memory) 순차 모델 및 GRU(Gated recurrent unit), 자가 주의 메커니즘Self-Attention Mechanism (SAM), 및 자동 인코더를 포함한 고급 모델 및 알고리즘을 조사하여 기존의 문제점을 보완하고 효과적인 처리로 향상된 음성기반 감정인식 시스템을 구축하고자 한다. 본 연구에서는 음성 신호의 공간적, 스펙트럼 및 시간적 단서를 분석 및 학습하고 음성 중 인간의 행동/감정을 효율적으로 식별하는 고급 딥 러닝 기술을 사용하여 SER에 대한 네 가지 주요 기여를 제시하고자 한다 : (1) 스펙트로그램에서 현저하고 판별적인 단서를 학습하기 위해 일반 네트 접근 방식을 사용하여 새로운 인공 지능(AI) 지원 DSCNN(딥 스트라이드 컨볼루션 신경망) 방식을 제안한다. 제한된 은닉 패턴은 풀링 레이어가 아닌 추출된 피쳐 맵을 다운샘플링하기 위해 고유한 보폭으로 컨볼루션 레이어에서 학습되고 전역 고수준 신호는 완전 연결 레이어에서 학습된다. (2) 1D 확장 컨볼루션 신경망(DCNN)을 기반으로 하는 종단 간 실시간 SER 모델을 제안한다. 우리의 모델은 다중 학습 전략을 사용하여 음성 신호에서 공간적으로 두드러진 감정적 특징과 장기적 맥락 종속성을 병렬로 추출하였으며, 모달은 RBSC(스킵 연결) 모듈과 함께 잔차 블록을 사용하여 상관 관계, 감정 신호, 시퀀스 학습(Seq_L) 모듈을 사용하여 입력 기능에서 장기적인 컨텍스트 종속성을 학습한다. (3) Bottleneck attention module (BAM) 을 사용하여 새로운 겸손하고 가벼운 딥 러닝 기반 SER을 제안합니다. 이 모델에서 다층 퍼셉트론 multi-layer perceptron (MLP)은 전역 신호를 학습하기 위해 채널 주의에 사용되며 확장(CNN)은 입력 텐서에서 공간 정보를 추출하는 공간 주의에 사용됩니다. 또한, 우리는 Attention, 공간 및 채널을 병합하고 병목 주의 모듈로 결합된 Attention 가중치를 생성합니다. 우리는 제안된 BAM을 합성곱 계층과 완전 연결 계층의 중간에 배치하고 종단 간 방식으로 시스템을 훈련했습니다. (4) 공간 스펙트럼 신호를 공동으로 학습하고 최종 예측을 위해 가장 구별되는 최적의 기능을 선택하기 위해 반복 NCA (neighborhood component analysis )라고 하는 고급 버전의 이웃 구성 요소 분석을 사용하는 2스트림 DCNN(딥 컨볼루션 신경망)을 제안합니다. 제안하는 모델은 음성 신호에서 특징을 학습하기 위해 CNN 구조와 관련된 각 채널을 2채널로 구성합니다. 첫 번째 채널은 스펙트럼 피치에서 특징을 추출하고 다른 채널은 공간 영역에서 큐를 추출한 다음 융합 및 INCA에 공급하여 절단을 제거하고 최종 모델 교육을 위한 최적의 특징을 선택합니다. 또한, 기존의 IEMOCAP, RAVDESS, SAVEE 및 EMO-DB 를 활용한 다양한 비교연구를 통하여 본 연구에서 제안된 시스템에서 3~6%의 향상된 성능을 확인을 통하여 음성기반 감정인식에 있어서 유효한 결과를 보여준다.

(A) Study of Sequential Deep Learning-based Methods for Violence Detection in Videos

Ullah, Fath U Min 세종대학교 대학원 2023 국내박사

전 세계적으로 설치된 감시 시스템은 지속적으로 방대한 양의 영상 데이터가 수집되고 있으며 다양한 이벤트를 인식하기 위한 감시 시나리오를 모니터링하는 노력이 필요하다. 현재 전 세계 도시의 안전 및 보안에 대한 위험성이 증가하면서 행동 모니터링을 위한 디지털 카메라 사용의 필요성이 생겼으며, 비정상 이벤트는 탐지, 특히 폭력 탐지(VD)가 필요하고, 현재 폭력 및 비폭력 사건을 식별하여 안전과 보안을 보장하기 위해 스마트한 자동 감시 시스템의 요구성과 필요성이 높아지고 있다. 폭력의 자동 감지는 감시 분야의 트렌드가 되었지만 카메라의 움직임, 흩어진 배경, 시각적 요소의 유사성, 선명한 조명, 계산 복잡성을 줄임으로써 영상 스트림의 효과적인 분석 등 다양한 문제를 겪고 있다. 현재 폭력탐지 방법은 복잡한 분류기와 함께 CNN (Convolutional Neural Networks) 을 활용하고 있으며 신속한 응답을 얻기 위한 허들을 생성한다. 본 논문은 3D-CNN, GRU (Gated recurrent unit), LSTM (long-short term memory) 및 폭력 탐지용 Convolutional LSTM(ConvLSTM)과 같은 심층 네트워크를 조사하여 이러한 문제를 해결함으로써 기존 연구보다 높은 정확도를 달성하였다. 본 논문에서는 먼저 VD 영역의 사상, 경향, 표현을 파악하기 위한 비판적 검토를 수행하고, 사전 및 실제 처리, 중간 단계, 일반적인 흐름 및 연구 결과를 수행한다. 딥러닝 및 순차 학습 매커니즘을 기반으로 하는 폭력 탐지 방법을 제안하였으며, 첫번째 기법은 경량 CNN 모델을 통해 실제 처리하기 전 객체를 검출하는 3단계 심층 네트워크를 기반으로 수행하며 객체가 있는 프레임은 3D-CNN을 통해 시공간 특징 추출을 수행하고 fully connected layer를 통해 폭력적인 장면 감지를 수행한다. 두번째 방법은 폭력 탐지에 대한 감시 영상 패턴을 분석하기 위해 계산적으로 지능적인 접근 방식을 제안하였으며, 감시 프레임 (사람 및 차량 포함) 에서 temporal optical flow 특징을 추출하고 CNN 모델을 통해 추출한 모양 불변 특징과 연결한 후 프레임 시퀀스의 폭력 패턴을 학습하기 위해 LSTM으로 전달한다. 본 방법은 실내 및 실외 감시에 대해 잘 연구되어 상대적으로 더 높은 성능을 제공한다. 본 논문의 세번째 방법은 인공지능(AI)이 가능한 IoT 기반 프레임워크를 제안하였으며 CNN 기반의 경량 객체 탐지를 수행하여 정보 수집을 수행함으로써 IoT에 대한 생각을 전환한다. ConvLSTM을 통해 객체가 있는 프레임의 특징을 추출하고 최종 폭력 탐지를 위해 GRU로 전파된다. 동일한 방법으로 다양한 감시 시나리오에서 녹화된 폭력 및 비폭력 비디오를 수집하는 산업 감지 데이터셋을 제안한다. 본 논문에서 제안된 방법은 Hockey Fight, Surveillance Fight, RWF-2000, Violent Flow, and Violence in Movies 데이터셋을 포함한 5가지의 표준 데이터셋을 사용하여 평가하였다. 다양한 평가지표와 수행된 실험을 통해 제안한 방법의 우수성을 입증하였으며, 최신 방법과 비교하여 정확도를 1%에서 3% 향상시켰다. Surveillance systems are installed globally, continuously acquiring massive amounts of video data, requiring human efforts to monitor the surveillance scenarios to recognize different events. The current rise in the threats to safety and security in cities worldwide creates the need to use digital cameras for activity monitoring. The abnormal events are the cases where the detection, particularly the (fight) violence detection (VD) is needed. An automatic and smarter surveillance system is currently most demanded to ensure safety and security by identifying violent and non-violent events. Automatic detection of violence has become a trend in surveillance, though, it suffers from different challenges, including camera motion, scattered background, similarity in visual contents, distinct lighting, and effective analysis of video streams by maintaining less computational complexity. The current VD methods utilize convolutional neural networks (CNN) with complex classifiers, building hurdles to obtain a prompt response in the case of VD. This dissertation tackles such challenges by investigating deep networks such as 3D-CNNs, gated recurrent unit (GRU), long-short term memory (LSTM), and convolutional LSTM (ConvLSTM) for VD, thereby attaining better accuracy against state-of-the-art and offering computationally efficient VD methods. In this dissertation, firstly, a critical review is performed to obtain the thoughts, trends, and expressions of VD domain, explaining the pre- and actual processing, intermediate steps, generic flows, and the challenges faced to obtain the research results. Likewise, VD methods based on deep learning and sequential learning mechanisms are introduced. In this dissertation, the first technique is based on a triple-staged deep network where the objects before actual processing are detected via a lightweight CNN model. The second method proposes a computationally intelligent approach to analyze the surveillance video patterns for VD. This method extracts the temporal optical flow features from the surveillance frames (with human and vehicles) and concatenates them with the appearance–invariant features extracted from a CNN model. The final features are forwarded into LSTM for learning the violence patterns in the frames sequence. This method is well-investigated for indoor and outdoor surveillance, resulting in comparatively better performance. The third method in this dissertation transforms its thoughts toward the Internet of Things (IoT) by proposing an artificial intelligence (AI)-enabled IoT-based framework, performing lightweight CNN-based object detection for information collection. The features from the frames with objects are extracted using ConvLSTM and its latter is propagated to GRU for final VD. In the same method, we proposed an industrial surveillance dataset, collecting violent and non-violent videos recorded in different surveillance scenarios. The proposed methods are evaluated using five standard datasets, including Hockey Fight, Surveillance Camera Fight, RWF-2000, Violent Flow, and Violence in Movies datasets. Different evaluation metrics and the conducted ablation studies prove the superiority of the proposed methods and improve the accuracy from 1% to 3% against state-of-the-art methods.

단백질 기능 예측을 위한 그래프 대조 학습을 사용하는 신규 서열 기반 계층인식 방법

최규담 세종대학교 대학원 2023 국내석사

포스트게놈 시대에 들어오면서, 단백질의 기능 주석은 단백질 서열 데이터의 증가 속도를 따라가지 못하고 있다. 이를 해결하기 위하여 전산 방법이 등장하였다. 단백질 기능은 Gene Ontology (GO)로 표현되고, 이는 계층구조의 형태를 가진다. 본 연구는 전산 방법 중 서열 기반 방법에서 신규 계층구조 인식 방법을 제안한다. 계층구조 인식 방법은 GO term들 간의 연관성을 활용함으로써 GO term들을 독립적인 레이블로 간주하는 평면 방법 대비 성능을 향상시켰지만, 여전히 훈련 데이터세트에 의존하기 때문에 GO term에 대한 일반화 가능성과 확장성이 모두 부족하다. 본 연구는 자체 지도 학습 모델인 그래프 대조 학습을 적용하여 GO term들 간의 상관관계를 학습함으로써 훈련 데이터세트에 대한 의존성을 감소시켰다. 또한, 사전 학습된 언어 모델로 서열을 표현함으로써 일반화된 서열 표현을 얻었다. 제안 모델은 CAFA3와 TALE 데이터세트에서 모두 비교 모델보다 우수한 성능을 얻었다. 또한, 훈련 데이터세트에 희소하거나 언급되지 않은 GO term에서 우수한 성능을 가짐으로써 GO term의 일반화 및 확장 가능성을 보여주었다.

(An) online graph processing engine for temporal information diffusion analysis using incremental computation

Gaza, Haifa Lapuz 세종대학교 대학원 2023 국내석사

Temporal information diffusion analysis explains the spread of information throughout a temporal graph over time. Temporal graph traversal platforms have been proposed for this type of analysis; however, handling infinitely evolving temporal data remains infeasible, especially for monitoring applications. We aim to resolve this problem to enable the monitoring of temporal information from sources of interest when new events are added, or existing events are omitted from the graph. We propose an incremental approach and its graph processing engine, Kairos, to avoid the re-computation of the analysis from scratch on every graph update. This approach enables the immediate processing of diffusion results for sources of interest by traversing only a part of the whole network. It avoids full traversals influenced by a small change on the network, thus making the monitoring applications feasible. Our experiments show that applications can process graph changes and perform (near) real-time analyses through incremental computation. As a case study, we apply Kairos to an information system for object traceability, a problem closely related to temporal information diffusion. 템포럴 정보 확산 분석은 시간에 흐름에 따라 정보가 어떻게 확산되는지를 분석하기 위해 제안되었다. 효율적인 템포럴 정보 확산 분석을 위해 최근 템포럴 그래프 순회 플랫폼이 제안되었으나, 무한히 증식하는 템포럴 데이터를 다루는 것은 여전히 실현 가능성이 떨어져, 모니터링 시스템 등에서는 사용되기가 불가능하다. 우리는 템포럴 그래프에 새로운 이벤트가 추가되거나 그래프에서 기존의 이벤트가 삭제되는 등 템포럴 그래프의 변형을 모니터링 할 수 있는 시스템에 대한 연구를 수행하였다. 석사논문에서 템포럴 정보 확산의 점진적인 계산 기법과 이를 가능하게 하는 Kairos 그래프 처리 엔진을 제안한다. 제안하는 점진적인 계산 기법은 그래프 변형마다 전체 그래프에 대한 재계산 없이 중간 계산결과를 부분 그래프를 순회하여 계산하는것이 핵심이다. 평가에 의하면 제안하는 점진적인 계산 기법을 도입한 Kairos 엔진은 실세계 데이터에 대해 이벤트의 추가 뿐만이 아니라 삭제에 대해 실시간 분석을 가능하게 함을 보일 수 있었다. 뿐만이 아니라, 식품 공급망 이력추적이 템포럴 정보 확산과 밀접한 연관을 갖고 있음에 착안하여, 기존의 시스템에 Kairos에 적용하여 실시간 이력추적이 가능함을 보였다.

정성 데이터를 활용한 주가 분석 연구 : 종목 공시 정보를 중심으로

정지수 세종대학교 대학원 2021 국내석사

본 논문에서는 정량적 분석을 통한 주가 분석의 한계점을 정성적 분석을 통한 방법으로 해결하기 위한 방법을 제시한다. 실험을 위해 수년간 수집한 공시와 주가 데이터를 사용한다. 정성 데이터로 10개의 공시 종류를 연구 진행함에 따라 중요도가 높은 공시 유형을 분석하고 어떤 공시가 주가 등락에 영향을 주는지에 대해 분석한다. 정성 데이터 분석 방안으로 학습데이터와 실험데이터를 분리하고 문서 임베딩 모델과 예측 모델을 구축한 후 주가 분석을 진행한다. 결과적으로 정량 데이터로 예측하기 어려운 급락한 종목을 정성 데이터 분석이 더 높게 예측함으로써 정량 데이터의 한계점을 해결하고 위험부담이 큰 투자 종목의 급락을 예측할 수 있는 주가 예측 모델을 제안한다.

물체 인식을 통한 증강현실 환경에서의 지능형 특수효과 생성 및 제어에 관한 연구

김보성 세종대학교 대학원 2022 국내석사

메타버스 환경은 가상과 현실 사이의 연속성을 제공하는 것을 목표로 한다. 메타버스 환경은 가상 세계와 현실 세계의 병합이 핵심이며, 현실 세계의 정보를 데이터화하여 이를 메타버스 환경에 적용하는 것이 중요하다. 이를 위해, 현실 세계의 이미지 정보를 디지털 데이터로 인식하는 방법과 증강현실 환경에서의 물체의 깊이를 포함한 위치와 크기를 실시간으로 파악하여 이에 맞는 자연스러운 특수효과의 적용 방법이 필요하다. 본 논문에서는 딥러닝 기반 이미지 분석을 통한 물체의 분류와 증강 기술을 활용하여 물체의 종류에 따른 증강현실 환경에서의 지능형 특수효과 방법을 제안한다. 2차원 이미지를 딥러닝 전이학습을 통해, 효율적으로 학습 분석한 결과를 증강현실 기술을 이용하여 깊이를 포함한 3차원 위치로 증강해 물체에 대한 정확한 위치와 정보를 매핑한다. 이러한 데이터를 바탕으로 기존의 방식에서 구현하지 못했던 물체에 따른 다른 특수효과를 증강하는 기법을 제안한다. 또한 사용자와 증강현실 간의 상호작용 방법을 통해 사용자가 효과적으로 참여할 수 있는 사례를 시연한다.