Analysis of Pre-Processing Methods for Music Information Retrieval in Noisy Environments using Mobile Devices

Kim, Dae-Jin,Koo, Ddeo-Ol-Ra The Korea Contents Association 2012 International Journal of Contents Vol.8 No.2

Recently, content-based music information retrieval (MIR) systems for mobile devices have attracted great interest. However, music retrieval systems are greatly affected by background noise when music is recorded in noisy environments. Therefore, we evaluated various pre-processing methods using the Philips method to determine the one that performs most robust music retrieval in such environments. We found that dynamic noise reduction (DNR) is the best pre-processing method for a music retrieval system in noisy environments.

Analysis of Pre-Processing Methods for Music Information Retrieval in Noisy Environments using Mobile Devices

Dae-Jin Kim,Ddeo-Ol-Ra Koo 한국콘텐츠학회 2012 International Journal of Contents Vol.8 No.2

Recently, content-based music information retrieval (MIR) systems for mobile devices have attracted great interest. However, music retrieval systems are greatly affected by background noise when music is recorded in noisy environments. Therefore, we evaluated various pre-processing methods using the Philips method to determine the one that performs most robust music retrieval in such environments. We found that dynamic noise reduction (DNR) is the best pre-processing method for a music retrieval system in noisy environments.

A Comparison of Meta-learning and Transfer-learning for Few-shot Jamming Signal Classification

Mi-Hyun Jin,Ddeo-Ol-Ra Koo,Kang-Suk Kim 항법시스템학회 2022 Journal of Positioning, Navigation, and Timing Vol.11 No.3

Typical anti-jamming technologies based on array antennas, Space Time Adaptive Process (STAP) & Space Frequency Adaptive Process (SFAP), are very effective algorithms to perform nulling and beamforming. However, it does not perform equally well for all types of jamming signals. If the anti-jamming algorithm is not optimized for each signal type, antijamming performance deteriorates and the operation stability of the system become worse by unnecessary computation. Therefore, jamming classification technique is required to obtain optimal anti-jamming performance. Machine learning, which has recently been in the spotlight, can be considered to classify jamming signal. In general, performing supervised learning for classification requires a huge amount of data and new learning for unfamiliar signal. In the case of jamming signal classification, it is difficult to obtain large amount of data because outdoor jamming signal reception environment is difficult to configure and the signal type of attacker is unknown. Therefore, this paper proposes few-shot jamming signal classification technique using meta-learning and transfer-learning to train the model using a small amount of data. A training dataset is constructed by anti-jamming algorithm input data within the GNSS receiver when jamming signals are applied. For metalearning, Model-Agnostic Meta-Learning (MAML) algorithm with a general Convolution Neural Networks (CNN) model is used, and the same CNN model is used for transfer-learning. They are trained through episodic training using training datasets on developed our Python-based simulator. The results show both algorithms can be trained with less data and immediately respond to new signal types. Also, the performances of two algorithms are compared to determine which algorithm is more suitable for classifying jamming signals.

TLM 시각 동기 신호를 이용한 고속 이동체의 위치 추정

진미현 ( Mi-hyun Jin ),구떠올라 ( Ddeo-ol-ra Koo ),김복기 ( Bok-ki Kim ) 한국항행학회 2022 韓國航行學會論文誌 Vol.26 No.5

항법 장치가 존재하지 않거나 전파 방해가 발생할 경우, 고속 이동체의 전파 항법은 불가능해진다. 그럼에도 불구하고, 다수의 지상국이 존재하며 고속 이동체와 지상국간의 정밀 거리 측정치를 확보할 수 있다면 이동체의 위치 추정이 가능하다. 본 논문에서는 텔레메트리 (TLM; telemetry) 신호를 사용하여 생성한 고정밀 TDOA (time difference of arrival) 측정치를 이용한 위치 추정 방식을 제안한다. 제안한 방식에서는 TDOA 측정치를 사용하여 이동체의 공통 오차를 제거하였다. 또한 SOQPSK (shaped offset quadrature phase shift keying) PN (pseudo random noise) 심볼을 포함하여 정밀 시각 동기 및 측정이 가능한 TLM 신호를 기반으로 한 측정치를 사용하였다. 따라서 시스템 내 정밀 시각 동기가 이뤄진 상태이므로 지상국간의 시각 동기 오차가 매우 작은 값을 가진다. 이는 측정치의 정밀도를 높여 위치 추정 성능을 향상시킨다. 제안한 방식은 소프트웨어 기반의 시뮬레이션을 통해 검증되었으며, 고속 이동체의 위치 추정 성능이 목표했던 성능을 만족함을 확인하였다. If radio interference occurs or there is no navigation device, radio navigation of high-speed moving object becomes impossible. Nevertheless, if there are multiple ground stations and precise range measurement between the high-speed moving object and the ground station can be secured, it is possible to estimate the position of moving object. This paper proposes a position estimation method using high-precision TDOA measurement generated using TLM signal. In the proposed method, a common error of moving object is removed using the TDOA measurements. The measurements is generated based on TLM signal including SOQPSK PN symbol capable of precise timing synchronization. Therefore, since precise timing synchronization of the system has been performed, the timing error between ground stations has a very small value. This improved the position estimation performance by increasing the accuracy of the measured values. The proposed method is verified through software-based simulation, and the performance of estimated position satisfies the target performance.

동영상 카투닝 시스템을 위한 자동 프레임 추출 기법

김대진(Dae-Jin Kim),구떠올라(Ddeo-Ol-Ra Koo) 한국콘텐츠학회 2011 한국콘텐츠학회논문지 Vol.11 No.12

멀티미디어 산업의 발달과 함께 디지털 콘텐츠 시장의 확산을 가져오고 있다. 그 중 인터넷 만화와 같은 디지털 만화 시장의 확장은 급속하게 커지고 있어서, 콘텐츠의 부족과 다양성 때문에 동영상 카투닝에 대한 연구가 계속되고 있다. 지금까지는 동영상 카투닝은 비사실적 렌더링과 말풍선에 초점이 맞추어졌으나, 이러한 것들을 적용하기 위해서는 카투닝 서비스에 적합한 프레임 추출이 우선시 되어야만 한다. 기존의 방법으로는 동영상의 장면전환이 일어나는 샷(shot)안의 프레임을 추출하여, 사용자가 지정한 영역을 임의의 색상으로 렌더링(Rendering)하는 시스템이 있다. 하지만 이러한 방법은 사람의 손을 거치는 반자동적인 방법으로서 정확한 프레임 추출을 위해 사람의 손을 거쳐야하는 단점이 있다. 따라서 본 논문에서는 이러한 문제점을 해결하고, 보다 정확한 카투닝에 적용할 프레임을 추출하기 위해 오디오 및 비디오 분리를 통한 방법을 제안한다. 먼저 동영상으로부터 오디오와 비디오를 분리한다. 오디오는 먼저 MFCC와 영교차율의 특징을 추출하고, 이 특징 정보를 미리 학습된 데이터와 GMM 분류기를 통하여 음악, 음성, 음악+음성으로 분류한 후 음성 영역을 설정한다. 비디오는 히스토그램을 이용한 방법과 같은 일반적인 장면 전환 프레임을 추출 후 얼굴 검색을 통해서 만화에서 의미가 있는 프레임을 추출한다. 그 후 음성 영역 내에 얼굴이 존재하는 장면전환 프레임이나 일정 시간동안 음성이 지속되는 영역 중 장면전환 프레임을 추출하여 동영상 카투닝에 적합한 프레임을 자동으로 추출한다. While the broadband multimedia technologies have been developing, the commercial market of digital contents has also been widely spreading. Most of all, digital cartoon market like internet cartoon has been rapidly large so video cartooning continuously has been researched because of lack and variety of cartoon. Until now, video cartooning system has been focused in non-photorealistic rendering and word balloon. But the meaningful frame extraction must take priority for cartooning system when applying in service. In this paper, we propose new automatic frame extraction method for video cartooning system. At frist, we separate video and audio from movie and extract features parameter like MFCC and ZCR from audio data. Audio signal is classified to speech, music and speech+music comparing with already trained audio data using GMM distributor. So we can set speech area. In the video case, we extract frame using general scene change detection method like histogram method and extract meaningful frames in the cartoon using face detection among the already extracted frames. After that, first of all existent face within speech area image transition frame extract automatically. Suitable frame about movie cartooning automatically extract that extraction image transition frame at continuable period of time domain.

모션 캡쳐를 위한 다시점 영상의 효율적인 분석법

서융호(Yung-Ho Seo),박유신(You-Shin Park),구떠올라(Ddeo-Ol-Ra Koo),두경수(Kyoung-Soo Doo),최종수(Jong-Soo Choi) 대한전자공학회 2008 電子工學會論文誌-SP (Signal processing) Vol.45 No.6

기존 모션 캡쳐의 경우, 고가의 장비나 사용의 복잡도, 동작자의 움직임 제한 등 모션 캡쳐의 어려움이 있었다. 최근 실시간으로 모션 캡쳐가 가능한 컴퓨터 비젼 기반 시스템에 대한 연구가 활발히 진행되고 있다. 본 논문에서는 다시점 영상으로부터 쉽고, 빠르게 추출할 수 있는 피부색과 정확한 3차원 복원을 위한 2차원 영상 좌표 보정을 사용하여 효율적인 다시점 영상 분석 알고리즘을 제안한다. 동작자의 피부색을 검출하고, 카메라 보정 및 에피폴라 기하학 정보를 이용하여 보다 정확한 영상 분석, 그리고 칼만 필터(Kalman filter)를 사용한 추적 등을 통해 보다 안정적인 모션 캡쳐가 가능하게 된다. 실험결과를 통하여, 제안된 방법은 보다 정확한 위치 추정 및 실시간 모션 캡쳐를 위한 알고리즘임을 보여주고 있다. Previous hardware devices to capture human motion have many limitations; expensive equipment, complexity of manipulation or constraints of human motion. In order to overcome these problems, real-time motion capture algorithms based on computer vision have been actively proposed. This paper presents an efficient analysis method of multiple view images for real-time motion capture. First, we detect the skin color regions of human being, and then correct the image coordinates of the regions by using camera calibration and epipolar geometry. Finally, we track the human body part and capture human motion using kalman filter. Experimental results show that the proposed algorithm can estimate a precise position of the human body.