자동차 오디오 이퀄라이저 자동 조절 장치

김형국(Hyoung-Gook Kim),남상순(Sang Soon Nam) 대한전기학회 2009 정보 및 제어 심포지엄 논문집 Vol.2009 No.10

본 논문은 자동차 오디오 플레이어에서 재생되는 MP3 음악 파일을 음악 장르별로 분류하고, 음악 신호와 외부 잡음의 크기를 비교하여 분류된 장르에 따라 자동으로 오디오 이퀄라이저를 조절하는 방식을 제안한다. 음악 분류를 위한 특징 벡터로 음악 신호에서 음색 특징과 리듬 특징 벡터를 추출하고, 추출된 특징 벡터를 Adaboosting 기반의 분류 방식에 적용하여 5 가지 음악 장르 중 하나로 분류한다. 또한, 외부 잡음에 의해 손상되는 음질을 보상하기 위해 loudness compensation 방식을 적용하고, 이퀄라이저 조절을 위한 이득 함수를 계산하여 음량 크기를 조절한다. 제안된 방식의 성능 측정은 압축 영역과 비압축 영역에서 추출된 음악 특징 벡터를 사용한 장르 분류 결과를 비교하였고, 음악 장르에 따라 조절된 이퀄라이저를 적용하여 MOS 테스트를 실행한 결과 우수한 사용자 만족도를 나타내었다.

지능형 PVR을 위한 축구 동영상 하이라이트 요약

김형국(Kim Hyoung-Gook),신동(Shin Dong) 한국방송·미디어공학회 2009 한국방송공학회 학술발표대회 논문집 Vol.2009 No.11

본 논문에서는 MDCT기반의 오디오 특징과 영상 특징을 이용하여 축구 동영상의 하이라이트를 효과적으로 요약하는 방식을 제안한다. 제안하는 방식에서는 입력되는 축구 동영상을 비디오 신호와 오디오 신호로 분리한 후에, 분리된 연속적인 오디오 신호를 압축영역의 MDCT계수를 통해 이벤트 사운드별로 분류하여 오디오 이벤트 후보구간을 추출한다. 입력된 비디오 신호에서는 장면 전환점을 추출하고 추출된 장면 전환점으로부터 페널티 영역을 검출한다. 검출된 오디오 이벤트 후보구간과 검출된 페널티 영역장면을 함께 결합하여 축구 동영상의 이벤트 장면을 검출한다. 검출된 페널티 영역 장면을 통해 검출된 이벤트 구간을 다른 이벤트 구간보다 더 높은 우선순위를 갖는 하이라이트로 선정하여 요약본이 생성된다. 생성된 하이라이트 요약본의 평가는 precision과 recall을 통해 정확도를 평가하였다.

MP3 음악 플레이어를 위한 자동 음악분류 기법

김형국(Hyoung-Gook Kim),신동(Dong Shin) 대한전기학회 2009 정보 및 제어 심포지엄 논문집 Vol.2009 No.10

본 논문에서는 MP3 음악 파일에서 추출한 음악 특징을 이용하여 음악 무드를 자동으로 분류하는 기법을 제안한다. 입력된 MP3음악 파일의 압축영역에서 추출된 modified discrete cosine transform (MDCT)계수를 사용하여 segmental, suprasegmental 특징값을 각각 추출한다. 이렇게 추출된 음악의 각 특징값은 Adaboost 기반으로 학습된 2개의 분류기에 각각 적용한 뒤 결합하여 음악의 무드를 결정한다. 본 논문에서는 음악 무드의 정확성을 검증하기 위하여 교차검증방식을 적용하였다. 실험 결과 사용된 특징들의 분류결과를 결합하여 적용한 방식은 92.8%의 높은 음악 무드분류 결과를 보였다.

프로필렌 - 에틸렌 - 임팩트공중합체에서 용융혼합에 의한 Rubber Phase 의 모폴로지 및 물성변화에 대한 연구

김형국(Hyoung Gook Kim),안정호(Jeong Ho An),김중현(Jung Hyun Kim) 한국고분자학회 1995 폴리머 Vol.19 No.6

잡음환경에 강인한 음성분류기반의 패킷손실 은닉 알고리즘

김형국,류상현,Kim, Hyoung-Gook,Ryu, Sang-Hyeon 한국음향학회 2014 韓國音響學會誌 Vol.33 No.1

실시간 VoIP 네트워크는 지연, 지터 그리고 패킷손실과 같은 네트워크 장애요소로 인해 품질저하가 발생한다. 본 논문은 VoIP 음질 향상을 위해 잡음환경에 강인한 음성분류기반의 패킷손실 은닉 알고리즘을 제안한다. 제안된 방식에서는 음성신호로부터 추출된 다양한 특징들을 분석하고 이를 기반으로 획득된 적응적인 문턱값을 사용하여 수신단에 도착한 패킷을 분류한다. 정확한 신호분류 결과는 패킷손실 은닉에 사용된다. 그리고 선형 예측 기반의 손실패킷 은닉은 연속적으로 패킷을 은닉하거나 손실된 패킷복원 시 발생하는 메탈릭 아티펙트를 제거함으로써 고품질의 음성을 제공한다. The quality of real-time Voice over Internet Protocol (VoIP) network is affected by network impariments such as delays, jitters, and packet loss. This paper proposes a packet loss concealment algorithm based on voice classification for enhancing VoIP speech quality. In the proposed method, arriving packets are classified by an adaptive thresholding approach based on the analysis of multiple features of short signal segments. The excellent classification results are used in the packet loss concealment. Additionally, linear prediction-based packet loss concealment delivers high voice quality by alleviating the metallic artifacts due to concealing consecutive packet loss or recovering lost packet.

공간 주파수 합성곱 게이트 트랜스포머를 이용한 시청각 자극에 따른 뇌전도 기반 감정적 스트레스 인식

김형국,정동기,김진영,Kim, Hyoung-Gook,Jeong, Dong-Ki,Kim, Jin Young 한국음향학회 2022 韓國音響學會誌 Vol.41 No.5

본 논문에서는 합성곱 신경망과 주의집중 메커니즘을 결합하여 뇌파 신호로부터 감정적 스트레스 인식 성능을 향상시키는 방식을 제안한다. 제안하는 방식에서는 뇌파 신호를 5개의 주파수 영역으로 분해하고, 각 주파수 영역에 합성곱 신경망 계층을 사용하여 뇌파 특징의 공간정보를 획득한 후에 게이트 트랜스포머를 이용한 주의집중 메커니즘을 사용하여 각 주파수 대역에서 두드러진 주파수 정보를 학습하고, 주파수 간 대역 매핑을 통해 보완 주파수 정보를 학습하여 최종 주의집중 표현에 반영한다. DEAP 데이터세트와 6명의 피 실험자가 참여한 뇌파 스트레스 인식 실험을 통해, 제안된 방식이 기존 방식과 비교하여 뇌파 기반 스트레스 인식 성능 향상에 효과가 있음을 보여준다. In this paper, we propose a method for combining convolutional neural networks and attention mechanism to improve the recognition performance of emotional stress from Electroencephalogram (EGG) signals. In the proposed method, EEG signals are decomposed into five frequency domains, and spatial information of EEG features is obtained by applying a convolutional neural network layer to each frequency domain. As a next step, salient frequency information is learned in each frequency band using a gate transformer-based attention mechanism, and complementary frequency information is further learned through inter-frequency mapping to reflect it in the final attention representation. Through an EEG stress recognition experiment involving a DEAP dataset and six subjects, we show that the proposed method is effective in improving EEG-based stress recognition performance compared to the existing methods.

Mahalanobis 거리측정 방법 기반의 GMM-Supervector SVM 커널을 이용한 화자인증 방법

김형국,신동,Kim, Hyoung-Gook,Shin, Dong 한국음향학회 2010 韓國音響學會誌 Vol.29 No.3

본 논문에서는 Gaussian Mixture Model (GMM)-supervector의 Mahalanobis 거리측정 방법 기반의 Support Vector Machine (SVM) 커널을 이용한 새로운 화자인증 방법을 제안한다. 제안된 GMM-supervector SVM 커널방식은 GMM 방식과 SVM 방식을 결합한 방식으로서, GMM 파라미터에 의해 형성된 화자 및 비 화자 GMM-supervectors의 화자인증 임계값을 Mahalanobis 거리측정 방법기반의 SVM 커널에 적용함으로써 화자인증 정확도를 높인다. 제안한 방식의 성능 측정을 위해 20명의 화자를 대상으로 문장독립형 화자인증 실험을 수행하여 기존에 사용되고 있는 GMM, SVM, Kullback-Leibler (KL) divergence 거리측정 방법 기반의 GMM-supervector SVM 커널, Bhattacharyya 거리측정 방법기반의 GMM-supervector SVM 커널 방식을 통한 화자인증 결과들과 비교하였다. In this paper, we propose speaker verification method using Support Vector Machine (SVM) kernel with Gaussian Mixture Model (GMM)-supervector based on the Mahalanobis distance. The proposed GMM-supervector SVM kernel method is combined GMM with SVM. The GMM-supervectors are generated by GMM parameters of speaker and other speaker utterances. A speaker verification threshold of GMM-supervectors is decided by SVM kernel based on Mahalanobis distance to improve speaker verification accuracy. The experimental results for text-independent speaker verification using 20 speakers demonstrates the performance of the proposed method compared to GMM, SVM, GMM-supervector SVM kernel based on Kullback-Leibler (KL) divergence, and GMM-supervector SVM kernel based on Bhattacharyya distance.

음성정보 내용분석을 통한 골프 동영상에서의 선수별 이벤트 구간 검색

김형국,Kim, Hyoung-Gook 한국음향학회 2009 韓國音響學會誌 Vol.28 No.7

본 논문은 골프 동영상에 포함된 오디오 정보로부터 검출된 이벤트 사운드 구간과 골프 선수이름이 포함된 음성구간을 결합하여 선수별 이벤트 구간을 검색하는 방식을 제안한다. 전체적인 시스템은 동영상으로부터 분할된 오디오 스트림으로부터 잡음제거, 오디오 구간분할, 음성 인식 등의 과정을 통한 자동색인 모듈과 사용자가 텍스트로 입력한 선수 이름을 발음열로 변환하고, 색인된 데이터베이스에서 질의된 선수 이름과 상응하는 음성구간과 연결되는 이벤트 구간을 찾아주는 검색 모듈로 구성된다. 선수이름 검색을 위해서 본 논문에서는 음소 기반, 단어 기반, 단어와 음소를 결합한 하이브리드 방식을 적용한 선수별 이벤트 구간 검색결과를 비교하였다. This paper proposes a method of player event retrieval using combination of two functions: detection of player name in speech information and detection of sound event from audio information in golf videos. The system consists of indexing module and retrieval module. At the indexing time audio segmentation and noise reduction are applied to audio stream demultiplexed from the golf videos. The noise-reduced speech is then fed into speech recognizer, which outputs spoken descriptors. The player name and sound event are indexed by the spoken descriptors. At search time, text query is converted into phoneme sequences. The lists of each query term are retrieved through a description matcher to identify full and partial phrase hits. For the retrieval of the player name, this paper compares the results of word-based, phoneme-based, and hybrid approach.

A New Tempo Feature Extraction Based on Modulation Spectrum Analysis for Music Information Retrieval Tasks

김형국,Kim, Hyoung-Gook Intelligent Transportation Systems 2007 한국ITS학회논문지 Vol.6 No.2

본 논문은 음악 정보검색에 사용되는 효과적인 템포 특징 추출방식을 제안한다. 제안된 템포 정보는 협소 밴드상의 일시적인 변조 성분에 의해 형성된다. 이러한 변조 성분은 시간 축 상의 음악 신호로부터 스펙트럼을 구한 후, 각 스펙트럼 성분에 대한 주파수 영역 분석을 통해 획득된 변조 스펙트럼으로 구성된다. 실제 구현에 있어서는 MP3 음악파일로부터 부분 디코딩에 의해 출력된 변형된 이산 코사인 변환 계수에 퓨리에 변환을 취하여 변조스펙트럼을 구하였다. 획득된 변조 스펙트럼의 진폭으로부터 고속으로 추출된 음악 템포 특징값은 다양한 음악 정보 검색에 적용되었다. 음악 무드 및 장르 분류에서는 로그 변조 주파수 계수를 적용하여 분류 성능을 개선시켰으며, 적응 변조 스펙트럼에서 유도된 비트 벡터는 오디오 핑거프린팅에 적용되어 잡음환경 하에서도 검색 성능을 크게 향상시켰다. This paper proposes an effective tempo feature extraction method for music information retrieval. The tempo information is modeled by the narrow-band temporal modulation components, which are decomposed into a modulation spectrum via joint frequency analysis. In implementation, the tempo feature is directly extracted from the modified discrete cosine transform coefficients, which is the output of partial MP3(MPEG 1 Layer 3) decoder. Then, different features are extracted from the amplitudes of modulation spectrum and applied to different music information retrieval tasks. The logarithmic scale modulation frequency coefficients are employed in automatic music emotion classification and music genre classification. The classification precision in both systems is improved significantly. The bit vectors derived from adaptive modulation spectrum is used in audio fingerprinting task That is proved to be able to achieve high robustness in this application. The experimental results in these tasks validate the effectiveness of the proposed tempo feature.

오디오 정보를 이용한 골프 동영상 자동 색인 알고리즘

김형국,Kim, Hyoung-Gook 한국음향학회 2009 韓國音響學會誌 Vol.28 No.5

본 논문에서는 오디오 정보 분석을 이용하여 골프 통영상을 자동 색인하는 알고리즘을 제안한다. 제안하는 알고리즘에서는 입력되는 골프 동영상을 비디오 신호와 오디오 신호로 분리한 후에, 연속적인 오디오 스트림을 Adaboost Cascade 분류방식을 통하여 스튜디오 환경에서의 아나운서의 음성구간, 선수이름이 TV 화면에 소개 될 때 수반되는 음악구간, 선수들의 플레이에 따라 반응하는 관중들의 박수 및 환호성 소리구간, 필드에서의 레포터의 음성구간, 바다나 바람 등의 필드환경 잡음 사운드구간 등의 5가지 구간으로 분류한다. 그리고 드라이브 샷, 아이런 샷과 퍼팅 샷 시에 발생하는 스윙 사운드는 onset 검출과 변조스펙트럼 검증 방법을 통해 검출되며, 관객의 박수 소리 구간과 결합하여 액션 및 하이라이트를 효율적으로 색인할 수 있게 한다. 제안된 알고리즘은 오디오 신호의 간단한 연산을 통해 의미를 지니고 있는 기본구조들을 검출하기 때문에 골프 동영상에서 사용자가 원하는 부분을 빠르게 브라우징하는 임베이디드 시스템에 적용가능하다. This paper proposes an automatic indexing algorithm of golf video using audio information. In the proposed algorithm, the input audio stream is demultiplexed into the stream of video and audio. By means of Adaboost-cascade classifier, the continuous audio stream is classified into announcer's speech segment recorded in studio, music segment accompanied with players' names on TV screen, reaction segment of audience according to the play, reporter's speech segment with field background, filed noise segment like wind or waves. And golf swing sound including drive shot, iron shot, and putting shot is detected by the method of impulse onset detection and modulation spectrum verification. The detected swing and applause are used effectively to index action or highlight unit. Compared with video based semantic analysis, main advantage of the proposed system is its small computation requirement so that it facilitates to apply the technology to embedded consumer electronic devices for fast browsing.