자동차 오디오 이퀄라이저 자동 조절 장치

김형국(Hyoung-Gook Kim),남상순(Sang Soon Nam) 대한전기학회 2009 정보 및 제어 심포지엄 논문집 Vol.2009 No.10

본 논문은 자동차 오디오 플레이어에서 재생되는 MP3 음악 파일을 음악 장르별로 분류하고, 음악 신호와 외부 잡음의 크기를 비교하여 분류된 장르에 따라 자동으로 오디오 이퀄라이저를 조절하는 방식을 제안한다. 음악 분류를 위한 특징 벡터로 음악 신호에서 음색 특징과 리듬 특징 벡터를 추출하고, 추출된 특징 벡터를 Adaboosting 기반의 분류 방식에 적용하여 5 가지 음악 장르 중 하나로 분류한다. 또한, 외부 잡음에 의해 손상되는 음질을 보상하기 위해 loudness compensation 방식을 적용하고, 이퀄라이저 조절을 위한 이득 함수를 계산하여 음량 크기를 조절한다. 제안된 방식의 성능 측정은 압축 영역과 비압축 영역에서 추출된 음악 특징 벡터를 사용한 장르 분류 결과를 비교하였고, 음악 장르에 따라 조절된 이퀄라이저를 적용하여 MOS 테스트를 실행한 결과 우수한 사용자 만족도를 나타내었다.

MP3 음악 플레이어를 위한 자동 음악분류 기법

김형국(Hyoung-Gook Kim),신동(Dong Shin) 대한전기학회 2009 정보 및 제어 심포지엄 논문집 Vol.2009 No.10

본 논문에서는 MP3 음악 파일에서 추출한 음악 특징을 이용하여 음악 무드를 자동으로 분류하는 기법을 제안한다. 입력된 MP3음악 파일의 압축영역에서 추출된 modified discrete cosine transform (MDCT)계수를 사용하여 segmental, suprasegmental 특징값을 각각 추출한다. 이렇게 추출된 음악의 각 특징값은 Adaboost 기반으로 학습된 2개의 분류기에 각각 적용한 뒤 결합하여 음악의 무드를 결정한다. 본 논문에서는 음악 무드의 정확성을 검증하기 위하여 교차검증방식을 적용하였다. 실험 결과 사용된 특징들의 분류결과를 결합하여 적용한 방식은 92.8%의 높은 음악 무드분류 결과를 보였다.

잡음환경에 강인한 음성분류기반의 패킷손실 은닉 알고리즘

김형국,류상현,Kim, Hyoung-Gook,Ryu, Sang-Hyeon 한국음향학회 2014 韓國音響學會誌 Vol.33 No.1

실시간 VoIP 네트워크는 지연, 지터 그리고 패킷손실과 같은 네트워크 장애요소로 인해 품질저하가 발생한다. 본 논문은 VoIP 음질 향상을 위해 잡음환경에 강인한 음성분류기반의 패킷손실 은닉 알고리즘을 제안한다. 제안된 방식에서는 음성신호로부터 추출된 다양한 특징들을 분석하고 이를 기반으로 획득된 적응적인 문턱값을 사용하여 수신단에 도착한 패킷을 분류한다. 정확한 신호분류 결과는 패킷손실 은닉에 사용된다. 그리고 선형 예측 기반의 손실패킷 은닉은 연속적으로 패킷을 은닉하거나 손실된 패킷복원 시 발생하는 메탈릭 아티펙트를 제거함으로써 고품질의 음성을 제공한다. The quality of real-time Voice over Internet Protocol (VoIP) network is affected by network impariments such as delays, jitters, and packet loss. This paper proposes a packet loss concealment algorithm based on voice classification for enhancing VoIP speech quality. In the proposed method, arriving packets are classified by an adaptive thresholding approach based on the analysis of multiple features of short signal segments. The excellent classification results are used in the packet loss concealment. Additionally, linear prediction-based packet loss concealment delivers high voice quality by alleviating the metallic artifacts due to concealing consecutive packet loss or recovering lost packet.

Mahalanobis 거리측정 방법 기반의 GMM-Supervector SVM 커널을 이용한 화자인증 방법

김형국,신동,Kim, Hyoung-Gook,Shin, Dong 한국음향학회 2010 韓國音響學會誌 Vol.29 No.3

본 논문에서는 Gaussian Mixture Model (GMM)-supervector의 Mahalanobis 거리측정 방법 기반의 Support Vector Machine (SVM) 커널을 이용한 새로운 화자인증 방법을 제안한다. 제안된 GMM-supervector SVM 커널방식은 GMM 방식과 SVM 방식을 결합한 방식으로서, GMM 파라미터에 의해 형성된 화자 및 비 화자 GMM-supervectors의 화자인증 임계값을 Mahalanobis 거리측정 방법기반의 SVM 커널에 적용함으로써 화자인증 정확도를 높인다. 제안한 방식의 성능 측정을 위해 20명의 화자를 대상으로 문장독립형 화자인증 실험을 수행하여 기존에 사용되고 있는 GMM, SVM, Kullback-Leibler (KL) divergence 거리측정 방법 기반의 GMM-supervector SVM 커널, Bhattacharyya 거리측정 방법기반의 GMM-supervector SVM 커널 방식을 통한 화자인증 결과들과 비교하였다. In this paper, we propose speaker verification method using Support Vector Machine (SVM) kernel with Gaussian Mixture Model (GMM)-supervector based on the Mahalanobis distance. The proposed GMM-supervector SVM kernel method is combined GMM with SVM. The GMM-supervectors are generated by GMM parameters of speaker and other speaker utterances. A speaker verification threshold of GMM-supervectors is decided by SVM kernel based on Mahalanobis distance to improve speaker verification accuracy. The experimental results for text-independent speaker verification using 20 speakers demonstrates the performance of the proposed method compared to GMM, SVM, GMM-supervector SVM kernel based on Kullback-Leibler (KL) divergence, and GMM-supervector SVM kernel based on Bhattacharyya distance.

프로필렌 - 에틸렌 - 임팩트공중합체에서 용융혼합에 의한 Rubber Phase 의 모폴로지 및 물성변화에 대한 연구

김형국(Hyoung Gook Kim),안정호(Jeong Ho An),김중현(Jung Hyun Kim) 한국고분자학회 1995 폴리머 Vol.19 No.6

공간 주파수 합성곱 게이트 트랜스포머를 이용한 시청각 자극에 따른 뇌전도 기반 감정적 스트레스 인식

김형국,정동기,김진영,Kim, Hyoung-Gook,Jeong, Dong-Ki,Kim, Jin Young 한국음향학회 2022 韓國音響學會誌 Vol.41 No.5

본 논문에서는 합성곱 신경망과 주의집중 메커니즘을 결합하여 뇌파 신호로부터 감정적 스트레스 인식 성능을 향상시키는 방식을 제안한다. 제안하는 방식에서는 뇌파 신호를 5개의 주파수 영역으로 분해하고, 각 주파수 영역에 합성곱 신경망 계층을 사용하여 뇌파 특징의 공간정보를 획득한 후에 게이트 트랜스포머를 이용한 주의집중 메커니즘을 사용하여 각 주파수 대역에서 두드러진 주파수 정보를 학습하고, 주파수 간 대역 매핑을 통해 보완 주파수 정보를 학습하여 최종 주의집중 표현에 반영한다. DEAP 데이터세트와 6명의 피 실험자가 참여한 뇌파 스트레스 인식 실험을 통해, 제안된 방식이 기존 방식과 비교하여 뇌파 기반 스트레스 인식 성능 향상에 효과가 있음을 보여준다. In this paper, we propose a method for combining convolutional neural networks and attention mechanism to improve the recognition performance of emotional stress from Electroencephalogram (EGG) signals. In the proposed method, EEG signals are decomposed into five frequency domains, and spatial information of EEG features is obtained by applying a convolutional neural network layer to each frequency domain. As a next step, salient frequency information is learned in each frequency band using a gate transformer-based attention mechanism, and complementary frequency information is further learned through inter-frequency mapping to reflect it in the final attention representation. Through an EEG stress recognition experiment involving a DEAP dataset and six subjects, we show that the proposed method is effective in improving EEG-based stress recognition performance compared to the existing methods.

음성정보 내용분석을 통한 골프 동영상에서의 선수별 이벤트 구간 검색

김형국,Kim, Hyoung-Gook 한국음향학회 2009 韓國音響學會誌 Vol.28 No.7

본 논문은 골프 동영상에 포함된 오디오 정보로부터 검출된 이벤트 사운드 구간과 골프 선수이름이 포함된 음성구간을 결합하여 선수별 이벤트 구간을 검색하는 방식을 제안한다. 전체적인 시스템은 동영상으로부터 분할된 오디오 스트림으로부터 잡음제거, 오디오 구간분할, 음성 인식 등의 과정을 통한 자동색인 모듈과 사용자가 텍스트로 입력한 선수 이름을 발음열로 변환하고, 색인된 데이터베이스에서 질의된 선수 이름과 상응하는 음성구간과 연결되는 이벤트 구간을 찾아주는 검색 모듈로 구성된다. 선수이름 검색을 위해서 본 논문에서는 음소 기반, 단어 기반, 단어와 음소를 결합한 하이브리드 방식을 적용한 선수별 이벤트 구간 검색결과를 비교하였다. This paper proposes a method of player event retrieval using combination of two functions: detection of player name in speech information and detection of sound event from audio information in golf videos. The system consists of indexing module and retrieval module. At the indexing time audio segmentation and noise reduction are applied to audio stream demultiplexed from the golf videos. The noise-reduced speech is then fed into speech recognizer, which outputs spoken descriptors. The player name and sound event are indexed by the spoken descriptors. At search time, text query is converted into phoneme sequences. The lists of each query term are retrieved through a description matcher to identify full and partial phrase hits. For the retrieval of the player name, this paper compares the results of word-based, phoneme-based, and hybrid approach.

A New Tempo Feature Extraction Based on Modulation Spectrum Analysis for Music Information Retrieval Tasks

김형국,Kim, Hyoung-Gook Intelligent Transportation Systems 2007 한국ITS학회논문지 Vol.6 No.2

본 논문은 음악 정보검색에 사용되는 효과적인 템포 특징 추출방식을 제안한다. 제안된 템포 정보는 협소 밴드상의 일시적인 변조 성분에 의해 형성된다. 이러한 변조 성분은 시간 축 상의 음악 신호로부터 스펙트럼을 구한 후, 각 스펙트럼 성분에 대한 주파수 영역 분석을 통해 획득된 변조 스펙트럼으로 구성된다. 실제 구현에 있어서는 MP3 음악파일로부터 부분 디코딩에 의해 출력된 변형된 이산 코사인 변환 계수에 퓨리에 변환을 취하여 변조스펙트럼을 구하였다. 획득된 변조 스펙트럼의 진폭으로부터 고속으로 추출된 음악 템포 특징값은 다양한 음악 정보 검색에 적용되었다. 음악 무드 및 장르 분류에서는 로그 변조 주파수 계수를 적용하여 분류 성능을 개선시켰으며, 적응 변조 스펙트럼에서 유도된 비트 벡터는 오디오 핑거프린팅에 적용되어 잡음환경 하에서도 검색 성능을 크게 향상시켰다. This paper proposes an effective tempo feature extraction method for music information retrieval. The tempo information is modeled by the narrow-band temporal modulation components, which are decomposed into a modulation spectrum via joint frequency analysis. In implementation, the tempo feature is directly extracted from the modified discrete cosine transform coefficients, which is the output of partial MP3(MPEG 1 Layer 3) decoder. Then, different features are extracted from the amplitudes of modulation spectrum and applied to different music information retrieval tasks. The logarithmic scale modulation frequency coefficients are employed in automatic music emotion classification and music genre classification. The classification precision in both systems is improved significantly. The bit vectors derived from adaptive modulation spectrum is used in audio fingerprinting task That is proved to be able to achieve high robustness in this application. The experimental results in these tasks validate the effectiveness of the proposed tempo feature.

뮤직비디오 브라우징을 위한 중요 구간 검출 알고리즘

김형국,신동,Kim, Hyoung-Gook,Shin, Dong 한국음향학회 2009 韓國音響學會誌 Vol.28 No.2

본 논문은 모바일 단말기, Digital Video Recorder (DVR) 등에 적용할 수 있는 뮤직비디오 브라우징 시스템을 위한 실시간 중요 구간 검출 알고리즘을 제안한다. 입력된 뮤직비디오는 음악 신호와 영상 신호로 분리되어 음악 신호에서는 에너지기반의 음악 특징값 최고점기반의 구조분석을 통해 음악의 후렴 구간을 포함하는 음악 하이라이트 구간을 검출하고, SVM AdaBoost 학습방식에서 생성된 모델을 이용해 음악신호를 분위기별로 자동 분류한다. 음악신호로부터 검출된 음악 하이라이트 구간과 영상신호로부터 검출된 가수, 주인공의 얼굴이 나오는 영상장면을 결합하여 최종적으로 중요구간이 결정된다. 제안된 방식을 통해 사용자는 모바일 단말기나 DVR에 저장되어 있는 다양한 뮤직비디오들을 분위기별로 선택한 후에 뮤직비디오의 30초 내외의 중요구간을 빠르게 브라우징하여 자신이 원하는 뮤직비디오를 선택할 수 있게 된다. 제안된 알고리즘의 성능을 측정하기 위해 200개의 뮤직비디오를 정해진 수동 뮤직비디오 구간과 비교하여 MOS 테스트를 실행한 결과 제안된 방식에서 검출된 중요 구간이 수동으로 정해진 구간보다 사용자 만족도 측면에서 우수한 결과를 나타내었다. This paper proposes a rapid detection algorithm of a salient region for music video browsing system, which can be applied to mobile device and digital video recorder (DVR). The input music video is decomposed into the music and video tracks. For the music track, the music highlight including musical chorus is detected based on structure analysis using energy-based peak position detection. Using the emotional models generated by SVM-AdaBoost learning algorithm, the music signal of the music videos is classified into one of the predefined emotional classes of the music automatically. For the video track, the face scene including the singer or actor/actress is detected based on a boosted cascade of simple features. Finally, the salient region is generated based on the alignment of boundaries of the music highlight and the visual face scene. First, the users select their favorite music videos from various music videos in the mobile devices or DVR with the information of a music video's emotion and thereafter they can browse the salient region with a length of 30-seconds using the proposed algorithm quickly. A mean opinion score (MOS) test with a database of 200 music videos is conducted to compare the detected salient region with the predefined manual part. The MOS test results show that the detected salient region using the proposed method performed much better than the predefined manual part without audiovisual processing.

지능형 PVR을 위한 축구 동영상 하이라이트 요약

김형국(Kim Hyoung-Gook),신동(Shin Dong) 한국방송·미디어공학회 2009 한국방송공학회 학술발표대회 논문집 Vol.2009 No.11

본 논문에서는 MDCT기반의 오디오 특징과 영상 특징을 이용하여 축구 동영상의 하이라이트를 효과적으로 요약하는 방식을 제안한다. 제안하는 방식에서는 입력되는 축구 동영상을 비디오 신호와 오디오 신호로 분리한 후에, 분리된 연속적인 오디오 신호를 압축영역의 MDCT계수를 통해 이벤트 사운드별로 분류하여 오디오 이벤트 후보구간을 추출한다. 입력된 비디오 신호에서는 장면 전환점을 추출하고 추출된 장면 전환점으로부터 페널티 영역을 검출한다. 검출된 오디오 이벤트 후보구간과 검출된 페널티 영역장면을 함께 결합하여 축구 동영상의 이벤트 장면을 검출한다. 검출된 페널티 영역 장면을 통해 검출된 이벤트 구간을 다른 이벤트 구간보다 더 높은 우선순위를 갖는 하이라이트로 선정하여 요약본이 생성된다. 생성된 하이라이트 요약본의 평가는 precision과 recall을 통해 정확도를 평가하였다.