객체기반 모드 선택형 UHDTV 다채널 오디오방송을 위한 MPEG-H 활용 연구

김성훈 동방문화대학원대학교 문화예술콘텐츠연구소 2023 문화와예술연구 Vol.22 No.-

아날로그TV 방송 시대에는 Mono/Stereo 오디오 방송과 음성다중방송이 있었고, 디지털HDTV 방송 시대에는 Dolby AC-3 기술에 의한 5.1채널 입체오디오 방송이 추가 서비스로 이루어졌다. 지금의 4K-UHDTV 방송 시대에는 채널기반 오디오(Channel-Based Audio) 7.1.4채널 입체오디오 방송을 비롯하여 객체기반 오디오(Object-Based Audio) 기본방송 및 편파방송과 해설방송 등 유저의 선택과 맞춤형 방송이 가능하고, 장면기반 오디오(Scene-Based Audio) 몰입형 공간수음효과 3D 입체음향 방송 등이 MPEG-H 기술에 의해 활용될 수 있다. 본 논문은 국내 UHDTV 방송 전송방식(ATSC 3.0)과 함께 Audio 규격으로 규정된 MPEG-H 기술 응용에 대한 실험을 통해 오디오 서비스 개발의 가능성을 연구하는데 그 목적을 두고 있다. 이러한 연구를 위해 ‘2022 카타르월드컵’ 기간 중 카타르와 SBS 간 전송링크 구간의 국제신호(IS) 현장음 및 SBS 아나운서와 해설자 음성 전송용 음향채널 오디오를 소스로 사용하였으며, 객체기반의 기본, 해설, 현장, 집중 4가지 오디오 모드를 구성하여 SBSi 채널을 통해 모바일 스트리밍 전송을 하였다. 그리고 수신은 SBS 모바일 앱에 Decoder를 설치하여 유저의 음향모드 선택과 활용 및 향후 MPEG-H 기술에 의한 다양한 형태의 오디오 서비스 개발의 가능성을 실험하였다. In the era of analog TV broadcasting, there were mono/stereo audio broadcasting and Bilingual Broadcasts, and in the age of digital HDTV broadcasting, 5.1-channel 3D audio broadcasting using Dolby AC-3 technology was provided as an additional service. In the current era of 4K-UHDTV broadcasting, MPEG-H technology can be used to provide Channel-Based Audio, which is 7.1.4-channel stereoscopic audio broadcasting, and Object-Based Audio, which is customized broadcasting based on the user's selection, including basic broadcasting, polarization broadcasting, and commentary broadcasting. Using MPEG-H technology, immersive spatial sound collection effects and 3D stereoscopic sound broadcasting are also possible. This paper aims to research the potential for developing audio services by conducting experiments with the application of MPEG-H technology, as specified in the audio standard, along with the domestic UHDTV broadcasting transmission method (ATSC 3.0). To conduct this study, field sounds of the international signals (IS) and audio signals from SBS announcers and commentators were used as sources during the '2022 Qatar World Cup' transmission link section between Qatar and SBS. Four object-based audio modes, including basic, commentary, field, and intensive, were configured and transmitted through the SBSi channel via mobile streaming. And for the reception, a decoder was installed in the SBS mobile app to allow users to select and use sound modes, as well as to experiment with the possibility of developing various types of audio services based on MPEG-H technology in the near future.

사용자 기반 실감 객체 오디오 파일 포맷 및 오디오 장면 묘사 기법

조충상(Choong Sang Cho),김제우(Je Woo Kim) 大韓電子工學會 2010 電子工學會論文誌-SP (Signal processing) Vol.47 No.5

최근의 오디오 기술은 사용자 중심으로 변화하고 있으며, 사용자의 환경과 의도에 따라 능동적으로 서비스가 이루어지는 대화형 오디오 서비스 시대로 변화하고 있다. 이에 맞추어 시장에서는 고품질 오디오 서비스를 위한 무손실 오디오 기술을 탑재한 멀티미디어 기기와 사용자가 선택적으로 악기를 조절할 수 있는 객체 오디오 음원 서비스가 이루어지고 있다. 본 논문에서는 사용자가 컨트롤 할 수 있는 실감 객체 오디오 파일 포맷을 설계하고 실감 정보를 낮은 복잡도에서 저장 매체와 전송 매체에 적용 가능한 오디오 장면 묘사 방법을 제안한다. 설계된 실감 객체 오디오 파일 포맷은 MPEG-4 파일 포맷을 기반으로 설계되었다. MPEG-4 파일 포맷은 MPEG-4에 속하는 고성능 오디오 코덱을 오디오 코덱 객체 번호를 통해서 쉽게 적용가능하다. 또한 오디오 객체 개수의 변화에 따라 파일 포맷의 트랙을 변화 시켜 사용하면 되므로 객체 오디오를 포함하기에 적절하다. 본 연구에서 개발된 파일 포맷은 실감 객체오디오 생성시 MPEG-4 오디오 코덱으로 압축된 객체 오디오, 실감 객체 오디오를 위한 오디오 장면 묘사 데이터를 독립적인 트랙으로 포함하고 있다. 포함된 오디오 장면 묘사 기법은 저장 매체를 위해 전체 오디오 장면에 적용되는 오디오 묘사 기법과 각각의 오디오 객체에 적용되는 오디오 묘사 기법을 노드 구조로 설계 하였으며, 전송 매체를 위해서 기본적인 객체 오디오 동작을 하기위한 필수 정보와 오디오 세부장면 묘사를 위한 정보로 분할하여 설계하였다. 이를 바탕으로 본 연구에서는 실감 객체 오디오 시뮬레이터를 개발하였다. 개발된 시뮬레이터는 객체 음원과 오디오 장면 묘사 정보를 부호화하여 MPEG-4 파일 포맷에 저장하며, 생성된 실감 객체 오디오 파일은 재생 모듈에서 오디오 객체에 입력 받은 사용자 정보와 오디오 장면 묘사 정보가 적용되어 사용자에게 몰입감이 높은 실감 오디오 서비스를 제공한다. Multi-media service has been changed into user based audio services, which service supports actively user's preference and interaction with the users. In the market, multi-media products which can support the highest audio-quality by using lossless audio technology have been released and object audio music which user can select the objects has been serviced. In this paper, we design user's preference information based object audio file format and audio scene description for storage and transmission media. The designed file format is designed based on MPEG-4 file format because high-quality audio codecs in MPEG-4 audio can be easily used and the track of file format can be flexibly controlled depend on the number of the instrument in music. The encoded audio data of each objects and encoded audio scene description by binary encoding that has independent track are packed in a file. The scene description for storage media is consist of full and object scene description, the scene description for transmission media has an essential description for object audio operation and a specific description for real audio sound. The designed file format based simulator is developed and it generates an object audio file with several scene descriptions. Also, the real audio sound is serviced by the interaction with user and the unpacked scene description.

분산산술연산방식을 이용한 MPEG-1 오디오 계층 3 합성필터의 FPGA 군현

고성식,최현용,김종빈,구대성,Koh Sung-Shik,Choi Hyun-Yong,Kim Jong-Bin,Ku Dae-Sung 한국음향학회 2004 韓國音響學會誌 Vol.23 No.8

반도체 기술과 멀티미디어 통신기술이 발달하면서 고품위 영상과 다중 채널의 오디오에 관심을 갖게 되었다. MPEG 오디오 계층 3 디코더는 표준안에 기반을 둔 프로세서로써 기존에 많이 구현되어 있다. MPBG-1오디오 계층3 디코더의 합성필터는 디코더 전체에서 가장 많은 연산을 필요로 하기 때문에 고속 프로세서를 설계하기 위해서는 연산량을 줄일 수 있는 새로운 방식의 합성필터를 필요로 한다. 따라서 본 논문에서는 MPEG-1 오디오 계층 3의 핵심부분인 합성필터 부분을 DALUT (distributed arithmetic look-up table)방식을 이용하여 FPGA (Field Programmable Gate Array)에 구현하였다. 고속 필터를 설계하기 위해서 승산기 대신에 DALUT방식을 사용하였고, 파이프라인 구조를 사용하였으며, 데이터를 코사인 함수와 곱셈한 결과를 테이블로 만듦으로써 곱셈기를 제거하여 30%의 성능향상을 얻었다. 본 논문에서의 하드웨어 설계는 모두 VHDL (VHSIC Hardware Description Language)로 기술하였다. VHDL 시뮬레이션은 ALDEC사의 Active-HDL 6.1과 Model-sim 및 합성은 Synplify Pro 7.2v을 사용하였다. 대상 라이브러리는 XILINX사의 XC4010E, XC4020BX, XC4052 XL, P&R 툴은 XACT Ml.4를 사용하여 구현하였다. 구현된 프로세서는 20MHz∼70MHz사이에서 동작한다. As the technologies of semiconductor and multimedia communication have been improved. the high-quality video and the multi-channel audio have been highlighted. MPEG Audio Layer 3 decoder has been implemented as a Processor using a standard. Since the synthesis filter of MPEG-1 Audio Layer 3 decoder requires the most outstanding operation in the entire decoder. the synthesis filter that can reduce the amount of operation is needed for the design of the high-speed processor. Therefore, in this paper, the synthesis filter. the most important part of MPEG Audio, is materialized in FPGA using the method of DAULT (distributed arithemetic look-up table). For the design of high-speed synthesis filter, the DAULT method is used instead of a multiplier and a Pipeline structure is used. The Performance improvement by 30% is obtained by additionally making the result of multiplication of data with cosine function into the table. All hardware design of this Paper are described using VHDL (VHIC Hardware Description Language) Active-HDL 6.1 of ALDEC is used for VHDL simulation and Synplify Pro 7.2V is used for Model-sim and synthesis. The corresponding library is materialized by XC4013E and XC4020EX. XC4052XL of XILINX and XACT M1.4 is used for P&R tool. The materialized processor operates from 20MHz to 70MHz.

디지털 방송에서 효율적인 다중 오디오 모니터링 시스템

김유원(Yoo-Won Kim),손석원(Surg-Won Sohn),조근식(Geun-Sik Jo) 한국컴퓨터정보학회 2008 韓國컴퓨터情報學會論文誌 Vol.13 No.7

디지털방송(Digital Broadcasting)에서는 최대 100여개 정도의 오디오 또는 음악방송을 다중화하여 전송에 적합한 MPEG-2 TS(Transport Stream) 형태로 만들어서 1개 채널로 전송하는 것이 가능하다. 이렇게 다중화 된 많은 음악방송이 정상적으로 전송되고 있는지 확인하기 위해서는 실시간 모니터 링이 가능한 다중 오디오 모니터링 시스템이 필요하다. 아날로그방송에서는 모니터링 할 음악 방송수가 많지 않기 때문에 하드웨어 기반의 오디오 모니터링 시스템을 구현하여 사용하였다. 그러나 하드웨어 기반의 모니터링 시스템을 디지털 음악방송 환경에 적용하는 것은 비용 및 기능 효율성에서 떨어지기 때문에 디지털 방송 환경에 맞는 새로운 시스템이 요구되었다. 본 논문에서는 이 요구사항을 만족시키기 위해서 소프트웨어 기반의 디지털 오디오 모니터링 시스템을 설계하고 구현하였다. 시스템 구현에 있어서 다수의 하드웨어 장비의 도움 없이 소프트웨어를 기반으로 하는 1대의 컴퓨터만을 이용하여 1개 채널로 수신되는 다중화 된 디지털 음악방송을 효율적으로 모니터링 한다. 전송된 디지털 방송신호를 역다중화하여 각각의 방송에 대한 오디오 레벨 및 패킷 에러 정보를 추출하여 화면으로 실시간 상태를 표시하면서 정상적으로 방송이 되고 있지 않는 방송을 자동으로 검출하여 알려준다. 실험 결과 디지털 음악방송 채널에 대한 효율적인 실시간 다중 오디오 모니터링이 가능함을 보였다. In digital broadcasting, it is possible to multiplex maximum one hundred audio or music programs into MPEG-2 transport stream, which is suitable for transmitting through one channel. In order to check if multiplex music programs are transmitted well, we need a multiplex audio monitoring system that monitors the programs in real-time. In analog broadcasting, we have used hardware-based audio monitoring system for a small number music programs. However, the effectiveness of hardware-based audio monitoring system from the cost and function viewpoint is so low that a new system is needed for digital broadcasting. In this paper, we have designed and implemented a software-based audio monitoring system to satisfy these requirements. In this implementation, only one PC is used without other hardware facilities, and the system monitors digital broadcasting music programs effectively. Transmitted digital broadcasting streams are demultiplexed into many music programs and the realtime value of audio level and packet error information for these programs are displayed in the screen. Thus, the system detects and shows the abnormal transmitting programs automatically. Simulation results show that effective realtime multiplex audio monitoring is possible for digital broadcasting music programs.

여기신호의 상관관계 기반 joint coding을 이용한 MPEG-4 audio lossless coding 인코더 복잡도 감소 방법

조충상(Choong Sang Cho),김제우(Je Woo Kim),김병호(Byeong Ho Choi) 大韓電子工學會 2010 電子工學會論文誌-SP (Signal processing) Vol.47 No.3

오디오 신호를 무손실 압축하여 휴대용 멀티미디어 기기에서 최고의 오디오 품질을 제공하는 기기들이 등장하고 있으며, 무손실 오디오 압축을 위한 기술에서는 2006년 MPEG-4 audio lessless coding(ALS)와 MPEG-4 scalable lossless coding(SLS)가 국제 표준으로 채택 되었다. 2009년에는 MPEG에서 최대 스테레오 음원까지만 지원하는 MPEG-4 ALS simple profile을 정의하였다. 표준화된 무손실 오디오 코덱이 휴대용 멀티미디어 기기에서 널리 이용되기 위해서는 휴대용 멀티미디어 기기에서 가장 널리 쓰이는 스테레오 조건에서 낮은 복잡도를 보여야 한다. 하지만 기존 연구에서는 MPEG-4 ALS의 압축률을 향상시키거나, 혹은 다채널 환경에서의 복잡도를 개선하기 위한 연구들이 주로 이루어졌다. 본 논문에서는 MPEG-4 ALS 인코더의 복잡도와 압축률을 분석하고, 이를 바탕으로 MPEG-4 ALS simple profile 조건에서 MPEG-4 ALS 인코더의 복잡도를 개선하기 위한 방법을 제안한다. 분석 결과 MPEG-4 ALS 인코더의 analysis 블록에서 전체 복잡도의 75% 발생하므로, 기존의 연구에서 개발된 저 복잡도 필터를 인코더에 적용하여 복잡도를 감소시키며, joint coding의 압축 효율과 여기 신호의 상호상관계수의 관계를 기반으로 joint coding 결정 방법을 제안한다. 제안된 방법과 저 복잡도 필터가 포함된 MPEG-4 ALS 인코더의 성능은 MPEG-4 conformance test 파일과 일반 음악 파일을 이용하여 복잡도 및 압축률로써 평가된다. 실험 결과 제안된 방법이 적용되었을 경우 압축률은 유사하면서 인코더 복잡도가 24% 감소한다. 이를 통해 본 논문에서 제안된 방법이 MPEG-4 ALS 인코더의 복잡도 감소에 탁월한 성능을 가짐을 보였다. Portable multi-media products which can service the highest audio-quality by using lossless audio codec has been released and the international lossless codecs, MPEG-4 audio lossless coding(ALS) and MPEG-4 scalable lossless coding(SLS), were standardized by MPEG in 2006. The simple profile of MPEG-4 ALS, it supports up to stereo, was defined by MPEG in 2009. The lossless audio codec should have low-complexity in stereo to be widely used in portable multi-media products. But the previous researches of MPEG-4 ALS have focused on an improvement of compression ratio, a complexity reduction in multi-channels coding, and a selection of linear prediction coefficients(LPCs) order. In this paper, the complexity and compression ratio of MPEG-4 ALS encoder is analyzed in simple profile of MPEG-4 ALS, the method to reduce a complexity of MPEG-4 ALS encoder is proposed. Based on an analysis of complexity of MPEG-4 ALS encoder, the complexity of short-term prediction filter of MPEG-4 ALS encoder is reduced by using the low-complexity filter that is proposed in previous research to reduce the complexity of MPEG-4 ALS decoder. Also, we propose a joint coding decision method, it reduces the complexity and keeps the compression ratio of MPEG-4 ALS encoder. In proposed method, the operation of joint coding is decided based on the relation between cross-correlation of residual and compression ratio of joint coding. The performance of MPEG-4 ALS encoder that has the method and low-complexity filter is evaluated by using the MPEG-4 ALS conformance test file and normal music files. The complexity of MPEG-4 ALS encoder is reduced by about 24% by comparing with MPEG-4 ALS reference encoder, while the compression ratio by the proposed method is comparable to MPEG-4 ALS reference encoder.

MPEG-7 표준화 및 내용기반 정보 검색

양성철 慶北專門大學(영주경상전문대학) 2001 慶北專門大學 論文集 Vol.19 No.-

본 고에서는 멀티미디어 정보의 효율적인 검색을 지원하기 위하여 새로 시작된 MPEG-7 국제 표준화의 현재 진행 상황 및 이와 관련된 내용 기반 정보 검색 기술의 연구 동향을 살펴보았다. MPEG-7 표준화는 오디오비쥬얼 데이터가 갖고 있는 다양하고 풍부한 특징 및 내용을 어떻게 표준화된 방식으로 표현할 것인가에 주된 목표를 두고 있으며, 디지털 AV 신호 처리, 컴퓨터 비젼, 자연어 처리, 멀티미디어, 음성 인식 및 데이터베이스 분야를 포함한 다양한 영역의 지식들이 복합적으로 활용될 것으로 보인다. MPEG-7에서 요구하는 멀티미디어 정보의 내용 표현 및 내용 기반 검색에는 두가지 방향의 접근 및 해법이 제시될 것으로 예상된다. 하나는 상위 레벨 내용에 기반한 검색과 다른 하나는 그보다 하위 레벨 내용에 기반한 검색이다. 하위 레벨의 내용에 의한 정색은 사용자 질의가 부자연스러운 점은 있으나 시스템이 자동으로 검색할 수 있다는 장점이 있는 반면, 상위 레벨의 내용에 의한 검색은 좀더 자연스런 질의를 할 수 있으나 현재의 컴퓨터 기술로는 사용자의 개입을 필요로 한다는 단점이 있다. MPEG-7의 유용성 및 표준으로서의 성공은 이러한 두 가지 측면을 어떻게 적절히 수용하는가 하는데 크게 좌우될 것이다. 본 고에서는 이러한 관점에서 멀티미디어 데이터를 오디오 데이터, 정지 영상 데이터 및 동명상 데이터로 분류하여 현재까지 연구되거나 개발된 내용 표현 및 내용 기반 정보 검색 기법들에 관해서 설명하였다. MPEG-7 표준화는 다른 MPEG 표준들과는 독립적으로 사용될 예정이지만 MPEG-7의 내용 표현 기술들은 과거 MPEG 표준안들의 기능을 향상하기 위해서 사용될 수도 있다. MPEG-7 기술의 응용 분야는 광범위하며 그 시장성 또한 매우 클 것으로 전망되므로, 국내의 좋은 연구 결과들을 적극적으로 제안하여 표준안에 채택되도록 함이 요구된다.

DSP 가속기가 내장된 RISC 프로세서 기반 MPEG/Audio 복호화기의 구현

방경호,이근섭,박영철,윤대희,Bang Kyoung Ho,Lee Ken Sup,Park Young Cheol,Youn Dae Hee 한국통신학회 2004 韓國通信學會論文誌 Vol.29 No.12C

무선단말기용 오디오 복호화기는 무선이동환경의 특성상 낮은 전력소모가 요구된다. 단일 RISC 프로세서를 이용하며 비디오/오디오 신호를 처리하는 기존의 구현은, RISC 프로세서의 연산부담이 과도하여 실시간 밀터미디어 서비스를 지원하기에는 효율적이지 못하고 캐쉬 메모리가 충분하지 않은 경우 잦은 캐쉬-미스로 인하여 전력소비량이 증가하게 된다. 본 논문에서는 무선단말기를 위한 MPEG/Audio 복호화기를 설계하자 MAC 연산에 최적화된 DSP 블록이 내장된 RISC 프로세서를 이용하여 복호화 시스템을 구현하였다. 오디오 복호화 과정을 연산중심부분과 제어중심부분으로 분할하고, 각각 DSP 블록과 RISC 프로세서에 할당하여. 병렬적으로 처리할 수 있도록 알고리듬을 설계하였다. 제안된 시스템은 MP3와 AAC 복호화 과정을 각각 17MHz, 24MHz로 처리한다. 이것은 단일 RISC 프로세서의 구현에 비하여 각각 48%와 40% 감소한 것이다. 오디오 신호처리에 최척화된 DSP 블록이 내장된 RISC 프로세서를 이용하는 것은 자원의 효율적인 이용이 가능하고, 캐쉬 메모리가 크지 않은 휴대용 멀티미디어 시스템에 적합하다. MPEG/Audio decoder for mobile multimedia systems requires low power consumption. Implementations of AV decoder using a single RISC processor often need high power consumption owing to cash-miss in case of insufficient cash memory. In this paper, we present a MPEG/Audio decoder for mobile handset applications and implement it on a RISC processor embedding a minimized DSP accelerator. Audio decoding algorithm is splined into two parts; computation intensive and control intensive parts. Those parts we, respectively, allocated to DSP and RISC core, which are designed to run in parallel to increase the processing efficiency. The proposed system implements MP3 and AAC decoders at l7MHz and 24MHz clocks, which are reductions of 48% and 40% of complexities in comparison with implementations on a single RISC processor. The proposed method is adequate for mobile multimedia applications with insufficient cash memory.

A Design of Multi-Format Audio Decoder

박성욱(Sung-Wook Park) 한국지능시스템학회 2007 한국지능시스템학회논문지 Vol.17 No.4

본 논문은 AC-3 와 MPEG-2 를 모두 복호화할 수 있는 오디오 복호화기 구조를 제시한다. MPEG-2 합성필터는 AC-3 와 공통점을 얻기 위해서 32 포인트 FFT 를 활용하도록 변환되었다. 복호화기는 프로그래머블 오디오 DSP 코어와 공용의 합성필터로 구성되어 서로 다른 포멧을 효과적으로 분석, 복호화가 가능하다. This paper presents an audio decoder architecture which can decode AC-3 and MPEG-2 audio bit-streams efficiently. MPEG-2 synthesis filtering is modified by the 32-point FFT to share the common data path with the AC-3's. A programmable Audio DSP core and a hardwired common synthesis filter are incorporated for effective decoding of two different formats.

MPEG Surround Extension Technique for MPEG-H 3D Audio

백승권,성종모,서정일,이태진 한국전자통신연구원 2016 ETRI Journal Vol.38 No.5

In this paper, we introduce extension tools for MPEG Surround, which were recently adopted as MPEG-H 3D Audio tools by the ISO/MPEG standardization group. MPEG-H 3D Audio is a next-generation technology for representing spatial audio in an immersive manner. However, considerably large numbers of input signals can degrade the compression performance during a low bitrate operation. The proposed extension of MPEG Surround was basically designed based on the original MPEG Surround technology, where the limitations of MPEG Surround were revised by adopting a new coding structure. The proposed MPEG-H 3D Audio technologies will play a pivotal role in dramatically improving the sound quality during a lower bitrate operation.

객체 오디오 부호화 표준 SAOC 기술 및 응용

오현오(Hyen-O Oh),정양원(Yang-Won Jung) 大韓電子工學會 2010 電子工學會論文誌-SP (Signal processing) Vol.47 No.5

객체 기반 오디오 부호화 기술은 다양한 응용 분야를 기대할 수 있는 차세대 오디오 기술로써 관심이 높다. 최근 MPEG에서는 SAOC (Spatial Audio Object Coding)라는 압축 효율이 우수한 Parametric 객체 부호화 방법을 표준화하였다. 본 논문에서는 SAOC를 중심으로 Parametric 객체 오디오 부호화의 기술을 소개하고, 이를 실제 적용하기 위한 고려사항들에 대해 다룬다. Object-based audio coding technology has been interested with its expectation to apply in wide areas. Recently, ISO/IEC MPEG has standardized a parametric object audio coding method, the SAOC (Spatial Audio Object Coding). This paper introduces parametric object audio coding techniques with special focus on the MPEG SAOC and also describes several issues and solutions that should be considered for a success in its application.