多媒體技術(shù)基礎(chǔ)3版章MPEG聲音課件

1、多媒體技術(shù)基礎(chǔ)(第3版)第11章 MPEG聲音 張奇復(fù)旦大學(xué) 計算機科學(xué)技術(shù)學(xué)院qz 2011年4月2022年9月22日第11章 MPEG聲音2/42第11章 MPEG聲音目錄 11.1 聽覺系統(tǒng)的感知特性11.1.1. 對響度的感知11.1.2. 對音高的感知11.1.3. 掩蔽效應(yīng)11.2 感知聲音編碼11.2.1 MPEG聲音的壓縮依據(jù)11.2.2 感知子帶編碼11.2.3 杜比數(shù)字編碼11.3 MPEG-1 Audio11.3.1 聲音編碼11.3.2 聲音的性能11.3.3 子帶編碼11.3.4 多相濾波器組11.3.5 編碼層11.4 MPEG-2 Audio11.4.1 MPEG

2、-2 Audio簡介11.4.2 MPEG-2 Audio使用的環(huán)繞聲11.4.3 MPEG-2 Audio的后向兼容結(jié)構(gòu)11.5 MPEG-2 AAC11.5.1 MPEG-2 AAC是什么11.5.2 MPEG-2 AAC編解碼器的結(jié)構(gòu)11.5.3 MPEG-2 AAC的類型11.6 MPEG-4 Audio11.6.1 MPEG-4 Audio是什么11.6.2 MPEG-4 Audio工具與文檔11.6.3 MPEG-4話音(speech)編碼11.6.4 MPEG-4聲音(audio)編碼11.6.5 MPEG-4 聲音無損壓縮2022年9月22日第11章 MPEG聲音3/42第11

3、章 MPEG聲音 前言MPEG聲音的數(shù)據(jù)壓縮和編碼不是依據(jù)波形本身的相關(guān)性和模擬人的發(fā)音器官的特性，而是利用人的聽覺系統(tǒng)的特性來達到壓縮聲音數(shù)據(jù)的目的，這種壓縮編碼稱為感知聲音編碼進入20世紀(jì)80年代，人類在利用自身的聽覺系統(tǒng)的特性來壓縮聲音數(shù)據(jù)方面取得了很大的進展，先后制定了MPEG-1 Audio, MPEG-2 Audio，MPEG-2 AAC和MPEG-4 Audio等標(biāo)準(zhǔn)1234，并把它們統(tǒng)稱為MPEG聲音。本章涉及的許多具體算法已經(jīng)超出本教材的要求。為給需要深入研究和具體開發(fā)產(chǎn)品的讀者提供方便，本章提供了大量寶貴的參考文件和站點地址 2022年9月22日第11章 MPEG聲音4/4

4、211.1 聽覺系統(tǒng)的感知特性對響度的感知聲音的響度就是聲音的強弱在物理上，用dyn/cm2(達因/平方厘米)(聲壓)或W/cm2(瓦特/平方厘米)(聲強)度量在心理上，主觀感覺的聲音強弱使用響度級“方(phon)”或“宋(sone)”來度量這兩種計量單位完全不同，但它們之間有一定的聯(lián)系人耳的聽覺范圍聽閾：當(dāng)聲音弱到人耳朵剛可聽見時的聲音強度痛域：聲音強到使人耳感到疼痛時的聲音強度聽覺范圍：位于聽閾和痛域之間，見圖11-1 2022年9月22日第11章 MPEG聲音6/4211.1 聽覺系統(tǒng)的感知特性(續(xù)2)對音高(頻率)的感知客觀上用頻率表示聲音的音高，其單位是Hz。而主觀感覺的音高單位則是

5、“美(Mel)”。主觀音高與客觀音高的關(guān)系為其中，f 的單位為Hz，Hz和Mel不同但有聯(lián)系人耳對頻率的感知范圍，可以聽到最低頻率約20 Hz最高頻率約20000 Hz 2022年9月22日第11章 MPEG聲音7/4211.1 聽覺系統(tǒng)的感知特性(續(xù)3)音高-頻率曲線測量主觀音高時，讓實驗者聽兩個聲強級為40 dB的純音，固定其中一個純音的頻率，調(diào)節(jié)另一個純音的頻率，直到他感到后者的音高為前者的兩倍，就標(biāo)定這兩個聲音的音高差為兩倍。測出的“音高頻率”曲線見圖11-2 圖11-2 “音高頻率”曲線2022年9月22日第11章 MPEG聲音9/4211.1 聽覺系統(tǒng)的感知特性(續(xù)5)圖11-3

6、頻域掩蔽2022年9月22日第11章 MPEG聲音10/4211.1 聽覺系統(tǒng)的感知特性(續(xù)6)圖11-4中的一組曲線表示為250 Hz，1 kHz和4 kHz純音的掩蔽效應(yīng)，它們的聲強均為60 dB250 Hz，1 kHz和4 kHz附近，對其他純音的掩蔽效果最明顯低頻純音可有效地掩蔽高頻純音，相反則不明顯 圖11-4 不同純音的掩蔽效應(yīng)曲線2022年9月22日第11章 MPEG聲音11/4211.1 聽覺系統(tǒng)的感知特性(續(xù)7)臨界頻帶(critical band)人耳剛可感知兩種頻率的聲音有差別的頻率范圍通常認為聲音(audio)有25個臨界頻帶，見表11-1臨界頻帶的寬度隨聲音頻率的變化

7、而變化在低頻端，寬度小于100 Hz，可認為接近于常數(shù)在高頻端，寬度近似線性增加，寬度可大到4 kHz臨界頻帶的單位為Bark(巴克)1 Bark等于一個臨界頻帶的寬度2022年9月22日第11章 MPEG聲音12/4211.1 聽覺系統(tǒng)的感知特性(續(xù)8)2022年9月22日第11章 MPEG聲音13/4211.1 聽覺系統(tǒng)的感知特性(續(xù)9)時域掩蔽在時間上相鄰的聲音之間的掩蔽現(xiàn)象 67一個強掩蔽音出現(xiàn)前、同時存在時或消失后的掩蔽效果見圖11-5同時掩蔽(simultaneous masking)：信號和掩蔽音同時產(chǎn)生的現(xiàn)象滯后掩蔽(post-masking)：信號出現(xiàn)在掩蔽音消失后出現(xiàn)的現(xiàn)象

8、，可以持續(xù)50200 ms 超前掩蔽(pre-masking)：信號出現(xiàn)在掩蔽音出現(xiàn)之前產(chǎn)生的現(xiàn)象。雖然對超前掩蔽有許多研究報告，但這種現(xiàn)象依然令人費解9 7。超前掩蔽很短，通常只有大約220 ms，產(chǎn)生時域掩蔽的主要原因人的大腦處理信息需要花費一定的時間2022年9月22日第11章 MPEG聲音14/4211.1 聽覺系統(tǒng)的感知特性(續(xù)10)圖11-5 時域掩蔽2022年9月22日第11章 MPEG聲音16/4211.2 感知聲音編碼(續(xù)1)MPEG聲音的壓縮依據(jù)聽覺系統(tǒng)存在聽覺閾值電平低于閾值電平的信號聽不到，因此可把這部分信號去掉聽覺閾值的大小隨聲音頻率的改變而改變大多數(shù)人的聽覺系統(tǒng)對2

9、5 kHz之間的聲音最敏感聽覺掩飾特性聽覺閾值電平會隨聽到的不同頻率的聲音而發(fā)生變化例如，1000 Hz和1100 Hz的聲音同時存在，前者的強度大于后者18dB，在這種情況下，1100 Hz的聲音就聽不到體驗：在一個安靜房間里的普通談話可以聽得很清楚，但在播放搖滾樂的環(huán)境下，同樣的普通談話就聽不清楚了2022年9月22日第11章 MPEG聲音17/4211.2 感知聲音編碼(續(xù)2)感知子帶編碼簡化算法框圖見圖11-6輸入信號通過“濾波器組(filter bank)”進行濾波之后被分割成許多子帶每個子帶信號對應(yīng)一個“編碼器”，然后根據(jù)心理聲學(xué)模型對每個子帶信號進行量化和編碼，輸出量化信息和經(jīng)過

10、編碼的子帶樣本通過“多路復(fù)合器”把每個子帶的編碼輸出按照傳輸或者存儲格式的要求復(fù)合成數(shù)據(jù)位流(bit stream)解碼過程與編碼過程相反 2022年9月22日第11章 MPEG聲音19/4211.2 感知聲音編碼(續(xù)4)杜比數(shù)字(Dolby Digital)前稱為Dolby AC-3，簡稱AC-31992年杜比實驗室開發(fā)的數(shù)字聲音編碼系統(tǒng)，采用了感知編碼技術(shù)多聲道環(huán)繞聲格式，現(xiàn)已作為國際標(biāo)準(zhǔn)杜比數(shù)字可提供6個聲音通道，稱為5.1聲道，即左、中、右、后左、后右5個主聲道和1個低音加強聲道聲音數(shù)據(jù)的位速率通常為64448 kbps立體聲的位速率通常為192 kbps5.1聲道的位速率通常為384

11、 kbps，但可高達640 kbps已用在DVD影視盤、DTV(數(shù)字電視)、HDTV和其他娛樂產(chǎn)品中 2022年9月22日第11章 MPEG聲音20/4211.2 感知聲音編碼(續(xù)5)圖11-7 Dolby AC-3壓縮編碼算法框圖10編碼器框圖見圖11-7輸入是未被壓縮的PCM樣本，而PCM樣本的采樣頻率必須是32, 44.1或48 kHz，樣本精度可多到20位獲得高壓縮比的基本方法是對用頻域表示的聲音信號進行量化，詳細計算請看文獻1011 12 2022年9月22日第11章 MPEG聲音21/4211.2 感知聲音編碼(續(xù)6)各部分的功能簡述如下分析濾波器組(analysis filter

12、 bank)：把用PCM時間樣本表示的聲音信號變換成用頻率系數(shù)塊(frequencies coefficients block)表示的聲音信號。單個頻率系數(shù)用二進制的指數(shù)(exponent)和尾數(shù)(mantissa)表示頻譜包絡(luò)編碼(spectral envelope encoding)：對“分析濾波器組”輸出的指數(shù)進行編碼。指數(shù)代表粗糙的信號頻譜，因此稱為(頻)“譜包絡(luò)編碼”位分配(bit allocation)：使用“譜包絡(luò)編碼”輸出的信息確定尾數(shù)編碼所需要的位數(shù)尾數(shù)量化(mantissa quantization)：按照“位分配”輸出的位分配信息對尾數(shù)進行量化AC-3幀格式(AC-3 f

13、rame formatting)：把“尾數(shù)量化”輸出的量化尾數(shù)和“譜包絡(luò)編碼”輸出的頻譜包絡(luò)組成AC-3幀一幀由6個聲音塊(1536個聲音樣本)組成?！癆C-3幀格式”輸出的是AC-3編碼位流，它的位速率為32640 kbps 2022年9月22日第11章 MPEG聲音22/4211.3 MPEG-1 AudioMPEG-1 Audio編碼器MPEG-1 Audio (ISO/IEC 11172-3) 是世界上第一個高保真聲音數(shù)據(jù)壓縮標(biāo)準(zhǔn)，得到極其廣泛的應(yīng)用 編碼器的輸入信號為線性PCM信號采樣率為32, 44.1或48 kHz編碼器的輸出信號為32384 kbps圖11-8 MPEG-1 A

14、udio編碼器的輸入/輸出2022年9月22日第11章 MPEG聲音23/4211.3 MPEG-1 Audio(續(xù)1)MPEG-1 Audio定義了三個獨立壓縮層次第1層MP1(MPEG Audio Layer 1)僅利用頻域掩蔽特性，典型的壓縮比為1:4，相應(yīng)的數(shù)據(jù)率為384 kbps算法復(fù)雜度最低第2層MP2(MPEG Audio Layer 2)利用頻域掩蔽特性和時間掩蔽特性，典型的壓縮比為1:61:8，數(shù)據(jù)率為256192 kbps算法復(fù)雜度中等第3層MP3(MPEGAudio Layer 3)利用頻域掩蔽特性、時間掩蔽特性和臨界頻帶特性，典型的壓縮比為1:101:12，相應(yīng)的數(shù)據(jù)率

15、為128112 kbps，聲音質(zhì)量接近CD-DA 算法復(fù)雜度最高2022年9月22日第11章 MPEG聲音24/4211.3 MPEG-1 Audio(續(xù)2)MPEG-1 Audio的壓縮率在保持接近CD音質(zhì)的前提條件下，MPEG-1 Audio標(biāo)準(zhǔn)一般所能達到的壓縮率見表11-22022年9月22日第11章 MPEG聲音26/4211.4 MPEG-2 AudioMPEG-2 Audio簡介MPEG-2標(biāo)準(zhǔn)委員會定義了兩種聲音數(shù)據(jù)壓縮標(biāo)準(zhǔn)MPEG-2 Audio (ISO/IEC 13818-3)12也稱MPEG-2 Multichannel Audio (多通道聲音)因為它與MPEG-1

16、Audio是兼容的，所以又稱為MPEG-2 BC (Backward Compatible)標(biāo)準(zhǔn)MPEG-2 AAC (ISO/IEC 13818-7)22因為它與MPEG-1 Audio格式不兼容，因此通常把它稱為非后向兼容MPEG-2 NBC(Non-Backward-Compatible)標(biāo)準(zhǔn)2022年9月22日第11章 MPEG聲音27/4211.4 MPEG-2 Audio(續(xù)1)MPEG-2 Audio和MPEG-1 Audio相比較都使用相同的編譯碼器，3個編碼層的編碼結(jié)構(gòu)也相同MPEG2聲音標(biāo)準(zhǔn)做了如下擴充增加了16 kHz, 22.05 kHz和24 kHz采樣頻率擴展了輸出

17、速率范圍，由32384 kbps擴展到8640 kbps增加了聲道數(shù)，支持5.1聲道和7.1聲道的環(huán)繞聲支持Linear PCM(線性PCM)和Dolby AC-3(Audio Code Number 3)編碼它們的差別見表11-52022年9月22日第11章 MPEG聲音29/4211.5 MPEG-2 AAC MPEG-2 AAC是什么MPEG-2 Advanced Audio Coding的縮寫，聲音感知編碼標(biāo)準(zhǔn)像其他感知編碼標(biāo)準(zhǔn)那樣，使用聽覺系統(tǒng)的掩蔽特性來減少聲音的數(shù)據(jù)量，把量化噪聲分散到各個子帶并用全局信號來掩蔽噪聲采樣頻率可從8 kHz到96 kHz，編碼器的輸入可來自單聲道、立

18、體聲或多聲道音源的聲音可支持48個聲道、16個低頻音效加強通道(LFE)、16個配音聲道(overdub channel)或稱多語言聲道(multilingual channel)和16個數(shù)據(jù)流在壓縮比為11:1時，很難區(qū)分壓縮前和壓縮還原后的聲音11:1即每個聲道的數(shù)據(jù)率為(44.116 )/11=64 kbps，5個聲道的總數(shù)據(jù)率為320 kbps在聲音質(zhì)量相同的前提下與MPEG-1/-2 Audio 的第2層相比，AAC的壓縮率可提高1倍與MPEG-1/-2 Audio 的第3層相比，AAC的數(shù)據(jù)率是它的70 2022年9月22日第11章 MPEG聲音30/4211.6 MPEG-4 A

19、udioMPEG-4 Audio是什么包羅萬象的聲音對象編碼標(biāo)準(zhǔn)(ISO-IEC 14496-3) ，從話音、聲音到合成語音的編碼。企圖達到的數(shù)據(jù)速率和應(yīng)用目標(biāo)見圖11-23該標(biāo)準(zhǔn)為每個聲道規(guī)定的數(shù)據(jù)速率為264 kbps，并為此定義了三種類型的編碼器，稱為“編碼工具(coding tool)”在數(shù)據(jù)速率為26 kbps范圍內(nèi)，可使用參數(shù)編碼(parametric coding)，聲音信號的采樣頻率使用8 kHz在數(shù)據(jù)速率為624 kbps的范圍內(nèi)，可使用碼激勵線性預(yù)測技術(shù)(code excited linear prediction，CELP)，聲音信號的采樣頻率使用8kHz或16 kHz在

20、數(shù)據(jù)速率為1664 kbps范圍內(nèi)，可使用時間/頻率編碼(time/frequency coding)或稱為“基于變換的普通聲音編碼(transform-based general audio coding)”技術(shù)，如用MPEG-2 AAC經(jīng)過改進的MPEG-4 AAC，支持896 kHz的聲音信號采樣頻率 2022年9月22日第11章 MPEG聲音31/4211.6 MPEG-4 Audio(續(xù)1)圖11-23 MPEG-4 Audio數(shù)據(jù)速率和應(yīng)用目標(biāo)(引自ISO/IEC 14496-3 Subpart 1:1998)2022年9月22日第11章 MPEG聲音32/4211.6 MPEG-

21、4 Audio(續(xù)2)關(guān)于MPEG-4 Audio的標(biāo)準(zhǔn)文檔從20世紀(jì)90年代中期以來已有多個版本，見圖11-24，前后版本的差別也比較大原因之一是這個時期的技術(shù)發(fā)展比較快，MPEG-4 Audio標(biāo)準(zhǔn)不斷采納當(dāng)時還不夠成熟的新技術(shù)，例如正弦波編碼(SSC)和譜帶復(fù)制(SBR)編碼的有損壓縮技術(shù)聲音無損編碼(ALS)和直接數(shù)據(jù)流傳輸(DST)的無損壓縮技術(shù) 2022年9月22日第11章 MPEG聲音33/4211.6 MPEG-4 Audio(續(xù)3)MC/LSF: multi-channel and low sampling frequencyAAC: advanced audio coder

22、SBR: spectral band replicationSSC: sinusoidal codingSLS: scalable losslessDST: direct stream transfer圖11-24 MPEG-4 Audio概要242022年9月22日第11章 MPEG聲音34/4211.6 MPEG-4 Audio(續(xù)4)MPEG-4 Audio工具與文檔提供的聲音工具可分成8種類型(1) 話音編碼工具(speech coding tools)(2) 聲音編碼工具(audio coding tools)(3) 無損聲音編碼工具(lossless audio coding to

23、ols)(4) 聲音合成工具(synthesis tools)(5) 編排工具(composition tools)(6) 性能可變工具(scalability tools)(7) 上行數(shù)據(jù)流控制工具(upstream)(8) 抗錯工具(error robustness facilities) 2022年9月22日第11章 MPEG聲音35/4211.6 MPEG-4 Audio(續(xù)5)描述各種工具的文檔(ISO-IEC 14496-3)有10部分Subpart 1: MainSubpart 2: Speech coding HVXCSubpart 3: Speech coding CELPS

24、ubpart 4: General Audio coding (GA) AAC, TwinVQ, BSACSubpart 5: Structured Audio (SA)Subpart 6: Text To Speech Interface (TTSI)Subpart 7: Parametric Audio Coding HILNSubpart 8: Parametric coding for high quality audio SSCSubpart 9: MPEG-1/2 Audio in MPEG-4Subpart 10: Lossless coding of over sampled

25、audio DST 2022年9月22日第11章 MPEG聲音36/42第11章 MPEG聲音(參考文獻)參考文獻和站點The MPEG Home Page, /mpeg/MPEG Industry Forum, /resources.phpMPEG Audio Resources and Software, /MPEG/audio.htmlThe MPEG Audio Web Page, /mpeg4/audio/ J. S. Tobias, Ed., Foundations of Modern Auditory Theory, Vol. 1, Academic Press, New Yor

26、k, 1970Hugo Fastl and Eberhard Zwicker, Psychoacoustics: Facts and Models (Springer Series in Information Sciences), 3rd ed. 2007. pp149-173Ted Painter and Andreas Spanias, Perceptual Coding of Digital Audio, Proceedings of the IEEE, VOL. 88, NO. 4, April 2000. /spanias/papers/paper-audio-tedspanias

27、-00.pdf 2022年9月22日第11章 MPEG聲音37/42第11章 MPEG聲音(參考文獻 續(xù)1)Miroslava Raspopovic, Charles Thompson, Donn Clark, Design of Perception Based Audio Codec - Final Report, May 25th, 2001. /mira/Research/Codec.pdfTeddy Surya Gunawan, Eliathamby Ambikairajah, Audio Compression and Speech Enhancement using Tempor

28、al Masking Models, thesis submitted for the degree of Doctor of Philosophy, 2007. .au/thesis/adt-NUN/uploads/approved/adt-NUN20070226.040348/public/01front.pdfAdvanced Television Systems Committee, Inc., Digital Audio Compression Standard (AC-3, E-AC-3), Revision B, Document A/52B, 14 June 2005. /st

29、andards.htmlITU Radio communication Study Groups, A guide to digital terrestrial television broadcasting in the VHF/UHF bands, 1998. http:/happy.emu.id.au/lab/tut/dttb/dttbtuti.htmISO/IEC 13818-3，ISO/IEC JTC1/SC29/WG11 NO803，Information Technology - Generic Coding of Moving Pictures and Associated A

30、udio: Audio，11/November/1994P. U. Y. Dehery, M. Lever, A MUSICAM source codec for digital audio broadcasting and storage, in Proceedings of Int. Conf. Acoustic, Speech, Signal Processing, pp. 3605-3608, IEEE, 19912022年9月22日第11章 MPEG聲音38/42第11章 MPEG聲音(參考文獻 續(xù)2)K. Brandenburg, J. Herre, J. D. Johnston,

31、 Y. Mahieux, and E. Schroeder, ASPEC: Adaptive spectral entropy coding of high quality music signals, in Proc. 90th Convention. Aud. Eng. Soc., Feb. 1991P. Noll, Wideband Speech and Audio Coding, IEEE Comm. Mag., pp.34-44, Nov. 1993. /iel1/35/6505/00256878.pdfDavis Pan. A Tutorial on MPEG/Audio Comp

32、ression. IEEE Multimedia, 1995, pp60-74. /dpwe/e6820/papers/Pan95-mpega.pdfKarlheinz Brandenburg, OCF-A New Coding Algorithm for High Quality Sound Signals, 1987. /iel6/8363/26345/01169893.pdf. Princen J, Bradley, A. Analysis/Synthesis Filter Bank Design Based on Time Domain Aliasing Cancellation. I

33、EEE Transactions, ASSP-34, No.5, Oct 1986, pp 1153-1161, /iel6/29/26200/01164954.pdf2022年9月22日第11章 MPEG聲音39/42第11章 MPEG聲音(參考文獻 續(xù)3)Ye Wang and Miikka Vilermo，The Modified Discrete Cosine Transform: Its Implications for Audio Coding and Error Concealment, AES 22nd International Conference on Virtual,

34、Synthetic and Entertainment Audio, 2002. .sg/wangye/papers/00027_aes22.pdf. Hossein Najafzadeh-Azghandi，Perceptual Coding of Narrowband Audio Signals, April 2000. http:/www-mmsp.ece.mcgill.ca/MMSP/Theses/T1999-2001.htmlISO/IEC 11172-3, Coding of moving pictures and associated audio for digital stora

35、ge media at up to about 1.5 mbit/s，3-Annex C (informative) The encoding process. 1993ISO/IEC 13818-7:2004(E), Information technology Generic coding of moving pictures and associated audio information Part 7: Advanced Audio Coding (AAC)Bosi Metal, ISO/IEC MPEG-2 Advanced Audio Coding. Journal of the

36、Audio Engineering Society, No.10, pp. 789-813, October 1997.Takehiro Moriya, Noboru Harada, Yutaka Kamamoto, and Hiroshi Sekigawa，MPEG-4 ALSInternational Standard for Lossless Audio Coding , NTT Technical Review，pp40-45, Vol. 4 No. 8, Aug. 2006. 2022年9月22日第11章 MPEG聲音40/42第11章 MPEG聲音(參考文獻 續(xù)4)ISO/IEC

37、14496-3, Third edition, 2005-12-01, Information technology Coding of audio-visual objects Part 3: Audio. Dennis H. Klatt. Review of text-to-speech conversion for English. J. Acoustical. Soc. Am. 82(3), September 1987. /iel6/8370/26352/01171431.pdfStefan Meltzer and Gerald Moser, MPEG-4 HE-AAC v2 - audio coding for todays media world, EBU Technical Review January 2006，/Tilman Liebchen, Takehiro Moriya, Noboru Harada, Yutaka Kamamoto, and Yuriy A. Reznik, The MPEG-4 Audio Lossless Coding (ALS