多媒體技術應用2音頻處理技術

多媒體技術應用數(shù)學與計算機學院陳永強Email:chenyqw2013-2014-21多媒體技術應用2音頻處理技術第二章音頻處理技術2.1

音頻基本原理

2.1.1

人類聽覺特性

2.1.2

數(shù)字音頻2.1.3

聲音2.1.4語音2.2常用音頻壓縮標準

2.2.1音頻壓縮基礎

2.2.2常用音頻壓縮標準

2.2.3音頻文件格式2.3音頻處理軟件Audition

2.3.1功能介紹

2.3.2編輯環(huán)境

2.3.3基本操作2多媒體技術應用2音頻處理技術第二章音頻處理技術2.1

音頻基本原理2.1.1

人類聽覺特性2.1.2

數(shù)字音頻2.1.3

聲音2.1.4語音3多媒體技術應用2音頻處理技術近十年來，隨著計算機技術的高速發(fā)展，以及能同時滿足數(shù)字信號的高壓縮率和數(shù)字信號的高保真透明重放質量的壓縮算法及標準得到大量開發(fā)與使用，數(shù)字音頻已經(jīng)廣泛應用于因特網(wǎng)、多媒體及無線通信系統(tǒng)，CD品質的數(shù)字音頻已經(jīng)從根本上替代了模擬音頻。因此，人們對音頻信號數(shù)字化處理提出了越來越高的要求，相應軟硬件實現(xiàn)手段的效率也在不斷提高。4多媒體技術應用2音頻處理技術2.1.1

人類聽覺特性音頻信號的感知過程與人耳的聽覺系統(tǒng)密不可分。對于人類聽力感知的研究，其范圍從人耳的生理設計到大腦對聽覺信息的解釋。當前，大部分感知音頻的編碼算法都是基于心理聲學模型的。5多媒體技術應用2音頻處理技術2.1.1

人類聽覺特性1．聽閾與聽域2．音調3．響度和響度級4．絕對聽覺門限5．臨界頻帶6．同時掩蔽7．異時掩蔽8．感知熵6多媒體技術應用2音頻處理技術2.1.1

人類聽覺特性1．聽閾與聽域聽閾（AuditoryThreshold）就是指人能聽到的最低聲壓級（SoundPowerLevel，SPL）。聽域（AudibleArea）是指人能感知的聲音的范圍，正常人耳能夠感知的頻率范圍大致是20Hz～20kHz；正常人能感知聲音的聲壓級范圍是0～128dB。7多媒體技術應用2音頻處理技術圖2-1聽閾-頻率曲線

8多媒體技術應用2音頻處理技術2.1.1

人類聽覺特性2．音調音調（Pitch）在物理學中是指聲音的高低，實際上就是指人耳對不同頻率聲音的一種主觀感受。音調主要由聲音的頻率決定，同時也與聲音強度有關。頻率高的聲音，人感覺其音調也較高，反之，人感知音調低的聲音其頻率也低。對音調可以進行定量的判斷，其度量單位為美（Mel），定義一個聲壓級為40dB，頻率為1kHz的純音的音調為1000Mel。9多媒體技術應用2音頻處理技術2.1.1

人類聽覺特性3．響度和響度級響度（Loudness）是人耳感受聲音強弱的主觀感覺程度，這種感覺與音強、頻率和波形都有關系，其度量單位為宋（Sone），定義一個聲壓級為40dB，頻率為1kHz的純音的響度為1Sone。響度級（LoudnessLevel）是指某響度與基準響度相比的等級，其度量單位為方（Phon），定義1kHz純音的響度級為1Phon。10多媒體技術應用2音頻處理技術圖2-2人耳可聽最小響度曲線

11多媒體技術應用2音頻處理技術2.1.1

人類聽覺特性4．絕對聽覺門限絕對聽覺門限（AbsoluteThresholdofHearing，ATH）指一個人在沒有噪聲的環(huán)境下，能夠產(chǎn)生聽覺，感知到一個純音信號（某頻率點）的最小能量幅度。絕對聽覺門限用聲壓級表示，靜音為0dB，痛閾為140dB。

12多媒體技術應用2音頻處理技術圖2-3絕對聽覺門限曲線

13多媒體技術應用2音頻處理技術2.1.1

人類聽覺特性5．臨界頻帶指一個純音可以被以它為中心頻率，并且具有一定頻帶寬度的連續(xù)噪聲所掩蔽，在這一頻帶內噪聲功率等于該純音的功率。使該純音處于剛能被聽到的臨界狀態(tài)，即稱這一帶寬為臨界頻帶寬度。臨界頻帶的單位為巴克（Bark）。

14多媒體技術應用2音頻處理技術2.1.1

人類聽覺特性6．同時掩蔽掩蔽效應是指當兩個響度不等的聲音作用于人耳時，響度較高的頻率成分的存在會影響到對響度較低的頻率成分的感知。當兩個或更多的音頻信號到達人內耳時，掩蔽聲與被掩蔽聲同時作用發(fā)生掩蔽效應，就稱同時掩蔽。

15多媒體技術應用2音頻處理技術2.1.1

人類聽覺特性7．異時掩蔽指掩蔽效應發(fā)生在掩蔽聲與被掩蔽聲不同時出現(xiàn)的情況下。若掩蔽聲音出現(xiàn)之前的一段時間內發(fā)生掩蔽效應，則稱為超前掩蔽，否則稱為滯后掩蔽。

16多媒體技術應用2音頻處理技術2.1.1

人類聽覺特性8．感知熵感知熵（PerceptualEntropy）指利用心理聲學的掩蔽現(xiàn)象和信號能量化原理來測量音頻信號中感知相關的信息。一般以位（bit）作為單位，實際上表示了音頻信號壓縮的理論極限。

17多媒體技術應用2音頻處理技術2.1.2

數(shù)字音頻音頻信號是時間和幅度都連續(xù)變化的一維模擬信號，要想在計算機中對它進行處理，就要將它變成時間和幅度都是離散的數(shù)字信號，所以數(shù)字音頻是指音頻信號經(jīng)過離散化處理后再用一系列的數(shù)字來表示的信號，其特點是保真度好，動態(tài)范圍大。數(shù)字音頻可分為波形聲音、語音和音樂。波形聲音實際上包含了所有的聲音形式，因此數(shù)字音頻有時也泛稱為聲音。18多媒體技術應用2音頻處理技術2.1.2

數(shù)字音頻用計算機來處理音頻信號必須將模擬音頻信號轉換成有限個數(shù)字表示的離散序列，過程為：選擇采樣頻率，即進行采樣；選擇分辨率，即進行量化；最后編碼形成聲音文件。聲音的采樣與量化如圖所示。19多媒體技術應用2音頻處理技術2.1.2

數(shù)字音頻1.采樣采樣（Sampling）指把模擬信號在時域上以固定的時間間隔對波形的值進行抽取，再用若干位二進制數(shù)表示。對聲音波形采樣的頻率直接影響聲音的質量，采樣頻率越高，聲音保真度越好，但所要求的數(shù)據(jù)存儲量也越大。根據(jù)采樣定理，當采樣頻率大于信號最高頻率的兩倍時，在采樣過程中就不會丟失信息，并且可以用采樣后的信號重構原始信號，從而不失真地還原出原始的聲音信號。對于音頻，最常用的采樣頻率有三種：44.1kHz、22.05kHz和11.025kHz，其中44.1kHz采樣頻率是最常用的。聲道數(shù)是聲音通道的個數(shù)，指一次采樣的聲音波形個數(shù)。20多媒體技術應用2音頻處理技術2.1.2

數(shù)字音頻2.量化量化（Quantity）的目的是將采樣后的信號波形的幅度值（樣本）進行離散化處理，樣本從模擬量轉化成了數(shù)字量。量化位數(shù)越多，所得到的量化值越接近原始波形的采樣值。量化方式有三種：零記憶量化、分組量化和序列量化。21多媒體技術應用2音頻處理技術2.1.3

聲音聲學是研究聲音的學科，包括聲波的產(chǎn)生、傳播和接收。物體振動在彈性體里的傳播稱為波，而在空氣中傳播的波就稱為聲波，能被人的聽覺器官所感覺到的聲波叫聲音，其頻率一般在20Hz～20kHz之間。

22多媒體技術應用2音頻處理技術2.1.3

聲音聲音的三要素是音調、音色和音強。音調是指聲音的高低，音調與頻率有關。音色是指具有特色的聲音。音強是指聲音的強度，也稱為聲音的響度，音強與聲波的振幅成正比。23多媒體技術應用2音頻處理技術2.1.3

聲音聲音的質量簡稱音質。1）與采樣頻率有關。對于數(shù)字音頻信號，音質的好壞與數(shù)據(jù)采樣頻率和數(shù)據(jù)位數(shù)有關。采樣頻率越低，位數(shù)越少，音質越差。2）與音頻處理設備有關。音響放大器和揚聲器的質量能夠直接影響重放的質量。3）與信號噪聲比有關。在錄音時，音頻信號幅度與噪聲幅度的比值越大越好，否則聲音被噪聲干擾，會影響音質。24多媒體技術應用2音頻處理技術2.1.3

語音語音是一種特殊的媒體，語音是人類所特有的，但也是一種波形，在計算機中表示方式與波形聲音的文件格式相同。語音處理的研究已經(jīng)有一百多年的歷史，其研究范圍主要涉及：語音合成、語音編碼、語音識別的基本算法和應用。計算機處理語音過程如圖所示。25多媒體技術應用2音頻處理技術圖2-8計算機處理語音過程26多媒體技術應用2音頻處理技術第二章音頻處理技術2.2常用音頻壓縮標準2.2.1音頻壓縮基礎2.2.2常用音頻壓縮標準2.2.3音頻文件格式27多媒體技術應用2音頻處理技術2.2.1音頻壓縮基礎1．數(shù)據(jù)壓縮條件2．數(shù)據(jù)冗余3．數(shù)據(jù)壓縮算法分類28多媒體技術應用2音頻處理技術2.2.1音頻壓縮基礎1．數(shù)據(jù)壓縮條件信號之所以能被壓縮和編碼，其原因主要是：1）數(shù)據(jù)冗余度2）人類不敏感因素3）信息傳輸與存儲29多媒體技術應用2音頻處理技術2.2.1音頻壓縮基礎2．數(shù)據(jù)冗余冗余是指信息所具有的各種性質中多余的無用空間，其多余的程度稱為冗余度。信息量、數(shù)據(jù)量和冗余量之間的關系如下：式中，I表示信息量，D表示數(shù)據(jù)量，du表示冗余量，冗余量應在數(shù)據(jù)存儲和傳輸之前去掉。

30多媒體技術應用2音頻處理技術2.2.1音頻壓縮基礎2．數(shù)據(jù)冗余空間冗余時間冗余統(tǒng)計冗余結構冗余信息熵冗余知識冗余等。31多媒體技術應用2音頻處理技術2.2.1音頻壓縮基礎2．數(shù)據(jù)冗余空間冗余：一幅圖像表面上各采樣點的顏色之間往往存在著空間連貫性。圖像數(shù)據(jù)中經(jīng)常存在的一種冗余，如規(guī)則物體和規(guī)則背景（像素相關性強）。32多媒體技術應用2音頻處理技術2.2.1音頻壓縮基礎2．數(shù)據(jù)冗余時間冗余：視頻和音頻中存在的、在時間尺度上相關的一種冗余，如相鄰幀之間像素的相關性；語音的連續(xù)和漸變過程。空間冗余和時間冗余，存在大量的統(tǒng)計特征重復，因此稱為統(tǒng)計冗余。33多媒體技術應用2音頻處理技術2.2.1音頻壓縮基礎2．數(shù)據(jù)冗余結構冗余：有些圖像存在著非常強的紋理結構，我們稱它們在結構上存在冗余。例如，布紋圖像和草席圖像。34多媒體技術應用2音頻處理技術2.2.1音頻壓縮基礎2．數(shù)據(jù)冗余信息熵冗余：也稱為編碼冗余，是指數(shù)據(jù)所攜帶的信息量少于數(shù)據(jù)本身而反映出來的數(shù)據(jù)冗余。例如:自然界的很多狀態(tài)不可能正好用2的整數(shù)次冪來表示,這樣就會造成編碼冗余。35多媒體技術應用2音頻處理技術2.2.1音頻壓縮基礎2．數(shù)據(jù)冗余知識冗余：舉例：成語、人臉的圖像有固定的結構。這類規(guī)律性的結構可由先驗知識和背景知識得到，我們稱此類冗余為知識冗余。36多媒體技術應用2音頻處理技術2.2.1音頻壓縮基礎3．數(shù)據(jù)壓縮算法分類圖2-10數(shù)據(jù)壓縮算法分類

37多媒體技術應用2音頻處理技術2.2.1音頻壓縮基礎3．數(shù)據(jù)壓縮算法分類無損壓縮（冗余壓縮、熵編碼）法：無損壓縮法去掉或減少了數(shù)據(jù)中的冗余量，但這些冗余量是可以重新恢復的，因此，無損壓縮是可逆的過程。例如：壓縮軟件WinRAR應用。注意：無損壓縮特點是壓縮比小。無損壓縮法不會產(chǎn)生失真，在多媒體技術中一般用于文本數(shù)據(jù)的壓縮。常見的例子是磁盤壓縮。38多媒體技術應用2音頻處理技術2.2.1音頻壓縮基礎3．數(shù)據(jù)壓縮算法分類有損壓縮（熵壓縮）法：有損壓縮減少了信息量，而這些損失信息量是不能再恢復的，因此，有損壓縮法是不可逆的。例如：視/聽覺等冗余，由于人的感覺對某些失真不易覺察的生理特征，決定了在某些場合可以減少信息量。注意：有損壓縮特點是壓縮比大，但不可逆。39多媒體技術應用2音頻處理技術2.2.2常用音頻壓縮標準1．G.71164Kb/s脈沖編碼調制（PCM）2．G.721自適應差分脈沖編碼調制（ADPCM）3．G.7227kHz聲音編碼器4．G.723雙速率語音編碼器5．G.72816Kb/s低延遲碼激勵線性預測編碼（LD-CELP）6．G.729語音編碼器7．MPEG-1音頻編碼8．AC音頻編碼9．空間音頻編碼10．移動音頻編碼40多媒體技術應用2音頻處理技術2.2.2常用音頻壓縮標準1．G.71164Kb/s脈沖編碼調制（PCM）脈沖編碼調制（PulseCodeModulation，PCM）是ITU制定出來的一套語音壓縮標準，主要用于電話。1972年，CCITT對一個64Kb/s壓擴型PCM編碼器做了標準化，稱為G.711。這個標準主要有兩種壓縮算法，在北美和日本，使用μ律PCM；而世界其他國家使用A律PCM。G.711在64Kb/s速率話音質量能夠達到網(wǎng)絡等級，目前已廣泛應用于各種數(shù)字通信系統(tǒng)中，如電纜、微波、衛(wèi)星、光纜等。

41多媒體技術應用2音頻處理技術2.2.2常用音頻壓縮標準2．G.721自適應差分脈沖編碼調制（ADPCM）自適應差分脈沖編碼調制（AdaptiveDifferentialPulseCodeModulation，ADPCM）在PCM的基礎上進行改進，進一步利用了語音信號樣點間的相關性，并針對語音信號的非平穩(wěn)特點，使用了自適應預測和自適應量化1984年，CCITT首先對32Kb/sADPCM做了標準化，稱為G.721。G.721于1986年根據(jù)兩年間運行中出現(xiàn)的一些問題，做了進一步修正，又重新標準化。42多媒體技術應用2音頻處理技術2.2.2常用音頻壓縮標準3．G.7227kHz聲音編碼器1988年，正式通過關于“用64Kb/s或低于此編碼速率的7kHz音頻信號編碼器”的標準，稱為G.722。G.722的主要目標是保持64Kb/s的數(shù)據(jù)率，而音頻信號的質量要明顯高于G.711的質量。

43多媒體技術應用2音頻處理技術.2.2常用音頻壓縮標準4．G.723雙速率語音編碼器G.723是在1996年制定的一種多媒體語音編解碼標準。G.723標準傳輸碼率有5.3Kb/s和6.3Kb/s兩種，在編程過程中可隨時切換。

44多媒體技術應用2音頻處理技術2.2.2常用音頻壓縮標準5．G.72816Kb/s低延遲碼激勵線性預測編碼（LD-CELP）G.728的工作進程是從1988年開始的，試圖建立通用的16Kb/s長話質量的語音編碼標準。G.728開始是按照浮點CELP編碼算法規(guī)定的。1994年完成了按照嚴格定點規(guī)定的算法。45多媒體技術應用2音頻處理技術2.2.2常用音頻壓縮標準6．G.729語音編碼器在1996年3月，ITU-T的第15研究小組提出8Kb/s的語音編碼協(xié)議，稱為G.729。G.729標準使用的算法是共軛結構的代數(shù)碼本激勵線性預測（CS-ACELP），它基于CELP編碼模型。

46多媒體技術應用2音頻處理技術2.2.2常用音頻壓縮標準7．MPEG-1音頻編碼MPEG-1音頻編碼作為MPEG標準的一部分，對應于ISO/IEC11172-3，規(guī)定了高質量音頻編碼方法、存儲表示和解碼方法。

47多媒體技術應用2音頻處理技術2.2.2常用音頻壓縮標準8．AC音頻編碼杜比實驗室在1987年第一次將數(shù)字編碼技術引入到HDTV的開發(fā)中，即AC-1標準。1990年杜比實驗室又推出了立體聲編碼標準AC-2。1994年杜比公司與日本先鋒公司聯(lián)合推出了最新一代的杜比數(shù)碼環(huán)繞聲系統(tǒng)DolbySurroundAudioCoding-3，簡稱為AC-3。

48多媒體技術應用2音頻處理技術2.2.2常用音頻壓縮標準9．空間音頻編碼隨著人類聽覺研究在空間心理聲學、認知心理學等學科的不斷深入，出現(xiàn)了將人類空間方位感知參數(shù)引入音頻壓縮編碼技術的研究——空間音頻編碼（SpatialAudioCoding，SAC）。通過將空間線索（SpatialCues）參數(shù)引入到音頻壓縮編碼算法中，即所謂的參數(shù)立體聲（ParametricStereo，PS）技術，分析聲道間冗余信息量，采用立體聲參數(shù)提取的聯(lián)合聲道編碼模式，取代傳統(tǒng)的聲道分離編碼模式，可以降低近50%的編碼碼率，使空間成為數(shù)字音頻編碼技術的有效組成部分。49多媒體技術應用2音頻處理技術2.2.2常用音頻壓縮標準10．移動音頻編碼在移動通信系統(tǒng)中采用混合壓縮編碼，可以根據(jù)需要動態(tài)調整編碼碼率，在合成音頻質量、系統(tǒng)空間中取得平衡，最大限度地發(fā)揮系統(tǒng)的效能。3GPP將AMR-WB+和EAAC+兩種編碼標準用于第三代移動網(wǎng)絡中的多媒體服務。

50多媒體技術應用2音頻處理技術方法算法名稱數(shù)據(jù)率標準應用質量波形編碼PCM脈沖編碼調制公共網(wǎng)ISDN配音4.0～4.5μ(A)μ(A)64Kb/sG.711APCM自適應脈沖編碼調制DPCM差分脈沖編碼調制ADPCM自適應差分脈沖編碼調制32Kb/sG.721SB-ADPCM子帶自適應差分脈沖編碼調制64Kb/sG.7225.3Kb/s6.3Kb/sG.723參數(shù)編碼LPC線性預測編碼2.4Kb/s保密話聲2.5～3.5混合編碼CELPC碼激勵LPC4.6Kb/s移動通信3.7～4.0VSELP矢量和激勵LPC8Kb/s語音通信RPE-LTP長時預測規(guī)則碼激勵13.2Kb/sISDNLD-CELP低延遲碼激勵LPC16Kb/sG.728網(wǎng)絡通信CS-ACELP共軛結構代數(shù)碼激勵線性預測8Kb/sG.729語音通信MPEG子帶感知編碼128Kb/sMPEG-1、MPEG-2、MPEG-4CD5.0AC-3感知編碼音響5.051多媒體技術應用2音頻處理技術2.2.3音頻文件格式1．波形格式2．MIDI格式3．MP3壓縮格式4．幾種流式音頻格式

52多媒體技術應用2音頻處理技術2.2.3音頻文件格式1．波形格式WAV是MicrosoftWindows本身提供的音頻格式，用.wav作為擴展名，其文件格式稱為波形文件格式（Wave），在多媒體編程接口和數(shù)據(jù)規(guī)范1.0（MultimediaProgrammingInterfaceandDataSpecifications1.0）文檔中有詳細的描述。53多媒體技術應用2音頻處理技術2.2.3音頻文件格式2．MIDI格式電子樂器數(shù)字接口（MusicalInstrumentDigitalInterface，MIDI）是用于在音樂合成器（MusicSynthesizers）、樂器（MusicalInstruments）和計算機之間交換音樂信息，播放和錄制音樂的一種標準協(xié)議。54多媒體技術應用2音頻處理技術2.2.3音頻文件格式3．MP3壓縮格式MP3全稱是MPEG-1Layer3音頻文件，是MPEG-1標準中的聲音部分，也叫MPEG音頻層。MPEG音頻層根據(jù)壓縮質量和編碼復雜程度劃分為三層，即Layer1、Layer2、Layer3，分別對應MP1、MP2、MP3這三種聲音文件。55多媒體技術應用2音頻處理技術2.2.3音頻文件格式4．幾種流式音頻格式現(xiàn)在使用最普遍的流格式類型是RealNetworks公司發(fā)明的支持網(wǎng)絡流媒體技術的實時音頻格式，RA、RMA這兩個文件類型就是RealMedia的音頻格式。56多媒體技術應用2音頻處理技術第二章音頻處理技術2.3音頻處理軟件Audition2.3.1功能介紹2.3.2編輯環(huán)境2.3.3基本操作57多媒體技術應用2音頻處理技術Audition軟件是Adobe公司推出的一款完整的、應用于Windows系統(tǒng)的PC上的多音軌音頻工作站。該軟件前身稱為CoolEdit，Adobe公司在2003年5月從SyntrilliumSoftware公司成功購買后將其更名為Audition。

58多媒體技術應用2音頻處理技術2.3.1功能介紹AdobeAudition3.0是一款功能強大的、專業(yè)級的音樂編輯軟件，能高質量地完成高級混音、編輯、控制、合成和特效處理，允許用戶編輯個性化的音頻文件，創(chuàng)建循環(huán)，引進了45個以上的DSP特效以及高達128個音軌。AdobeAudition擁有集成的多音軌和編輯視圖、實時特效、環(huán)繞支持、分析工具、恢復特性和視頻支持等功能，為音樂、視頻、音頻和聲音設計專業(yè)人員提供全面集成的音頻編輯和混音解決方案。AdobeAudition提供了直覺的、客戶化的界面，允許用戶刪減和調整窗口的大小，創(chuàng)建一個高效率的音頻工作范圍。

59多媒體技術應用2音頻處理技術2.3.2編輯環(huán)境Audition提供了三種專業(yè)的工作視圖界面，包括:編輯視圖（EditView）多軌視圖（MultitrackView）CD視圖（CDView）60多媒體技術應用2音頻處理技術圖2-16多軌視圖界面

61多媒體技術應用2音頻處理技術圖2-17單軌視圖界面

62多媒體技術應用2音頻處理技術圖2-23CD視圖

63多媒體技術應用2音頻處理技術2.3.3基本操作1．單軌視圖（1）打開或創(chuàng)建一個音頻文件（2）編輯音頻（3）保存更改

64多媒體技術應用2音頻處理技術2.3.3基本操作2．多軌視圖（1）打開或創(chuàng)建一個音頻文件（2）插入或錄制音頻文件（3）施加效果（4）混合軌道（5）輸出

65多媒體技術應用2音頻處理技術推薦多媒體軟件認證考試1.全國計算機信息高新技術考試(CITT)考試名稱:勞動和社會保障部全國計算機信息高新技術考試（全稱）

國家計算機高新技術考試（簡稱）證書名稱:全國計算機信息高新技術考試合格證書（全稱）

OSTA計算機認證（簡稱）發(fā)證部門:人力資源和社會保障部職業(yè)技能鑒定中心網(wǎng)址：http://模塊化（12個）分級考試（5級）:相關模塊：計算機輔助設計（AutoCAD,Protel），圖形圖像處理（PhotoShop,3DMax,CorelDRAW,Illustrator），多媒體軟件制作（Director,Authorware），視頻編輯（Premiere,AfterEffects）級別：高級操作師級，操作師級，高級操作員級，操作員級，初級操作員級66多媒體技術應用2音頻處理技術67多媒體技術應用2音頻處理技術推薦多媒體軟件認證考試2.全國計算機應用技術證