數(shù)字媒體技術(shù)導(dǎo)論（微課版）課件 第3章 數(shù)字音頻技術(shù)

現(xiàn)代

編著新技術(shù)數(shù)字第3章數(shù)字音頻技術(shù)數(shù)字媒體技術(shù)導(dǎo)論3.1數(shù)字音頻基礎(chǔ)知識(shí)3.2音頻數(shù)字化3.3語音合成與識(shí)別3.4數(shù)字音頻編輯軟件3.1.1聲音的概念與特點(diǎn)聲音是由物體振動(dòng)產(chǎn)生的聲波(即聲音信號(hào))，能通過介質(zhì)（空氣、固體或液體）傳播并能被人或動(dòng)物聽覺器官所感知的波動(dòng)現(xiàn)象。最初發(fā)出振動(dòng)的物體叫聲源，聲波是聲音的載體或傳播形式。發(fā)聲物體在一秒鐘之內(nèi)振動(dòng)的次數(shù)稱作聲音的頻率，用于反映聲音信號(hào)每秒鐘變化的次數(shù)，單位是赫茲（Hz）；發(fā)聲物體振動(dòng)的幅度稱作聲音的振幅，用于反映聲音信號(hào)的強(qiáng)弱程度。1．聲音的概念3.1.1聲音的概念與特點(diǎn)2．聲音的基本特征音調(diào)即聲音的高低，指一些聲音比另一些聲音高或低的性質(zhì)，表示人耳對(duì)聲音調(diào)子高低的主觀感受。音調(diào)與聲音的頻率有關(guān)，頻率越高，音調(diào)就越高。不同的聲源有其特定的音調(diào)，如果改變了聲源的音調(diào)，那么聲音會(huì)發(fā)生質(zhì)的轉(zhuǎn)變，使人們無法辨別聲源本來的面目。音調(diào)音強(qiáng)音色音強(qiáng)又稱音量或響度，即聲音的響亮程度，音強(qiáng)與聲音的振幅成正比，振幅越大，聲音就越響亮。音色是由于聲波波形的不同所帶來的一種聲音的感覺特性。影響音色的因素是復(fù)音。復(fù)音是指具有不同頻率和不同振幅的混合聲音，自然聲中大部分是復(fù)音。在復(fù)音中，最低頻率是“基音”，它是聲音的基調(diào)；其他頻率的聲音稱為“泛音”或“諧音”。3.1.1聲音的概念與特點(diǎn)3．聲音的傳播特征人耳先感覺到聲源從介質(zhì)傳播過來的振動(dòng)，再反映到大腦，才能聽到聲音。從聲源直接到達(dá)人類聽覺器官的聲音是“直達(dá)聲”，直達(dá)聲的方向容易辨別。但是，在現(xiàn)實(shí)生活中，我們周圍存在許多障礙物，聲音從聲源發(fā)出后，往往經(jīng)過多次反射才能被人們聽到，這就是“反射聲”。當(dāng)聲源停止發(fā)聲后，還有若干個(gè)聲波混合持續(xù)一段時(shí)間（聲源停止發(fā)聲后仍然存在的聲延續(xù)現(xiàn)象），這就是“混響”。聲源、直達(dá)聲與反射聲的示意圖聲音在不同的介質(zhì)中傳播，其傳播速度有所不同（傳播速度一般是固體>液體>氣體，真空中沒有能提供聲音傳播的介質(zhì)，因此真空不能傳遞聲音），這也導(dǎo)致了聲音在不同介質(zhì)中傳播的距離不同。3.1.1聲音的概念與特點(diǎn)4．聲音的頻率特征頻率范圍高于20kHz的聲音稱為超聲波，超聲波具有很強(qiáng)的方向性，并且可以形成波束，利用這種特性，人們制造了超聲波探測(cè)儀、超聲波焊接設(shè)備等。不同的聲音有不同的頻率范圍。人耳只能聽到頻率在20Hz~20kHz之間的聲音，聽不到低于20Hz和高于20kHz的聲音。人的發(fā)聲器官可以發(fā)出頻率范圍為80Hz～3400Hz的聲音，但人們說話的聲音信號(hào)頻率范圍通常為300Hz～3000Hz。010203頻率低于20Hz的聲音稱為次聲波，次聲波的特點(diǎn)是來源廣、傳播遠(yuǎn)、不易衰減，研究自然界中次聲波的特性和產(chǎn)生機(jī)制，可以預(yù)測(cè)自然災(zāi)害性事件。同時(shí)，某些頻率的次聲波和人體器官的振動(dòng)頻率（0.01-20Hz）相近甚至相同，容易和人體器官產(chǎn)生共振，對(duì)人體有很強(qiáng)的傷害性。3.1.2音頻的概念與分類音頻是指人耳能夠聽到頻率范圍在20Hz～20kHz的聲音，即人類能夠聽到的所有聲音都稱為音頻，包括噪音。數(shù)字音頻是離散的數(shù)字信號(hào)，這些數(shù)字信號(hào)可以通過計(jì)算機(jī)、數(shù)字信號(hào)處理器和其他數(shù)字設(shè)備進(jìn)行存儲(chǔ)、處理和傳輸。數(shù)字音頻信號(hào)可以通過數(shù)模轉(zhuǎn)換器（D/A轉(zhuǎn)換器）和數(shù)字信號(hào)處理技術(shù)重構(gòu)成模擬音頻信號(hào)，以產(chǎn)生高保真度的音頻效果。模擬音頻是以連續(xù)模擬信號(hào)的形式表示音頻信號(hào)，模擬音頻信號(hào)是無限連續(xù)的波形，它的變化是連續(xù)而平滑的。模擬音頻信號(hào)的頻率和振幅可以隨著時(shí)間的變化而連續(xù)地發(fā)生變化，以產(chǎn)生音頻效果。模擬音頻數(shù)字音頻簡(jiǎn)單來說，模擬音頻和數(shù)字音頻是兩種不同保存音頻信號(hào)、傳輸音頻信號(hào)的方式。3.1.2音頻的概念與分類相對(duì)于模擬音頻，數(shù)字音頻有諸多優(yōu)點(diǎn)。數(shù)字音頻處理的過程中可能會(huì)出現(xiàn)量化噪聲和失真，但這些問題可以通過合適的數(shù)字信號(hào)處理技術(shù)進(jìn)行修復(fù)。其一，開發(fā)具有相當(dāng)精度、且?guī)缀醪皇墉h(huán)境變化影響的模擬信號(hào)處理硬件，難度大，成本高，而開發(fā)數(shù)字信號(hào)處理硬件更容易、成本更低。其二，涉及加工、修改、傳輸模擬信號(hào)等環(huán)節(jié)的每個(gè)操作步驟都有可能損失一些信號(hào)，最終到達(dá)輸出端的音頻質(zhì)量可能大大降低，而處理數(shù)字信號(hào)，是運(yùn)算數(shù)字，不受傳輸距離的限制，可以進(jìn)行高效處理，且能準(zhǔn)確地重構(gòu)成原始的模擬音頻信號(hào)，其可靠性有保障。3.2數(shù)字音頻基礎(chǔ)知識(shí)3.1音頻數(shù)字化3.3語音合成與識(shí)別3.4數(shù)字音頻編輯軟件3.2.1音頻數(shù)字化的過程采樣采樣是將模擬音頻信號(hào)在時(shí)間上進(jìn)行離散化處理，即每隔相等的一段時(shí)間在模擬音頻信號(hào)波形曲線上采集一個(gè)信號(hào)樣本。采樣的時(shí)間間隔稱為采樣周期，采樣得到的信號(hào)稱為離散時(shí)間信號(hào)。量化對(duì)信號(hào)進(jìn)行量化操作即是對(duì)采樣后的信號(hào)，其振幅值的數(shù)目加以限定，進(jìn)行離散化處理，量化后的信號(hào)稱為離散幅度信號(hào)。編碼編碼一方面是將采樣和量化后的數(shù)字化音頻信號(hào)以二進(jìn)制形式并按照一定的數(shù)據(jù)格式表示，另一方面是采用一定的算法壓縮數(shù)字?jǐn)?shù)據(jù)以減少信號(hào)的存儲(chǔ)空間和提高傳輸效率。0102033.2.2數(shù)字音頻技術(shù)指標(biāo)1．采樣頻率采樣頻率又稱采樣率、取樣頻率，它是指將模擬音頻轉(zhuǎn)換為數(shù)字音頻時(shí)，每秒鐘對(duì)音頻信號(hào)的采樣次數(shù)，單位是赫茲（Hz）。采樣頻率越高，則經(jīng)過離散數(shù)字化的聲波就越接近原始的音頻波形，也就意味著音頻的保真度越高，音質(zhì)也越好，數(shù)據(jù)量也越大。根據(jù)奈奎斯特采樣定理（奈奎斯特采樣定理由美國(guó)物理學(xué)家哈利·奈奎斯特于1928年提出，是通訊與信號(hào)處理學(xué)科中的一個(gè)重要基本結(jié)論），采樣頻率不低于聲音信號(hào)最高頻率的兩倍，就可將以數(shù)字表達(dá)的聲音還原成原始聲音，也叫做無損數(shù)字化。由于人耳聽覺范圍是20Hz~20kHz，根據(jù)奈奎斯特采樣定理，采樣頻率大于40kHz的音頻格式都可以稱之為無損格式。3.2.2數(shù)字音頻技術(shù)指標(biāo)2．量化位數(shù)常用的量化位數(shù)有8位、16位和32位，如8位量化位數(shù)指用8位二進(jìn)制數(shù)（即1個(gè)字節(jié)（Byte），1字節(jié)(byte)=8位(bit)）來存儲(chǔ)數(shù)據(jù)，則可表示28，即256個(gè)不同的量化值；16位量化位數(shù)則可表示216，即65536個(gè)不同的量化值。量化位數(shù)的大小決定了音頻的動(dòng)態(tài)范圍，即最高音頻與最低音頻之間的差值。量化位數(shù)越高，音質(zhì)越好，數(shù)據(jù)量也越大。量化位數(shù)又稱取樣大小，它是指每個(gè)采樣點(diǎn)能夠表示的數(shù)據(jù)范圍，即用多少位（bit，音譯比特）二進(jìn)制數(shù)來存儲(chǔ)采樣獲得的數(shù)據(jù)。3.2.2數(shù)字音頻技術(shù)指標(biāo)3．聲道數(shù)由于音頻的采集和播放是可以疊加的，因此，可以同時(shí)從多個(gè)音頻源采集聲音，并分別輸出到不同的揚(yáng)聲器中，故聲道數(shù)一般表示聲音錄制時(shí)的音源數(shù)量或播放時(shí)的揚(yáng)聲器數(shù)量。聲道數(shù)是數(shù)字音頻技術(shù)發(fā)展的重要標(biāo)志，從單聲道（只有一個(gè)音頻）到雙聲道（又稱立體聲，有兩個(gè)音頻）再到多聲道，聲音的質(zhì)量越來越好，但同時(shí)也增加了對(duì)存儲(chǔ)空間和傳輸媒體設(shè)備的要求。3.2.3數(shù)字音頻的數(shù)據(jù)量數(shù)字音頻的數(shù)據(jù)量計(jì)算公式數(shù)字音頻的數(shù)據(jù)量=采樣頻率×（量化位數(shù)/8）×聲道數(shù)×聲音持續(xù)時(shí)間數(shù)字音頻的數(shù)據(jù)量，是指在磁盤上存儲(chǔ)未經(jīng)壓縮數(shù)字音頻信號(hào)所需的字節(jié)數(shù)，即存儲(chǔ)該數(shù)字音頻文件所需的容量，采樣頻率和量化位數(shù)是影響數(shù)據(jù)量的兩個(gè)關(guān)鍵因素。數(shù)字音頻的比特率的計(jì)算公式由此也可得：數(shù)據(jù)量=（比特率/8）×聲音持續(xù)時(shí)間采樣頻率×量化位數(shù)×聲道數(shù)3.2.4數(shù)字音頻的文件格式1．無壓縮音頻WAV是Windows操作系統(tǒng)的標(biāo)準(zhǔn)無壓縮音頻文件格式，是最常見的聲音文件格式之一，文件擴(kuò)展名為.wav，幾乎所有的音頻處理軟件都支持這種文件格式。AIFF是蘋果公司開發(fā)的一種音頻文件格式，是蘋果公司開發(fā)的MacOS操作系統(tǒng)的標(biāo)準(zhǔn)無壓縮音頻文件格式，文件擴(kuò)展名為.aif或.aiff，大部分的音頻處理軟件都支持這種文件格式。無壓縮音頻就是不經(jīng)過壓縮的音頻，其優(yōu)點(diǎn)是易于生成與編輯（采樣量化后的信號(hào)直接轉(zhuǎn)換成二進(jìn)制數(shù)據(jù)進(jìn)行存儲(chǔ)），但缺點(diǎn)是在保證音質(zhì)的前提下，文件占用的存儲(chǔ)空間較大。WAVAIFF3.2.4數(shù)字音頻的文件格式2．有損壓縮音頻有損壓縮是指壓縮中刪除部分音頻信號(hào)（即損壞性的壓縮），從而降低音頻文件所需存儲(chǔ)空間，方便存儲(chǔ)和傳輸，但音質(zhì)次于無壓縮的音頻文件。OGG晚于MP3、AAC格式出現(xiàn)，是一種免費(fèi)的開源音頻格式，文件擴(kuò)展名為.ogg。相較于MP3只支持雙聲道，OGG的出眾之處是支持多聲道，同時(shí)，在文件體積較小的情況下可以實(shí)現(xiàn)更好的音質(zhì)。MP3是市面上較為常見的音頻文件格式，文件擴(kuò)展名為.mp3，它是利用人耳對(duì)高頻聲音信號(hào)不敏感的特性，對(duì)不同的頻段使用不同的壓縮率，對(duì)高頻加大壓縮比（甚至忽略信號(hào)），對(duì)低頻信號(hào)使用小壓縮比，保證低音頻部分不失真。010304WMA是微軟公司開發(fā)的一種音頻文件格式，文件擴(kuò)展名為.wma，它以減少音頻比特率但保持音質(zhì)的方法來提高音頻數(shù)據(jù)壓縮比，其數(shù)據(jù)壓縮比可達(dá)1∶18，生成的文件所需存儲(chǔ)空間比MP3格式文件小很多。AAC是在MP3格式基礎(chǔ)上開發(fā)出來的，文件擴(kuò)展名為.m4a。相較于MP3，AAC使用的壓縮算法技術(shù)性更高，相同比特率時(shí)，AAC的音質(zhì)更佳，文件更小，其數(shù)據(jù)壓縮比通常為18∶1。023.2.4數(shù)字音頻的文件格式3．無損壓縮音頻無損壓縮音頻格式可以在完全保存源文件數(shù)據(jù)的基礎(chǔ)上，將音頻文件的體積壓縮得更小，同時(shí)能夠無損還原壓縮的音頻文件，既能保證音頻質(zhì)量又降低了文件的存儲(chǔ)量。APEFLACAPE由Monkey'sAudio軟件壓縮WAV音頻文件得到，文件擴(kuò)展名為.ape。通過Monkey'sAudio解壓縮還原后得到的文件與壓縮前的源文件完全一致。FLAC是國(guó)際通用的無損壓縮音頻格式，支持大多數(shù)的操作系統(tǒng)，其文件擴(kuò)展名為.flac。FLAC文件的數(shù)據(jù)壓縮比略低于APE文件，但FLAC文件的壓縮和解壓速度優(yōu)于APE文件。3.3數(shù)字音頻基礎(chǔ)知識(shí)3.1音頻數(shù)字化3.2語音合成與識(shí)別3.4數(shù)字音頻編輯軟件3.3.1數(shù)字圖像與計(jì)算機(jī)視覺技術(shù)語音合成又稱文語轉(zhuǎn)換，它是將計(jì)算機(jī)自己產(chǎn)生的或外部輸入的文字信息轉(zhuǎn)變?yōu)閿M人化的、高自然度的語音輸出技術(shù)?；谟?jì)算機(jī)的語音合成系統(tǒng)起源實(shí)用的英語語音合成系統(tǒng)首先被開發(fā)出來以隱馬爾可夫模型（HiddenMarkovModel，HMM）為代表的、基于統(tǒng)計(jì)參數(shù)的語音合成方法成為語音合成技術(shù)的主流。20世紀(jì)50年代20世紀(jì)60年代至20世紀(jì)70年代后期20世紀(jì)末3.3.1數(shù)字圖像與計(jì)算機(jī)視覺技術(shù)2010年左右，隨著深度學(xué)習(xí)的發(fā)展應(yīng)用，基于深度學(xué)習(xí)的語音合成方法被提出，因其改善了合成語音的質(zhì)量包括語音的清晰度和自然度，逐漸成為語音合成領(lǐng)域新的主流方法。谷歌2017年推出的Tacotron是首個(gè)真正意義上的端到端語音合成系統(tǒng)，它先將文本轉(zhuǎn)換為頻譜（Spectrogram），然后通過波形生成模型WaveNet或者Griffin-Lim算法，將頻譜轉(zhuǎn)換成原始波形輸出，與傳統(tǒng)的語音合成相比簡(jiǎn)化了很多流程。類似的端到端模型還有DeepVoice3、FastSpeech1、FastSpeech2、百度開發(fā)的ClariNet，以及其他的FastSpeech2s、Eats等。3.3.2語音識(shí)別語音合成又稱文語轉(zhuǎn)換，它是將計(jì)算機(jī)自己產(chǎn)生的或外部輸入的文字信息轉(zhuǎn)變?yōu)閿M人化的、高自然度的語音輸出技術(shù)。貝爾研究所研發(fā)了語音識(shí)別實(shí)驗(yàn)系統(tǒng)Audrey，這臺(tái)機(jī)器能夠識(shí)別10個(gè)英文數(shù)字發(fā)音。英國(guó)人彼得·迪恩斯（PeterDenes）等研制出了基于計(jì)算機(jī)的語音識(shí)別系統(tǒng)。之后，計(jì)算機(jī)技術(shù)的發(fā)展和應(yīng)用推動(dòng)著語音識(shí)別技術(shù)的發(fā)展。處于主流地位的是基于混合高斯-隱馬爾科夫模型（GMMHMM）的語音識(shí)別技術(shù)，該模型至今仍對(duì)語音和語言處理有著深遠(yuǎn)影響。1952年1960年2010年之前3.3.2語音識(shí)別2010年左右，基于深度學(xué)習(xí)的語音識(shí)別技術(shù)逐步得到應(yīng)用?；谏疃葘W(xué)習(xí)的語音識(shí)別技術(shù)的發(fā)展經(jīng)歷了3個(gè)階段。第一階段，仍然遵循基于GMM-HMM的系統(tǒng)結(jié)構(gòu)，只是使用相應(yīng)的基于深度學(xué)習(xí)的模型改進(jìn)聲學(xué)模型。第一階段第二階段第三階段第二階段，脫離GMM-HMM的系統(tǒng)結(jié)構(gòu)，引入“LSTM+CTC”（長(zhǎng)短期記憶人工神經(jīng)網(wǎng)絡(luò)+連接時(shí)序分類器）訓(xùn)練模型，實(shí)現(xiàn)了“端到端”的框架，但實(shí)際使用中仍然會(huì)加上語言模型，以提升識(shí)別效果。第三階段，實(shí)現(xiàn)完全的“端到端”，去除中間步驟和獨(dú)立子任務(wù)，充分利用深層神經(jīng)網(wǎng)絡(luò)和并行計(jì)算的優(yōu)勢(shì)，取得最優(yōu)結(jié)果，即由語音輸入直接轉(zhuǎn)換為文本輸出，代表模型為Transformer。我國(guó)的語音識(shí)別技術(shù)取得長(zhǎng)足發(fā)展始于20世紀(jì)80年代，發(fā)展至今已處于世界先進(jìn)行列，有著科大訊飛、出門問問、思必馳、云知聲等一批具有較強(qiáng)研發(fā)能力和較高知名度的智能語音服務(wù)的互聯(lián)網(wǎng)科技公司。3.4數(shù)字音頻基礎(chǔ)知識(shí)3.1音頻數(shù)字化3.2語音合成與識(shí)別3.3數(shù)字音頻編輯軟件3.4.1認(rèn)識(shí)Audition3.4.1認(rèn)識(shí)Audition1．波形編輯器啟動(dòng)Audition，創(chuàng)建文件或打開一個(gè)音頻文件，默認(rèn)情況下，“編輯器”面板處于波形編輯器的狀態(tài)，此時(shí)工具欄左側(cè)的按鈕呈藍(lán)色狀態(tài)。在波形編輯器中可以創(chuàng)建并編輯單個(gè)音頻文件。3.4.1認(rèn)識(shí)Audition2．多軌編輯器在工具欄左側(cè)單擊“多軌”按鈕，打開“新建多軌會(huì)話”對(duì)話框，設(shè)置會(huì)話名稱、文件夾位置、采樣率等參數(shù)，單擊“確定”按鈕，可進(jìn)入創(chuàng)建的多軌編輯器中。多軌編輯器中包含多個(gè)音頻軌道，每個(gè)軌道都可插入音頻文件。3.4.2Audition的基本操作1．新建、打開、保存、關(guān)閉音頻文件啟動(dòng)Audition后，選擇【文件】/【新建】命令、【文件】/【打開】命令、【文件】/【保存】命令、【文件】/【關(guān)閉】命令，可執(zhí)行新建、打開、保存、關(guān)閉音頻文件操作。3.4.2Audition的基本操作2．錄制音頻與降噪在計(jì)算機(jī)上連接麥克風(fēng)等音頻輸入設(shè)備，啟動(dòng)Audition，單擊“編輯器”面板下方的“錄制”按鈕，打開“新建音頻文件”對(duì)話框，設(shè)置文件名、采樣率、位深度（即量化位數(shù)）和聲道參數(shù)，單擊“確定”按鈕，將進(jìn)入錄音狀態(tài)，麥克風(fēng)接收到的各種聲音可轉(zhuǎn)換為波形顯示在“編輯器”面板中，錄制完成后再次單擊“錄制”按鈕。錄制后的聲音，可保存為不同格式的音頻文件。降噪處理的過程3.4.2Audition的基本操作3．選擇音頻使用Audition處理音頻文件時(shí)，往往需要先選擇目標(biāo)音頻區(qū)域。單擊工具欄中的時(shí)間選擇工具，按住鼠標(biāo)左鍵，在波形顯示區(qū)中拖曳鼠標(biāo)指針，便可選擇需要的音頻區(qū)域。3.4.2Audition的基本操作4．剪切、復(fù)制、裁剪、刪除音頻刪除音頻選擇音頻區(qū)域后，選擇【編輯】/【裁剪】命令，或按【Ctrl+T】組合鍵，將保留選擇的音頻區(qū)域，刪除未選擇的其他區(qū)域。剪切音頻選擇音頻區(qū)域后，選擇【編輯】/【剪切】命令，或按【Ctrl+X】組合鍵剪切音頻，在波形