多媒體技術(shù)話音編碼

1、多媒體技術(shù)話音編碼第1頁，共32頁，2022年，5月20日，13點(diǎn)53分，星期二主要內(nèi)容話音的形成原理話音編譯碼器原理脈沖編碼調(diào)制（PCM）增量調(diào)制與自適應(yīng)增量調(diào)制自適應(yīng)差分脈沖編碼調(diào)制（ADPCM）子帶編碼其他編碼2第2頁，共32頁，2022年，5月20日，13點(diǎn)53分，星期二話音的形成原理 肺中的空氣受到擠壓形成氣流，氣流通過聲門（聲帶）沿著聲道（由咽、喉、口腔等組成）釋放出去，就形成了話音。 氣流、聲門可以等效為一個(gè)激勵(lì)源，聲道可以等效為一個(gè)時(shí)變?yōu)V波器（共振峰）。 話音信號(hào)具有很強(qiáng)的相關(guān)性（長期相關(guān)、短期相關(guān)）。3第3頁，共32頁，2022年，5月20日，13點(diǎn)53分，星期二話音的分類濁

2、音（voiced sounds）：聲道打開，聲帶在先打開后關(guān)閉，氣流經(jīng)過使聲帶要發(fā)生張馳振動(dòng)，變?yōu)闇?zhǔn)周期振動(dòng)氣流。濁音的激勵(lì)源被等效為準(zhǔn)周期的脈沖信號(hào)。清音（unvoiced sounds）：聲帶不振動(dòng)，而在某處保持收縮，氣流在聲道里收縮后高速通過產(chǎn)生湍流，再經(jīng)過主聲道（咽、口腔）的調(diào)整最終形成清音。清音的激勵(lì)源被等效為一種白噪聲信號(hào)。爆破音（plosive sounds）：聲道關(guān)閉之后產(chǎn)生壓縮空氣然后突然打開聲道所發(fā)出的聲音。4第4頁，共32頁，2022年，5月20日，13點(diǎn)53分，星期二話音產(chǎn)生的數(shù)字模型周期脈沖序列發(fā)生器偽隨機(jī)噪聲產(chǎn)生器周期時(shí)變數(shù)字濾波器音量控制聲道參數(shù)語音輸出濁/清選擇

3、5第5頁，共32頁，2022年，5月20日，13點(diǎn)53分，星期二話音技術(shù)的研究熱點(diǎn)話音壓縮編碼（Speech Coding）話音識(shí)別（Speech Recognition）文本話音轉(zhuǎn)換（Text To Speech）6第6頁，共32頁，2022年，5月20日，13點(diǎn)53分，星期二話音編譯碼器A/D話音編碼信道編碼信道信道譯碼話音譯碼D/A7第7頁，共32頁，2022年，5月20日，13點(diǎn)53分，星期二衡量話音編碼器的參數(shù)數(shù)據(jù)輸出速率延遲時(shí)間話音質(zhì)量價(jià)格（實(shí)現(xiàn)代價(jià)）8第8頁，共32頁，2022年，5月20日，13點(diǎn)53分，星期二語音質(zhì)量等級(jí)劃分廣播質(zhì)量：帶寬為7000Hz的高質(zhì)量話音長途電話質(zhì)量

4、：帶寬為3400Hz，信噪比為30db，有失真通信質(zhì)量：完全可以聽懂，但和長途電話質(zhì)量相比有明顯的失真。合成質(zhì)量：8090的可懂度，聽起來象機(jī)器講話，失去了講話者的特征9第9頁，共32頁，2022年，5月20日，13點(diǎn)53分，星期二話音編譯碼器的分類波形編譯碼器（waveform coder）：不利用生成話音的信號(hào)的任何知識(shí)，將話音視為一種普通的聲音，直接對(duì)波形信號(hào)進(jìn)行采樣和量化。例如PCM、DPCM、ADPCM等。音源編譯碼器（Source coder）：也叫參數(shù)編譯碼器、聲碼器（vocoder）。它從話音波形信號(hào)中提取話音生成模型的參數(shù)，使用這些參數(shù)通過話音生成模型重構(gòu)出話音。混合編譯碼器

5、（Hybrid coder）：綜合使用上述兩種技術(shù)。使用的激勵(lì)信號(hào)波形盡可能接近于原始話音信號(hào)的波形。例如CELP。10第10頁，共32頁，2022年，5月20日，13點(diǎn)53分，星期二三種話音編譯碼器的對(duì)比11第11頁，共32頁，2022年，5月20日，13點(diǎn)53分，星期二語音信號(hào)的冗余度幅度非均勻分布樣本之間的相關(guān)性周期之間的相關(guān)性基音之間的相關(guān)性靜止系數(shù)（話音間隙）長期相關(guān)性（long term correlation）12第12頁，共32頁，2022年，5月20日，13點(diǎn)53分，星期二脈沖編碼調(diào)制（PCM）Pulse Code Modulation13第13頁，共32頁，2022年，5月

6、20日，13點(diǎn)53分，星期二PCM的量化方式均勻量化與非均勻量化14第14頁，共32頁，2022年，5月20日，13點(diǎn)53分，星期二非均勻量化對(duì)小信號(hào)采用小的量化間隔，對(duì)大信號(hào)采用大的量化間隔，這樣可以用較少的位數(shù)編碼。對(duì)大信號(hào)來說，雖然絕對(duì)量化誤差較大，但是因?yàn)椋海?）大信號(hào)出現(xiàn)的機(jī)會(huì)不多，（2）信噪比（相對(duì)誤差）與小信號(hào)是一致的，所以對(duì)總的話音質(zhì)量影響不大。非均勻量化也是一種壓縮。15第15頁，共32頁，2022年，5月20日，13點(diǎn)53分，星期二律壓擴(kuò)與A律壓擴(kuò)m 律(m -Law)壓擴(kuò)(G.711)主要用在北美和日本等地區(qū)的數(shù)字電話通信中。x為x 為輸入信號(hào)，規(guī)格化為1= x =1m

7、為確定壓縮量的參數(shù)，它反映最大量化間隔和最小量化間隔之比，取100 = m = 500。16第16頁，共32頁，2022年，5月20日，13點(diǎn)53分，星期二律壓擴(kuò)與A律壓擴(kuò)0 = |x| = 1/A1/A = |x| = 1A律(A-Law)壓擴(kuò)(G.711)主要用在歐洲和中國大陸等地區(qū)的數(shù)字電話通信中對(duì)于采樣頻率為8 kHz，樣本精度為13位、14位或者16位的輸入信號(hào)，使用m 律壓擴(kuò)編碼或者使用A律壓擴(kuò)編碼，經(jīng)過PCM編碼器之后每個(gè)樣本的精度為8位，輸出的數(shù)據(jù)率為64 kb/s。這個(gè)數(shù)據(jù)就是CCITT推薦的G.711標(biāo)準(zhǔn)。17第17頁，共32頁，2022年，5月20日，13點(diǎn)53分，星期二

8、PCM與時(shí)分多路復(fù)用（TDM）18第18頁，共32頁，2022年，5月20日，13點(diǎn)53分，星期二差分脈沖編碼調(diào)制（DPCM)關(guān)鍵在于預(yù)測器與量化器的設(shè)計(jì)量化器預(yù)測器xkekekxkxk-自適應(yīng)預(yù)測逆量化器自適應(yīng)量化階ek產(chǎn)生誤差19第19頁，共32頁，2022年，5月20日，13點(diǎn)53分，星期二差分脈沖編碼調(diào)制（DPCM)逆量化器預(yù)測器ekekxkxk譯碼過程20第20頁，共32頁，2022年，5月20日，13點(diǎn)53分，星期二預(yù)測方程式 線性預(yù)測： 如果ai是常數(shù)，則為時(shí)不變線性預(yù)測，否則為自適應(yīng)線性預(yù)測 最簡單的預(yù)測方程：第21頁，共32頁，2022年，5月20日，13點(diǎn)53分，星期二最簡

9、單的DPCMx0121123344x0012112334e011-101101022第22頁，共32頁，2022年，5月20日，13點(diǎn)53分，星期二增量調(diào)制(M)增量調(diào)制 (delta modulation，DM) 是一種預(yù)測編碼技術(shù)，是對(duì)實(shí)際的采樣信號(hào)與預(yù)測的采樣信號(hào)之差的極性進(jìn)行編碼，將極性變成“0”和“1”這兩種可能的取值之一。如果實(shí)際的采樣信號(hào)與預(yù)測的采樣信號(hào)之差的極性為“正”，則用“1”表示；相反則用“0”表示。DM編碼系統(tǒng)又稱為“1位系統(tǒng)”。23第23頁，共32頁，2022年，5月20日，13點(diǎn)53分，星期二自適應(yīng)增量調(diào)制(ADM)CVSD（連續(xù)可變斜率增量調(diào)制）： 如果編碼器的輸

10、出連續(xù)出現(xiàn)三個(gè)相同的值，量化階就加上一個(gè)大的增量；反之，就加一個(gè)小的增量。24第24頁，共32頁，2022年，5月20日，13點(diǎn)53分，星期二自適應(yīng)脈沖編碼調(diào)制（APCM）APCM是一種根據(jù)輸入信號(hào)幅度大小自動(dòng)改變量化階大小的一種波形編碼技術(shù)。25第25頁，共32頁，2022年，5月20日，13點(diǎn)53分，星期二自適應(yīng)差分脈沖編碼調(diào)制自適應(yīng)差分脈沖編碼調(diào)制（ADPCM）綜合了APCM的自適應(yīng)特性和DPCM系統(tǒng)的差分特性26第26頁，共32頁，2022年，5月20日，13點(diǎn)53分，星期二自適應(yīng)差分脈沖編碼調(diào)制ADPCM是利用樣本與樣本之間的高度相關(guān)性和量化階自適應(yīng)來壓縮數(shù)據(jù)的一種波形編碼技術(shù)，CC

11、ITT為此制定了G.721推薦標(biāo)準(zhǔn)，這個(gè)標(biāo)準(zhǔn)叫做32 kb/s ADPCM。在此基礎(chǔ)上還制定了G.721的擴(kuò)充推薦標(biāo)準(zhǔn)G.723，使用該標(biāo)準(zhǔn)的編碼器的數(shù)據(jù)率可降低到40 kb/s和24 kb/s。G.721 的輸入信號(hào)是G.711 PCM代碼，它的數(shù)據(jù)率為64 kb/s。而G.721 ADPCM的輸出是用4位表示的差分信號(hào)，它的采樣率仍然是8 kHz，它的數(shù)據(jù)率為32 kb/s，這樣就獲得了21的數(shù)據(jù)壓縮。27第27頁，共32頁，2022年，5月20日，13點(diǎn)53分，星期二子帶自適應(yīng)差分脈沖編碼調(diào)制 28第28頁，共32頁，2022年，5月20日，13點(diǎn)53分，星期二G.722編碼標(biāo)準(zhǔn)G.722是CCITT推薦的音頻信號(hào)編碼譯碼標(biāo)準(zhǔn)。G.722標(biāo)準(zhǔn)的數(shù)據(jù)率為64 kb/s，采樣頻率由8 kHz提高到16 kHz，是G.711 PCM采樣率的2倍，因而要被編碼的信號(hào)頻率由原來的3.4 kHz擴(kuò)展到7 kHz。這就使音頻信號(hào)的質(zhì)量有很大改善，由數(shù)字電話的話音質(zhì)量提高到調(diào)幅(AM)無線電廣播的質(zhì)量。29第29頁，共32頁，2022年，5月20日，13點(diǎn)53分，星期二其它語音編碼方法線性預(yù)測聲碼器（LPC10，LPC10e）數(shù)據(jù)速率為2.4kb/s。多脈沖激勵(lì)線性預(yù)測編碼器（MPELPC）數(shù)據(jù)速率為10kb/s左右。規(guī)則脈沖激勵(lì)線性