第四章多媒體數(shù)據(jù)壓縮技術(shù)介紹.ppt

專(zhuān)業(yè)選修課程 武漢大學(xué) 多媒體技術(shù) MultimediaTechniques 第四章多媒體數(shù)據(jù)壓縮技術(shù) 4 1多媒體數(shù)據(jù)壓縮技術(shù)概述4 2常用多媒體數(shù)據(jù)壓縮方法4 3語(yǔ)音信號(hào)編碼的標(biāo)準(zhǔn)與方法4 4靜態(tài)圖像壓縮編碼技術(shù)4 5動(dòng)態(tài)圖像壓縮編碼技術(shù) 第四章多媒體數(shù)據(jù)壓縮技術(shù) 4 1多媒體數(shù)據(jù)壓縮技術(shù)概述 數(shù)據(jù)編碼包括 信源編碼信道編碼信源編碼 為了表示和 或壓縮從信號(hào)源產(chǎn)生出來(lái)的信號(hào)而進(jìn)行的編碼 主要解決有效性問(wèn)題 信道編碼 為了使處理過(guò)的信號(hào)在傳輸過(guò)程中不出錯(cuò)或少出錯(cuò) 以及即使出了錯(cuò)也能自動(dòng)檢錯(cuò)或盡量糾錯(cuò)而進(jìn)行的編碼 主要解決可靠性問(wèn)題 多媒體數(shù)據(jù)的壓縮主要是對(duì)視頻數(shù)據(jù)和音頻數(shù)據(jù)的壓縮 二者使用的基本技術(shù)是相同的 為什么要壓縮數(shù)據(jù)的冗余性壓縮和解壓縮過(guò)程壓縮評(píng)價(jià)和分類(lèi)數(shù)據(jù)壓縮常常又稱(chēng)為數(shù)據(jù)信源編碼 或簡(jiǎn)稱(chēng)為數(shù)據(jù)編碼 數(shù)據(jù)壓縮的逆過(guò)程稱(chēng)為數(shù)據(jù)解壓縮 也稱(chēng)為數(shù)據(jù)信源解碼 或簡(jiǎn)稱(chēng)為數(shù)據(jù)解碼 4 1多媒體數(shù)據(jù)壓縮技術(shù)概述 4 1多媒體數(shù)據(jù)壓縮技術(shù)概述 4 1多媒體數(shù)據(jù)壓縮技術(shù)概述 4 1多媒體數(shù)據(jù)壓縮技術(shù)概述 4 1多媒體數(shù)據(jù)壓縮技術(shù)概述 4 1多媒體數(shù)據(jù)壓縮技術(shù)概述 4 1多媒體數(shù)據(jù)壓縮技術(shù)概述 4 1多媒體數(shù)據(jù)壓縮技術(shù)概述 4 2常用多媒體數(shù)據(jù)壓縮方法 4 2常用多媒體數(shù)據(jù)壓縮方法 4 2常用多媒體數(shù)據(jù)壓縮方法 4 2常用多媒體數(shù)據(jù)壓縮方法 4 2常用多媒體數(shù)據(jù)壓縮方法 4 2常用多媒體數(shù)據(jù)壓縮方法 4 2常用多媒體數(shù)據(jù)壓縮方法 4 2常用多媒體數(shù)據(jù)壓縮方法 4 2常用多媒體數(shù)據(jù)壓縮方法 4 2常用多媒體數(shù)據(jù)壓縮方法 4 2常用多媒體數(shù)據(jù)壓縮方法 4 2常用多媒體數(shù)據(jù)壓縮方法 4 2常用多媒體數(shù)據(jù)壓縮方法 4 2常用多媒體數(shù)據(jù)壓縮方法 4 2常用多媒體數(shù)據(jù)壓縮方法 4 2常用多媒體數(shù)據(jù)壓縮方法 4 2常用多媒體數(shù)據(jù)壓縮方法 4 2常用多媒體數(shù)據(jù)壓縮方法 詞典編碼分類(lèi) 詞典編碼的根據(jù) 數(shù)據(jù)本身包含有重復(fù)代碼序列 屬于通用編碼技術(shù)和無(wú)損壓縮技術(shù)詞典編碼法分類(lèi)第一類(lèi)詞典法 查找正在壓縮的字符序列是否在前面的輸入數(shù)據(jù)中出現(xiàn)過(guò) 如果是 則用指向早期出現(xiàn)過(guò)的字符串的 指針 替代重復(fù)的字符串 第二類(lèi)算法 從輸入的數(shù)據(jù)中創(chuàng)建一個(gè) 短語(yǔ)詞典 dictionaryofthephrases 編碼數(shù)據(jù)過(guò)程中當(dāng)遇到已經(jīng)在詞典中出現(xiàn)的 短語(yǔ) 時(shí) 編碼器就輸出這個(gè)詞典中的短語(yǔ)的 索引號(hào) 而不是短語(yǔ)本身 LZW算法 LZW與LZ78的差別 LZW只輸出代表詞典中的綴 符串 String 的碼字 codeword 這意味在開(kāi)始時(shí)詞典不能是空的 它必須包含可能在字符流出現(xiàn)中的所有單個(gè)字符 即前綴根 Root 由于所有可能出現(xiàn)的單個(gè)字符都事先包含在詞典中 每個(gè)編碼步驟開(kāi)始時(shí)都使用一字符前綴 one characterprefix 因此在詞典中搜索的第1個(gè)綴 符串有兩個(gè)字符 3 5 5 1編碼算法 LZW編碼是圍繞稱(chēng)為詞典的轉(zhuǎn)換表來(lái)完成的 這張轉(zhuǎn)換表用來(lái)存放稱(chēng)為前綴 Prefix 的字符序列 并且為每個(gè)表項(xiàng)分配一個(gè)碼字 Codeword 或者叫做序號(hào) LZW編碼器 軟件編碼器或硬件編碼器 通過(guò)管理這個(gè)詞典完成輸入與輸出之間的轉(zhuǎn)換 LZW編碼器使用的分析 parsing 算法 稱(chēng)為貪婪分析算法 greedyparsingalgorithm 貪婪分析算法 每一次分析都要串行地檢查來(lái)自字符流Charstream的字符串 從中分解出已經(jīng)識(shí)別的最長(zhǎng)的字符串 也就是已經(jīng)在詞典中出現(xiàn)的最長(zhǎng)的前綴Prefix 用已知的前綴Prefix加上下一個(gè)輸入字符C也就是當(dāng)前字符 Currentcharacter 作為該前綴的擴(kuò)展字符 形成新的擴(kuò)展字符串 綴 符串String Prefix C 新的綴 符串String是否要加到詞典中 要看詞典中是否存有和它相同的綴 符串String 如果有 那么這個(gè)綴 符串String就變成前綴Prefix 繼續(xù)輸入新的字符 否則就把這個(gè)綴 符串String寫(xiě)到詞典中生成一個(gè)新的前綴Prefix 并給一個(gè)代碼 3 5 5 1LZW編碼算法步驟 步驟1 開(kāi)始時(shí)的詞典包含所有可能的根 Root 而當(dāng)前前綴P是空的 步驟2 當(dāng)前字符 C 字符流中的下一個(gè)字符 步驟3 判斷綴 符串P C是否在詞典中把代表當(dāng)前前綴P的碼字輸出到碼字流 把綴 符串P C添加到詞典 令P C 即現(xiàn)在的P僅包含一個(gè)字符C 步驟4 判斷碼字流中是否還有碼字要譯如果 是 返回到步驟2 如果 否 則把代表當(dāng)前前綴P的碼字輸出到碼字流 結(jié)束 例 被編碼字符串 LZW的編碼過(guò)程 3 5 5 2LZW譯碼算法 步驟1 在開(kāi)始譯碼時(shí)詞典包含所有可能的前綴根 Root 步驟2 cW 碼字流中的第一個(gè)碼字 步驟3 輸出當(dāng)前綴 符串string cW到碼字流 步驟4 先前碼字pW 當(dāng)前碼字cW 步驟5 當(dāng)前碼字cW 碼字流中的下一個(gè)碼字 步驟6 判斷先前綴 符串string pW是否在詞典中1 如果 是 把先前綴 符串string pW輸出到字符流 當(dāng)前前綴P 先前綴 符串string pW 當(dāng)前字符C 當(dāng)前前綴 符串string cW的第一個(gè)字符 把綴 符串P C添加到詞典 2 如果 否 當(dāng)前前綴P 先前綴 符串string pW 當(dāng)前字符C 當(dāng)前綴 符串string cW的第一個(gè)字符 輸出綴 符串P C到字符流 然后把它添加到詞典中 步驟7 判斷碼字流中是否還有碼字要譯1 如果 是 就返回到步驟4 2 如果 否 結(jié)束 例 續(xù) LZW的譯碼過(guò)程 4 3語(yǔ)音信號(hào)編碼的標(biāo)準(zhǔn)與方法 4 3語(yǔ)音信號(hào)編碼的標(biāo)準(zhǔn)與方法 4 3語(yǔ)音信號(hào)編碼的標(biāo)準(zhǔn)與方法 4 3語(yǔ)音信號(hào)編碼的標(biāo)準(zhǔn)與方法 4 3語(yǔ)音信號(hào)編碼的標(biāo)準(zhǔn)與方法 4 3語(yǔ)音信號(hào)編碼的標(biāo)準(zhǔn)與方法 4 3語(yǔ)音信號(hào)編碼的標(biāo)準(zhǔn)與方法 4 3語(yǔ)音信號(hào)編碼的標(biāo)準(zhǔn)與方法 4 3語(yǔ)音信號(hào)編碼的標(biāo)準(zhǔn)與方法 4 3語(yǔ)音信號(hào)編碼的標(biāo)準(zhǔn)與方法 4 3語(yǔ)音信號(hào)編碼的標(biāo)準(zhǔn)與方法 4 3語(yǔ)音信號(hào)編碼的標(biāo)準(zhǔn)與方法 4 3語(yǔ)音信號(hào)編碼的標(biāo)準(zhǔn)與方法 4 3語(yǔ)音信號(hào)編碼的標(biāo)準(zhǔn)與方法 4 3語(yǔ)音信號(hào)編碼的標(biāo)準(zhǔn)與方法 4 3語(yǔ)音信號(hào)編碼的標(biāo)準(zhǔn)與方法 4 3語(yǔ)音信號(hào)編碼的標(biāo)準(zhǔn)與方法 4 3語(yǔ)音信號(hào)編碼的標(biāo)準(zhǔn)與方法 LPC在語(yǔ)音處理中得到廣泛應(yīng)用 發(fā)展了許多算法 多脈沖線性預(yù)測(cè)編碼 MPLPC 規(guī)則脈沖激勵(lì)編碼 RPE 碼激勵(lì)線性預(yù)測(cè) CELP 代數(shù)激勵(lì)線性預(yù)測(cè) ACELP 向量和激勵(lì)線性預(yù)測(cè) VSELP QCELP QualcommCELP 變速率CELP 低延時(shí)碼激勵(lì)線性預(yù)測(cè) LD CELP 共軛結(jié)構(gòu)代數(shù)激勵(lì)線性預(yù)測(cè) CS ACELP 混合激勵(lì)線性預(yù)測(cè) MELP 間隔同步更新碼激勵(lì)線性預(yù)測(cè) PSI CELP 松弛碼激勵(lì)線性預(yù)測(cè) RCELP 殘差激勵(lì)線性預(yù)測(cè) RELP 規(guī)則脈沖激勵(lì)長(zhǎng)時(shí)預(yù)測(cè) RPE LTP 4 3語(yǔ)音信號(hào)編碼的標(biāo)準(zhǔn)與方法 4 3語(yǔ)音信號(hào)編碼的標(biāo)準(zhǔn)與方法 4 3語(yǔ)音信號(hào)編碼的標(biāo)準(zhǔn)與方法 4 3語(yǔ)音信號(hào)編碼的標(biāo)準(zhǔn)與方法 4 3語(yǔ)音信號(hào)編碼的標(biāo)準(zhǔn)與方法 4 3語(yǔ)音信號(hào)編碼的標(biāo)準(zhǔn)與方法 4 3語(yǔ)音信號(hào)編碼的標(biāo)準(zhǔn)與方法 MP3音頻壓縮編碼 MP3是一種音頻壓縮的國(guó)際技術(shù)標(biāo)準(zhǔn) MP3格式開(kāi)始于二十世紀(jì)80年代中期 是在德國(guó)夫朗和費(fèi)研究所 FraunhoferInstitute 開(kāi)始的 研究致力于高質(zhì)量 低數(shù)據(jù)率的聲音編碼 1989年 夫朗和費(fèi)研究所在德國(guó)被獲準(zhǔn)取得了MP3的專(zhuān)利權(quán) 幾年后這項(xiàng)技術(shù)被提交到國(guó)際標(biāo)準(zhǔn)組織 ISO 整合進(jìn)入了MPEG 1標(biāo)準(zhǔn) MP3格式是一個(gè)讓音樂(lè)界產(chǎn)生巨大震動(dòng)的一個(gè)聲音格式 MP3的全稱(chēng)是MovingPictureExpertsGroup AudioLayer3 它所使用的技術(shù)是在VCD MPEG 1 的音頻壓縮技術(shù)上發(fā)展出的第三代 而不是MPEG 3 MP3音頻壓縮編碼 MPEG代表的是MPEG活動(dòng)影音壓縮標(biāo)準(zhǔn) MPEG音頻文件指的是MPEG標(biāo)準(zhǔn)中的聲音部分即MPEG音頻層 MPEG音頻文件根據(jù)壓縮質(zhì)量和編碼復(fù)雜程度的不同可分為三層 MPEGAUDIOLAYER1 2 3分別與MP1 MP2和MP3這三種聲音文件相對(duì)應(yīng) MPEG音頻編碼具有很高的壓縮率 MP1和MP2的壓縮率分別為4 1和6 1 8 1 而MP3的壓縮率則高達(dá)10 1 12 1 也就是說(shuō)一分鐘CD音質(zhì)的音樂(lè)未經(jīng)壓縮需要10MB存儲(chǔ)空間 而經(jīng)過(guò)MP3壓縮編碼后只有1MB左右 同時(shí)其音質(zhì)基本保持不失真 MP3音頻壓縮編碼 音樂(lè)信號(hào)中有許多冗余成分 其中包括間隔和一些人耳分辨不出的信息 如混雜在較強(qiáng)背景中的弱信號(hào) MP3為降低聲音失真采取了名為 感官編碼技術(shù) 的編碼算法 編碼時(shí)先對(duì)音頻文件進(jìn)行頻譜分析 然后用過(guò)濾器濾掉噪音 接著通過(guò)量化的方式將剩下的每一位打散排列 最后形成具有較高壓縮比的MP3文件 并使壓縮后的文件在回放時(shí)能夠達(dá)到比較接近原音源的聲音效果 雖然它是一種有損壓縮 但是它的最大優(yōu)勢(shì)是以極小的聲音失真換來(lái)了較高的壓縮比 音頻編碼標(biāo)準(zhǔn) G 711G 722G 723 1G 728G 729音頻編碼標(biāo)準(zhǔn)比較 G 711 1972年CCITT為電話質(zhì)量和語(yǔ)音壓縮制定了PCM標(biāo)準(zhǔn)G 711 其速率為64kb s 使用 律或A律的非線性量化技術(shù) 主要用于公共電話網(wǎng)中 G 722 1988年CCITT為調(diào)幅廣播質(zhì)量的音頻信號(hào)壓縮制定了G 722標(biāo)準(zhǔn) 它使用子帶編碼 SBC 方案 其濾波器組將輸入信號(hào)分成高低兩個(gè)子帶信號(hào) 然后分別使用ADPCM進(jìn)行編碼 G 722能將224kb s的調(diào)幅廣播質(zhì)量的音頻信號(hào)壓縮為64kb s 主要用于視聽(tīng)多媒體和會(huì)議電視等 G 722的主要目標(biāo)是保持64kb s的數(shù)據(jù)率 而音頻信號(hào)的質(zhì)量要明顯高于G 711的質(zhì)量 G 723 1 1996年ITU T通過(guò)了G 723標(biāo)準(zhǔn) 用于多媒體傳輸?shù)? 3kb s或6 3kb s雙速率話音編碼 它采用多脈沖激勵(lì)最大似然量化 MP MLQ 算法 此標(biāo)準(zhǔn)可應(yīng)用于可視電話及IP電話等系統(tǒng)中 G 728 為了進(jìn)一步降低壓縮的速率 CCITT于1992年制定了G 728標(biāo)準(zhǔn) 使用基于低時(shí)延碼本激勵(lì)線性預(yù)測(cè)編碼 LD CELP 算法 其速率為16kb s 主要用于公共電話網(wǎng)中 G 729 ITU T于1996年3月通過(guò)了G 729標(biāo)準(zhǔn) 它使用8kb s的共軛結(jié)構(gòu)代數(shù)碼激勵(lì)線性預(yù)測(cè) CS ACELP 算法 此標(biāo)準(zhǔn)將在無(wú)線移動(dòng)網(wǎng) 數(shù)字多路復(fù)用系統(tǒng)和計(jì)算機(jī)通信系統(tǒng)中應(yīng)用 音頻編碼標(biāo)準(zhǔn)比較 第四講數(shù)字語(yǔ)音處理技術(shù) 數(shù)字音頻壓縮技術(shù)三維音效語(yǔ)音識(shí)別自然語(yǔ)言理解語(yǔ)音合成 三維音效 人類(lèi)的聽(tīng)覺(jué)3D音效的分類(lèi)杜比AC 3DTS 人類(lèi)的聽(tīng)覺(jué) 人耳的基本聲音定位原理是IID InterauralIntensityDifference 兩側(cè)聲音強(qiáng)度差別 和ITD InterauralTimeDifference 兩側(cè)聲音時(shí)間延遲差別 IID指距離音源較近的哪一邊耳朵 所收到的聲音強(qiáng)度比另一側(cè)高 感到聲音更大一些 ITD指方位的不同 使聲音到達(dá)兩耳的時(shí)間有差別 人們會(huì)覺(jué)得聲音位于到達(dá)時(shí)間早些的那一邊 IID ITD的結(jié)果是把音源定位到以聽(tīng)者兩耳這間連線為軸線的錐體范圍之內(nèi) 人類(lèi)的聽(tīng)覺(jué) 耳廓 外耳 的作用是濾波器 根據(jù)聲音的不同角度 加強(qiáng) 減弱音波能量 過(guò)濾之后傳給大腦 讓我們更準(zhǔn)確地聲源的位置 耳廓的大小有限 因此能夠收到的音波范圍也有限 通常是20Hz到20KHz 即波長(zhǎng)16米到1 6厘米的音波 換言之 低于此范圍是次聲波 高于此范圍是超聲波 由于兩耳機(jī)的距離約為15厘米 當(dāng)波長(zhǎng)大于15厘米時(shí)IIT和ITD將會(huì)減弱 頻率低的聲音波長(zhǎng)大 因此我們很難判斷出低音的位置 卻能輕易分辨高音的方位 實(shí)際上 耳廓對(duì)于聲音的定位 是至關(guān)重要的一環(huán) 沒(méi)有外耳的人難以判斷聲音發(fā)出的位置 人類(lèi)的聽(tīng)覺(jué) 人類(lèi)依靠一種稱(chēng)為HRTF HeadRelatedTransferFunction 頭部關(guān)聯(lián)傳輸功能 的系統(tǒng)來(lái)判斷聲音發(fā)出的位置 每個(gè)人的HRTF都不盡相同 還可以進(jìn)行交換 HRTF的檢測(cè)非常簡(jiǎn)單 先在人的耳道內(nèi)放置兩個(gè)微型麥克風(fēng) 再在聽(tīng)者附近放一個(gè)音箱 播放確定的信號(hào) 同時(shí)記錄麥克風(fēng)收到的信號(hào) 比較源信號(hào)和麥克風(fēng)的脈沖特性曲線就可以得到其中一個(gè)濾波效果 最后于聽(tīng)者附近的所有位置重復(fù)上述過(guò)程 即可獲取完整的HRTF系統(tǒng) 三維音效 人類(lèi)的聽(tīng)覺(jué)3D音效的分類(lèi)杜比AC 3DTS 3D音效的分類(lèi) 3D音效的兩個(gè)最重要因素是定位和交互 定位即讓人們準(zhǔn)確地判斷出聲音的來(lái)源 可以通過(guò)預(yù)選錄制聲音 再進(jìn)行特定的解碼來(lái)實(shí)現(xiàn) 實(shí)時(shí)的定位就是交互 聲音并非預(yù)選錄制好的 而是按照你的控制來(lái)決定聲音的位置 即時(shí)生成的交互式聲音對(duì)輸入設(shè)備的要求 比預(yù)選錄制音軌的放音設(shè)備 如 電影 要更強(qiáng)一些 3D音效的分類(lèi) 擴(kuò)展式立體聲它使用聲音延遲技術(shù)對(duì)傳統(tǒng)的立體聲進(jìn)行額外處理 擴(kuò)寬了音場(chǎng)的位置 使聲音延展到音箱以外的空間 讓我們感覺(jué)的3D世界更廣闊環(huán)繞立體聲它采用音頻壓縮技術(shù) 如 杜比AC 3 把多通道音源編碼成一段程序 再以一組多揚(yáng)聲器系統(tǒng)來(lái)進(jìn)行解碼 實(shí)現(xiàn)多區(qū)域環(huán)繞效果 交互式3D音效交互式3D盡量地復(fù)制了人耳在真實(shí)世界中聽(tīng)到的聲音 并使用一定的算法來(lái)播放出來(lái) 讓我們感到整個(gè)三維空間的所有地方都可能產(chǎn)生聲音 并隨聽(tīng)者的移動(dòng)而做出相應(yīng)改變 三維音效 人類(lèi)的聽(tīng)覺(jué) 3D音效的分類(lèi)杜比AC 3DTS 杜比AC 3 為了提高HDTV聲音的質(zhì)量 避免模擬矩陣編碼的局限性 提出了雙通道的碼率提供多通道的編碼性能的設(shè)想 杜比AC 3就是為了實(shí)現(xiàn)這一設(shè)想而開(kāi)發(fā)的 杜比AC 3可以把五個(gè)獨(dú)立的全頻帶和一個(gè)超低音通道的信號(hào)實(shí)行統(tǒng)一編碼 成為單一的復(fù)合數(shù)據(jù)流 AC 3的頻響為20Hz 20kHz 0 5dB 3dB時(shí)為3Hz 20 3kHz 超低聲道頻率范圍是20Hz 120Hz 0 5dB 可支持32kHz 44 1kHz 48kHz三種取樣頻率 數(shù)碼率可低至單聲道的32kb s 高到多聲道640kb s 以適應(yīng)不同需要 杜比AC 3 AC 3采用基于改良離散余弦變換 MDCT 的自適應(yīng)變換編碼 ATC 算法 ATC算法的一個(gè)重要考慮是基于人耳聽(tīng)覺(jué)掩蔽效應(yīng)的臨界頻帶理論 即在臨界頻帶內(nèi)一個(gè)聲音對(duì)另一個(gè)聲音信號(hào)的掩蔽效應(yīng)最明顯 因此 劃分頻帶的濾波器組要有足夠銳利的頻率響應(yīng) 以保證臨界頻帶外的噪聲衰減足夠大 使時(shí)域和頻域內(nèi)的噪聲限定在掩蔽門(mén)限以下 三維音效 人類(lèi)的聽(tīng)覺(jué) 3D音效的分類(lèi) 杜比AC 3DTS DTS DTS是 DigitalTheatreSystem 的縮寫(xiě) 是 數(shù)字化影院系統(tǒng) 的意思 從技術(shù)上講 DTS與包括DolbyDigital在內(nèi)的其它聲音處理系統(tǒng)是完全不同的 Dol