多媒體數據壓縮編碼技術

1、第四章 多媒體數據壓縮編碼技術考核目的:考核學生對多媒體數據壓縮編碼的基本原理和算法、數據壓縮編碼的分類和方法、多媒體 數據壓縮編碼的國際標準等內容的理解和掌握?？己说闹R點:什么是多媒體數據壓縮、為什么信息能被壓縮、常用的壓縮編碼和算法(統計編碼、預測 編碼、變換編碼 、多媒體數據壓縮編碼的國際標準 JPEG 、 MPEG-1等內容?？己艘?掌握:數據壓縮編碼的方法、常用的壓縮編碼和算法、 JPEG 的原理和實現技術。理解:量化的原理和量化器的設計、 MPEG-1的原理和實現技術。了解:其它的國際標準等。4.1 多媒體數據壓縮編碼的重要性和分類一.多媒體數據壓縮編碼的重要性多媒體信息傳送面

2、臨的最大難題是海量數據存儲與傳送電視信號數字化后的數據量問題, 數據壓縮是解決問題的重要途徑。二.多媒體數據壓縮的可能性1. 空間冗余2. 時間冗余3. 信息熵冗余信息量:指從 N 個相等的可能事件中選出一個事件所需要的信息度量和含量。信息熵:指一團數據所帶的信息量,平均信息量就是信息熵(entropy 。4. 結構冗余圖象有非常強的紋理結構。5. 知識冗余圖像的理解與某些基礎知識有關。6. 視覺冗余視覺冗余是非均勻、非線性的。三. 多媒體數據壓縮方法的分類1.按壓縮方法分 :(1. 有失真壓縮(2. 無失真壓縮2. 編碼算法原理分 :(1預測編碼:PCM 、 DPCM 、 ADPCM 等(2

3、變換編碼:傅里葉(DFT 、離散余弦(DCT 、離散正弦(DST 等(3統計編碼:哈夫曼、算術等(4靜圖像編碼:方塊、逐漸浮現等(5 電視編碼:幀內預測、幀間編碼等(6 其他編碼:矢量量化、子帶編碼等4.2量化一.量化原理量化處理是使數據比特率下降的一個強有力的措施。數據壓縮編碼中的量化處理,不是指 A/D變換后的量化,而是指以 PCM 碼作為輸入,經正 交變換、差分、或預測處理后,熵編碼之前,對正交變換系數、差值或預測誤差的量化處理。 量化輸入值的動態(tài)范圍很大,需要以多的比特數表示一個數值,量化輸出只能取有限個整 數,稱作量化級,希望量化后的數值用較少的比特數便可表示。每個量化輸入被強行歸一

4、到與 其接近的某個輸出,即量化到某個級。量化處理總是把一批輸入, 量化到一個輸出級上, 所以量化處理是一個多對一的處理過程, 是個不可逆過程,量化處理中有信息丟失,或者說,會引起量化誤差(量化噪聲 。二.標量量化器的設計1.量化器的設計要求給定量化分層級數,滿足量化誤差最小。限定量化誤差,確定分層級數,滿足以盡量小的平均比特數,表示量化輸出。三.量化方法:標量量化:對于 PCM 數據,一個數一個數地進行量化叫標量量化。分為:均勻量化、非均勻量化和自適應量化。四.矢量量化1.矢量量化概念:對 PCM 數據分組,每組 K 個數構成一個 K 維矢量,然后以矢量為單元,逐個矢量進行量化, 稱矢量量化。

5、矢量量化編碼方法是有失真編碼方法。4.3 統計編碼一.統計編碼原理信息量和信息熵1. 概念 :(1信息 :是用不確定性的量度定義的。(2信息量 :從 N 個相等可能事件中選出一個事件所需要的信息度量或含量。(3熵 :如果將信源所有可能事件信息量進行平均就得到信息的熵 (熵就是平均信息量 。(4信源均含有的平均信息量 (熵 , 就是進行無失真編碼的理論極限。(5信源中或多或少的含有自然冗余。(6信息源 X 的熵為 H (X :式(4. 2二.哈夫曼編碼1.變字長編碼定理 :最佳編碼定理在變字長編碼中,對于出現概率大的信息符號,編以短字長的碼 , 對于出現概率小的信息符號編以長字長的碼,如果碼字長

6、度嚴格按照符號概率的大小的相反順序排列,則平均碼字長一定小于按任何其他符號順序排列方式得到的碼字長度。證明 :(P1082. Huffman 編碼方法用變字長最佳編碼定理(1. 把信源符號按概率大小順序排列,設法按逆次序分配碼字的長度。(2. 在分配碼字長度時,將出現概率最小的兩個符號的概率相加合成一個概率。(3.把這個合成概率看成是一個新組合符號地概率,重復上述做法直到最后只剩下兩個符號概率為止。(4. 完成以上概率順序排列后,再反過來逐步向前進行編碼,每一次有三個分支各賦予 一個二進制碼,對概率大的賦為零,概率小的賦為 1。3. Huffman 編碼步驟(1信源符號按概率大小順序排列,按逆

7、次序分配碼字的長度。(2 出現概率最小的兩個符號概率相加合成一個新概率。(3 將合成概率看成一個新組合符號概率,重復上述做法,直到最后只剩下兩個符號概率為止。(4 反過來逐步向前編碼,每層有兩個分支,分別賦予 0和 1,構成 Huffman 碼字?？偨Y:Huffman 編碼構造出的碼不唯一Huffman 編碼字長參差不齊Huffman 編碼在信源編碼概率分布不均勻時效率高,效率比較均勻時,效率低,不用 Huffman 編碼。對出現頻率較高的碼分配短碼字;對出現頻率較低的碼分配長碼字。三.算術編碼1.原理:算術編碼方法是將被編碼的信息表示成實數 0和 1之間的一個間隔。信息越長編碼表示它的間隙就

8、越小,表示這一間隙所須二進位就越多,大概率符號出現的概率越大對應于區(qū)間愈寬,可用長度較短的碼字表示;小概率符號出現的概率越小對應于層間愈窄,需要長度較長的碼字表示。信息源中連續(xù)的符號根據某一模式生成概率的大小來減少間隔?？赡艹霈F的符號要比不太可能 出現的符號減少范圍少,因此只增加了較少的比特位2. 自適應二進制算術編碼(1編碼算法舉例設編碼初始化子區(qū)間為 0, 1 設 大概率 MPS , Pe 小概率 LPS QePe=1-Qe編碼時,設置兩個專用寄存器(C , A 初始時:令C 寄存器的值為子區(qū)域的起始位置A 寄存器的值為子區(qū)域的寬度(該寬度恰好是已輸入符號串的概率 初始化時:C=0 A=1

9、隨著被編碼數據源輸入, C 和 A 的內容按以下規(guī)律修正:當低概率符號 LPS 到來時:C=CA=AQe當高概率符號 MPS 到來時:C=C+AQeA=APe=A(1-Qe (2解碼算法舉例解碼:按 Qe Pe 分成兩個子區(qū)間,判斷被解碼的碼字落在哪個區(qū)間,并賦予對應符號:設 c=(0.0101 b 是被解碼的值初始值:A=1 Qe=0.001當 c落在 0-QeA 之間,解碼符號為 D=0;C=CA=QeA ;當 c落在 Qe A -A之間,解碼符號為 D=1;C=C -QeA ;A=A(1-Qe 算術解碼原理圖 P114算術編碼的特點:(1. 不需要碼表;(2. 當信源概率比較接近時,建議

10、使用算術編碼。(3. JPEG成員對多幅圖進行算術編碼效率可以提高 5%。JPEG 擴展系統用算術編碼代替 Huffman 。4.4 預測編碼一.預測編碼的基本概念預測編碼是統計冗余數據壓縮理論的三個重要分支之一,用預測編碼減少數據時間和空間的相關性。預測編碼基本原理預測編碼方法分類線性預測編碼:DPCM 非線性預測編碼1. DPCM 差分脈沖編碼調制DPCM 編 /解碼原理圖 P1162. ADPCM自適應預測編碼這種編碼方法中,量化器的步長和預測器的參數均能根據圖象的局部特征作自適應的調整。ADPCM 分成兩類1 . 線性自適應預測器2 非線性自適應預測器引進幾個和臨近象素有關的值,入 i

11、 和 di 非線性改變預測的數。所以,叫非線性的自 適應預測。采用四點預測三.幀間預測編碼對于序列圖象,把幾幀的圖象存起來 (大規(guī)模集成電路技術的發(fā)展 使用幀間相關性進一步消除圖象信號的冗余度,提高壓縮比。幀間壓縮方法:條件補充法條件次取樣法。運動補償幀間預測1. 條件補充法條件象素補充法規(guī)定:6若幀間各對應象素的亮度差超過閾值,則把這些象素存到緩存區(qū)中,并以恒定傳輸速度傳輸,而閾值以下的象素則不傳送,在接收端中用上一幀相應的象素代替。 在可視電話中用條件補充法傳送的象素只占全部象素的 6%左右。2. 條件次取樣法條件補充法和內插法相結合叫條件次取樣法。具體做法:在時間軸采用次取樣 (兩個取一

12、 個就是次取樣 對于未取樣的當前場的某點可以采用隔場的四鄰點亮度的均值,作為該點亮度的預測值。條件補充:S0=1/4(SA+SB+SC+SD內插預測值與實際值之差小于閾值后就不傳。3. 運動補償(1運動估計有下述三種方法:塊匹配法 : 以象素塊為準進行運動估計。象素遞歸法 :以象素為準進行遞歸的運動估計。傅立葉變換法1 塊匹配法將圖象分成 M*N個矩形塊。在(M+2Wx *(N+2Wy范圍內進行搜索以求得最優(yōu)匹配,從而求得運動矢量估值(dx , dy A. 匹配算法歸一化相關函數 NCCF均方誤差 MSE幀間絕對差 MADB. 搜索方法:窮盡搜索法二維對數法 (TDL三步搜索法 (TTS交叉搜

13、索法(CSA 4. 幀間預測,采用 DPCM7(YmnN和 (YmnN-1 變化很小。統計結果表明:廣播電視節(jié)目只有 10%以內的象素有變化。Y有 2%的變化; UV有千分之十以內的變化。Xmn-Xmn=emn 只傳差值4.5 變換編碼一 . 變換編碼的特點利用預測編碼可以去除圖象數據的時間和空間的冗余。它的優(yōu)點是直觀、簡捷、易于實現,特別是用于硬件實現。但壓縮能力有限, DPCM 一般只能壓縮到 24bit/像素。 變換編碼是進行一種函數變換,映射變換從信號域變換到另一個信號域。例:有兩個相鄰采樣值 X1和 X2,每一采樣值用 3bit 編碼,因此有 8個幅度等級,兩個為: 8*8=64種。

14、見 P122(b 變換編碼的系統構成:二.變換種類 K-L 變換 離散傅立葉變換 離余弦變換 WALSH 變換 Har4.5.2 K-L變換 它是以統計特性為基礎的,也稱為特征向量變換。 最優(yōu)的正交變換:特征向量矩陣向量指向數據變化最大的方向。 缺點:計算過程復雜,變換速度慢。一 . 協方差矩陣(4.18(4.22(4.238二 . 離散 K-L 變換表達式特征值和特征向量定義:設 A 是 n 階方矩,如果有數入和 n 維非零向量 x ,使得:AX=入 x則稱:入為 A 的特征值;x為 A 對應于特征值入的特征向量。(4.29(4.32(4.38結論:Y 向量的平均向量為 0,直流分量為 0。

15、Y 的協方差矩陣:協方差等于 0方差對角線按減序排列4.5.3 離散余弦變換 (DCT變換 一 . 二維離散傅立葉變換 正變換(4.56逆變換(4.574、 6 視頻圖像壓縮編碼的國際標準:JPEG 標準H.261標準MPEG 標準1. 1986年成立了聯合圖片專家組。JPEG Joint Photographic Experts Group主要制定靜態(tài)圖像幀內壓縮編碼2. CCITT 第 XV 研究所1984年成立了可視電話編碼專家組。1988年,提出了 H.261標準視頻編碼器的建議。9滿足 ISDN 日益增長的需要可適用于可視電視和視頻電話會議。3. 1988年成立了 MPEG-MOVI

16、NG PICTURE EXPERT GROUP 。4.6.1 JPEG標準壓縮編碼算法及其實現技術JPEG 標準定義了兩種基本壓縮算法:(1. 基于 DCT 變換有失真的壓縮算法。(2. 基于空間預測編碼 DPCM 的無失真壓縮算法。一 . 無失真的預測編碼無失真編碼器(1. 預測器(2. 熵編碼器二 . 基于 DCT 的有失真壓縮編碼兩種不同性能的層次基本系統增強系統自適應算法編碼框圖 :P136-4.25P136-4.261. 離散余弦變換 (DCTJPEG 采用 8*8二維離散余弦變換。DCT 分成 8*8小塊。8*8 FDCT 和 IDCT表達式如下 :P136-(4.58、(4.59

17、2.量化:均衡量化器 其量化間隔是等長的非均衡量化器 其量化間隔是不等長的自適應量化器 其量化間隔是隨傳送數據而變?yōu)榱诉_到壓縮的目的,對 DCT 系數進行量化處理, JPEG 利用線性均勻量化器 , 多到10一的映射產生誤差。FQ (u,v = Integer Round ( F(u,v/Q(u,vQ(u,v是量化器步長,隨位量和彩色分量不同。FQ (u,v= FQ (u,v*Q(u,v量化特性 P137-4.27量度量化表色度量化表3.熵編碼對于 DC 和 AC 行程碼,再作基于統計特性的熵編碼。分兩步進行:1把 DC 碼和 AC 行程碼轉換成中間符號序列。2對這些符號序列賦以變長的碼字。(

18、1中間格式由兩個符號組成:符號 1,行程,尺寸 (分組 符號 2,幅值(2可變長熵變碼63個 AC 系數表示符號 1符號 2零行程長度超過 15,有多個符號 1塊結束 EOB 只有符號 1 (00P140-表 4.5例題 :設某亮度子塊的序列如下 zz(kK 0 1 2 3 4 5-7 8 9-30 31 32-63 系數 12 5 -2 0 2 0 1 0 -1 0按 JPEG 基本系統編碼給出該子塊的編碼。符號 2的編碼規(guī)則 :正數負數結論 :1. 零不需編碼。2. 正數編碼為原碼 , 且高位為“1”(碼長為最高位為 1 。3. 負數為該數絕對值的反碼 , 且高位為“0” (碼長同其絕對值

19、碼長一致 。在由程序實現時 , 負數的編碼只須“負數 =負數 -1”,然后直接取低位。4.6.2 MPEG壓縮編碼標準一 . 引言1988-1992 提出標準化方案。 1991年 11月提出草案, 1992年通過 ISO/SEC 11172 JPEG 和 MPEG 同屬于一個工作組。1993年 11月通過 ISO/IEC 13818 1995年 5月 15日正式通過。1. MPEG-1和 MPEG-2特點:1 MPEG-1:三百多線 *三百多線,適合家庭或終端用,標準不太高,演播級。傳輸率 1.5M bit/sMPEG-2:最高兩千多線 *兩千多線,可適合 HDTV ,共有 15個標準,我國采

20、用了四個。 傳輸率 1.5 M bit/s -100 M bit/s2. MPEG 標準包括四個部分:MPEG系統MPEG視頻MPEG音頻MPEG測試(檢測二 .MPEG 數據流結構數據流視頻流(運動序列有:序列頭、一組或多組圖像序列、 序列尾。1. 序列頭序列頭碼 32bit水平大小 12bit垂直大小 12bit像素的長寬比 4bit圖像速率(傳輸率 4bit位碼率 4bit結束碼 32bit2. 一組或多組圖像序列圖像組:由一系列圖像組成 , 這些圖像可以從運動序列中隨機抽取。圖像:一個圖像 (靜止 圖像 由三個部分組成一個亮度信號 Y兩個色差信號 UV圖像切片:一個或多個宏塊組成。切片

21、中宏塊的 順序由左到右,由上到下,如果有誤差跳 到下一個切片位置,使用越多的切片,誤差的隱蔽性就越好。宏塊:一個宏塊由四個亮度塊, 兩個色度塊組成 ( U一個, V 一個 。一個 16*16亮度信息, 8*8色度信息。塊:8*8亮度, 8*8色度MPEG 視頻位流分層圖結構 P157圖 4.37三 . 幀間編碼技術MPEG 將圖像分成三種類型 :1. I 圖像(Intra PictureI 圖像( I幀就是靜態(tài)圖像,用 JPEG 幀內壓縮的方法得到,壓縮比適度。2. P 圖像 (Predicted Picture 預測圖P 圖像( P幀由最近的 I 幀或 P 幀經過預測編碼得到。稱為前向預測,

22、可以作為下一個 B 或 P 參照圖像。3. B 圖像 (Bidirectional Picture 雙向預測圖B 圖像(B 幀可以使用前一個和后一個圖像作參考圖像,也可以使用前后兩個參考圖像。 (雙向預測幀間編碼前向編碼后向編碼雙向預測幀 . 運動視頻流的組成四 . 運動補償技術主要用于消除 P.B 圖像在時間上的冗余,提高壓縮效率是在宏塊一級。 1.四種類型的宏塊I 塊 幀內宏塊F 塊 前向預測宏塊B 塊 后向預測宏塊 A 塊 平均宏塊 (內插宏塊、雙向預測宏塊2.三種類型的圖像:I 圖像B 圖像P 圖像3. 求運動矢量要解決兩個問題1 匹配算法:歸一化函數(4.15均方誤差(4.16幀間絕

23、對差(4.172 搜索方法窮盡搜索法 MAD二維對數法 TDL 采用 MSE 均方誤差三步搜索法 9個點 /步 MSE均方誤差采用繞參考點逐漸向外生長的方式 :五 . 幀內編碼技術幀內編碼技術與 JPEG 相同。4. 6. 3 MPEG-2國際標準1. MPEG-2與 MPEG-1的區(qū)別:可支持多種采樣格式 : 逐行 , 隔行。支持恒速率和變速率兩種格式。支持對比特流的編輯。MPEG -2是 MPEG -1的擴展 , 豐富 , 完善。MPEG-2從 1.5M 100M 分成了很多的 Profile, 具有可擴充性(Scalable .2.MPEG II 視頻數據流采用分層編碼技術 :每個視頻節(jié)

24、目接不同的空間分辨率和幀速率; MPEG 采用可擴展性編碼的辦法逐步嵌入若干層結構,解碼時可以得到不同時間、空間分辨率的視頻信號。3.MPEG2提供四種工具 :1 空間可擴展性金字塔編碼技術低通濾波器 基本層比特流 STV預測層 HDTV2 時間可擴充性可以跨過某些幀,形成基本圖象與 MPEG-1兼容。隔行 15幀 /秒逐行 60幀 /秒3 信噪比可擴展性量化第一次量化第二次量化4:2:0 4:2:24 數據劃分優(yōu)先級不同的比特流(1. 頭信息 , 運動矢量,量化參數,低頻 DCT 系數放到高優(yōu)先級(2. 將高頻 DCT 級數轉到低優(yōu)先級4.6.4 MPEG-4標準介紹1. MPEG-4主要特

25、點:(1 MPEG-4的編碼是基于對象的,這樣就便于操作和控制對象;可以實現許多基于內容的交互性功能,主要用于基于內容的多媒體數據存取、游戲或多媒體 家庭編輯、網上購物和電子商店、遠程監(jiān)控、醫(yī)療和教學等。(2 MPEG-4 在擴展性上具有很好的靈活性, 可進行時域和空域的擴展 (兼容 MPEG-2 擴展功能 ;主要用于互聯網和無線網等窄帶的視頻通訊、多質量視頻服務和多媒體數據庫預覽等服務。 （3）MPEG-4的編碼具有魯棒性和糾錯功能。 主要用于在移動通信的易錯通訊環(huán)境下實現安全的低碼率編碼和傳輸，采用再同步、數據恢 復、錯誤隱藏等三種策略。 2MPEG-4 編碼方法 1） MPEG-4中的數據結構