多媒體編碼通信04-預測

1、多媒體編碼與通信多媒體編碼與通信趙海武趙海武上海大學通信學院上海大學通信學院目錄目錄lDPCMl幀內(nèi)預測l幀間預測DPCMDPCM編碼編碼lPCM：脈沖編碼調(diào)制56,58,62,55,57,60,59,56lDPCM：差分脈沖編碼調(diào)制56,2,4,-7,2,3,-1,-3DPCM可以用于像素的分量值，也可以用于變換以后的DCT直流系數(shù)7071696870727172686869707273701-2-12211-401111DPCMDPCM編碼編碼lDPCM編碼器DPCMDPCM解碼解碼lDPCM解碼器DPCMDPCM預測器預測器lDPCM的性能主要取決于預測器的性能。一般的線性預測器形式是x

2、n=a1xn-1+a2xn-2+akxn-kl其中k稱為階數(shù)lDPCM的特點是算法簡單，易于硬件實現(xiàn)幀內(nèi)預測幀內(nèi)預測l分塊l基于塊的預測基于塊的幀內(nèi)預測基于塊的幀內(nèi)預測lDPCM以像素值或直流分量值為預測單位，沒有利用更大尺度上的相關性l基于塊的預測方法以塊塊為預測單位，利用相鄰的已經(jīng)解碼的像素預測當前要編碼的塊l塊通常是正方形的，尺寸有4x4, 8x8, 16x16等l下面以8x8為例來說明分塊分塊基于塊的幀內(nèi)預測基于塊的幀內(nèi)預測8x8塊預測模式基于塊的幀內(nèi)預測基于塊的幀內(nèi)預測l基于塊的幀內(nèi)預測有以下模式l方向模式l垂直l水平l左下l右下ll直流模式l平面模式基于塊的幀內(nèi)預測基于塊的幀內(nèi)預測

3、l垂直模式Intra_8x8_Vertical當ri （i=18）可用時，該模式才被使用，此時predMatrixx,y = rx+1（x,y=07）l水平模式Intra_8x8_Horizontal當ci （i=18）可用時，該模式才被使用，此時predMatrixx,y = cy+1（x,y=07）基于塊的幀內(nèi)預測基于塊的幀內(nèi)預測l左下模式Intra_8x8_Down_Left當ri、ci（i=116）均可用時，該模式才被使用，此時predMatrixx,y=(rx+y+1+2rx+y+2+rx+y+3+2)2+(cx+y+1+2cx+y+2+cx+y+3+2)2)1（x,y=07）l右下

4、模式Intra_8x8_Down_Right當ri、ci（i=016）均可用時，該模式才被使用，此時如果x等于y，predMatrixx,y = (c1+2r0+r1+2)2（x,y=07）；否則如果x大于y，predMatrixx,y = (rx-y+1+ 2rx-y+rx-y-1+2)2（x,y=07）；否則如果y大于x, predMatrixx,y = (cy-x+1+2cy-x+cy-x-1+2)2（x,y=07）?；趬K的幀內(nèi)預測基于塊的幀內(nèi)預測l直流模式Intra_8x8_DC如果ri、ci（i=09）都可用,則predMatrixx,y= (rx+2rx+1+rx+2+2)2+(

5、cy+2cy+1+cy+2+2)2)1（x,y=07）；否則如果ri（i=09）可用，則predMatrixx,y = (rx+2rx+1+rx+2+2)2（x,y=07）；否則如果ci（i=09）可用，則predMatrixx,y = (cy+2cy+1+cy+2+2)2（x,y=07）；否則predMatrixx,y = 128（x,y=07）基于塊的幀內(nèi)預測基于塊的幀內(nèi)預測l平面模式Intra_Chroma_Plane當ri、ci （i=18）均可用時，該模式才被使用，此時predMatrixx,y = Clip1(ia+(x-3)ib+(y-3)ic+16)5)（x,y=07）。其中，

6、ia = (r8+c8)5, ic = (17iv+16)5,ih = iv =Clip1(v) = v 255 ? 255 : v )30(1)( 53)iiriri30(1)( 53)iicici基于塊的幀內(nèi)預測基于塊的幀內(nèi)預測l基于塊的幀內(nèi)預測還有l(wèi)更多的塊尺寸和形狀l更多的方向模式l更多的預測算法雙線性模式參考像素濾波基于塊的幀內(nèi)預測基于塊的幀內(nèi)預測l更多的塊尺寸和形狀基于塊的幀內(nèi)預測基于塊的幀內(nèi)預測l更多的方向模式幀間預測幀間預測l綜述l運動向量l塊劃分l預測塊與殘差塊l匹配準則l搜索算法幀間預測綜述幀間預測綜述l時間上相鄰的圖像存在很大的相關性，用幀間預測可以有效地消除這種相關性l

7、幀間預測主要是基于塊的預測方法，也有整幀的預測方法運動向量：匹配塊的位置與當前塊的位置的差，運動向量：匹配塊的位置與當前塊的位置的差，MV = (xm-xc, ym-yc)其中其中(xm, ym) 是匹配塊的亮度分量的左上角樣本在整個幀的是匹配塊的亮度分量的左上角樣本在整個幀的亮度樣本構成的矩陣中的坐標，亮度樣本構成的矩陣中的坐標， (xc, yc)的含義類似的含義類似YYCbCrCrCb參考幀當前幀當前塊匹配塊同位塊MV幀間預測：運動向量幀間預測：運動向量幀間預測：塊劃分幀間預測：塊劃分l通用模式是矩形塊，MxNl固定大小的正方形l寬高比最大為2的矩形MV = (xm-xc, ym-yc)

8、= (xv, yv)predMatrixx,y = refPicx+xc+xv,y+yc+yv如果如果x+xx+xc c+x+xv v和和y+yy+yc c+y+yv v小于小于0 0，則以，則以0 0代替，如果大于水平或代替，如果大于水平或垂直方向的最大值，則用最大值代替。垂直方向的最大值，則用最大值代替。diffMatrixx,y=currMatrixx,y-predMatrixx,y叫做叫做殘差塊殘差塊或者或者殘差矩陣殘差矩陣YYCbCrCrCb參考幀當前幀當前塊匹配塊同位塊MV幀間預測：預測塊與殘差塊幀間預測：預測塊與殘差塊幀間預測：匹配準則幀間預測：匹配準則l判斷兩個塊接近程度的方法

9、l最小絕對差（MAD）l最小均方誤差（MSE）l歸一化互相關函數(shù)（NCCF）幀間預測：匹配準則幀間預測：匹配準則MADMADl當前塊記為f(x,y),候選參考塊記為g(x,y)，x=0.M-1,y=0.N-1N 1 M 1y 0 x 01MADf(x,y)g(x,y)MNl可見，MAD是兩個塊對應像素值的差的絕對值的平均值。MAD越小表示兩個塊越接近，使MAD達到最小值的那個（些）候選塊叫做MADMAD最佳匹配塊最佳匹配塊幀間預測：匹配準則幀間預測：匹配準則SADSADN 1 M 1y 0 x 0SADf(x,y)g(x,y)l由于在尋找一個塊的最佳匹配塊的過程中塊的大小是不變的，所以比較總和

10、和比較平均值的結果是一樣的，計算總和可以簡化計算。l絕對差值和（SAD）的計算公式是幀間預測：匹配準則幀間預測：匹配準則MSEMSEN 1 M 12y 0 x 01MSEf(x,y)g(x,y)MNlMAD最佳匹配塊在實際編碼的時候不一定是最佳的，因為變換系數(shù)的值不僅和MAD有關，還和每個差值具體取值及其分布有關lMSE比MAD更加接近真實的變換結果lMSE的計算公式是l可見，MSE是兩個塊對應像素值的差的平方的平均值。MSE越小表示兩個塊越接近，使MSE達到最小值的那個（些）候選塊叫做MSEMSE最佳匹配塊最佳匹配塊幀間預測：匹配準則幀間預測：匹配準則NCCFNCCFN 1 M 1y 0 x

11、 0N 1 M 1N 1 M 122y 0 x 0y 0 x 0f(x,y)g(x,y)NCCFf(x,y)g(x,y)lNCCF叫做歸一化互相關函數(shù)，它的計算公式是lNCCF描述的是兩個塊的相關性。NCCF的值越大，表示兩個塊的相關性越強。使NCCF達到最大值的那個（些）候選塊叫做NCCFNCCF最佳匹配塊最佳匹配塊lNCCF和變換的原理是類似的，所以在理論上NCCF比MAD和MSE更好。幀間預測：匹配準則練習幀間預測：匹配準則練習ref89988989B88785456l分別計算SAD，MAD和NCCFcur88887777B66665555幀間預測：搜索算法幀間預測：搜索算法l全搜索法（

12、full search algorithm,FSA）l三步搜索法（three step search,TSS）l新三步搜索法（novel TSS, NTSS）l四步搜索法（four step search, FSS）l菱形搜索法（diamond search, DS）l六邊形搜索法（hexagon-based search,HEXBS）l混合非對稱交叉多六邊形網(wǎng)格搜索法（UMHexagonS）幀間預測：全搜索幀間預測：全搜索l全搜索是最笨但也是最優(yōu)的方法l確定一個搜索窗l(fā)計算搜索窗中每個可能的mv的匹配效果（選一種匹配準則）l取匹配效果最好的mvl計算量最大l保證得到最優(yōu)的mv幀間預測：三步法

13、幀間預測：三步法l三步法是一種典型的快速搜索算法，主要思想是由粗到精l從搜索窗中心點開始，按一定步長去周圍8個點作匹配計算，選一個匹配最好的點，記為MBDl將步長減半，以MBD為新的中心點，取8個點再做匹配計算l如此遞推，知道搜索步長為1，得到最后的MBD作為最終的mvl計算量變小，但不能保證獲得最優(yōu)的mv幀間預測：新三步法幀間預測：新三步法l三步法采用9點正方形搜索模板，第一步步長過大，容易陷入局部最優(yōu)l新三步法第一步的搜索模板上有17個點，如果MBD位于模板中心，則搜索結束l如果MBD是8個相鄰點之一，則以MBD為新的中心，在3x3鄰域內(nèi)逐步搜索，直到MBD位于模板中心l如果第一步的MBD

14、不是8個相鄰點之一，則令步長減半，按照三步法繼續(xù)搜索l引入提前終止l可以適應小運動的視頻序列幀間預測：四步法幀間預測：四步法l四步法基于實際視頻的一個特征，即MV都是中心分布的l四步法第一步的搜索窗為5x5l每一步將搜索中心移到MBD處l后續(xù)各步的搜索窗大小依賴于MBD點的位置幀間預測：菱形搜索法幀間預測：菱形搜索法l搜索模板的大小和形狀會影響算法的速度和性能，搜索模板太大易產(chǎn)生錯誤的搜索路徑l太小又容易陷入局部最優(yōu)l菱形搜索采用兩種模板：9點和5點l搜索時先用大模板，l當MBD出現(xiàn)在大模板的中心時改用小模板作業(yè)作業(yè)4 4 如下表所示的4x4編碼塊，在SAD準則下，比較水平預測模式和垂直預測模式哪個更好568465676777778989799998作業(yè)作業(yè)4 4 如下所示的8x8參考塊和當前編碼塊，請計算兩個塊匹配的MSE 51 54 52 51 52 52 49 50 53 52 52 58 51 47 50 52 53 51 53 55 51 53 45 44 48 47 55 47 51 48 46 44 53 53 47 43 54 49 50 40 57 47 43 47 62 60 45 39 50 41 50 60 80 79 48 38 53 50 50 57 94 93 76