運動圖像的編碼一

運動圖像的編碼一演示文稿當前1頁，總共30頁。（優(yōu)選）運動圖像的編碼一當前2頁，總共30頁。運動圖像的冗余空間冗余：和靜止圖像的冗余情況一致時間冗余：人眼的視覺特點，25fps就可以認為連續(xù)。幀間預測：利用相鄰幀的時間相關性運動估值：對運動的物體，幀間的相關性降低，利用運動估值，可以減小預測的殘差。當前3頁，總共30頁。運動圖像編碼技術我們已經(jīng)講過了靜止圖像編碼，運動圖像既然是一幅幅靜止圖像在時間上的先后排列，因此可以簡單的將每一幅靜止圖像編碼組合起來，就形成了一個運動圖像的編碼。這樣的碼流還是很大，舉例來說，一幅300*200的圖像，用JPEG壓縮后要20KBytes。如果是30幀/秒的視頻，則會產生600KB/s=4.8Mb/s的碼流。這在網(wǎng)絡傳輸中還是無法接收的帶寬要求。為此，我們必須利用運動圖像在時間軸上的相關性，利用預測編碼的方法，而只傳輸余量信號，就可以減小信號的動態(tài)范圍，降低碼率。進行準確預測的基礎就是運動矢量估計，具體的編碼方法就是幀間預測編碼當前4頁，總共30頁。運動矢量估計當前5頁，總共30頁。塊匹配方法(1)按一般想法，應將運動物體和靜止背景分離，然后再對運動物理進行運動估計。如何分離？實際上，將圖像分塊，并認為每塊內像素具有同樣的運動矢量。在k幀中的一個塊，在k-1幀中尋找最相似的子塊，稱為匹配塊，進而得到運動矢量D當前幀中的子塊前一幀中的最佳匹配子塊前一幀中的搜索區(qū)域位移矢量當前6頁，總共30頁。塊匹配方法(2)搜索范圍是有限的，設兩幀間隔時間內，最大的水平和垂直位移是，則搜索范圍SR為如何判斷兩個子塊是否匹配？如何搜索計算量最?。孔訅K相似程度—歸一化的二維互相關函數(shù)，越大越相似。當前7頁，總共30頁。塊匹配方法(3)NCCF計算復雜，常用下面兩個計算簡單的值。幀間子塊亮度的均方差值MSE幀間子塊亮度的絕對值的均值MAD匹配準則的不同，對匹配精度影響不大，故常用沒有乘除法的MAD作為實用的匹配準則。當前8頁，總共30頁。匹配塊的搜索全搜索：在整個搜索區(qū)域逐個像素移動，每次都要計算MAD?？偟囊苿哟螖?shù)：快速搜索算法二維對數(shù)法三步法共軛方向法正交搜索法基于同一假設：當偏離最小誤差方向時，判決函數(shù)單調上升。即不存在局部最小值。當前9頁，總共30頁。三步法每步對中心和8個臨域點計算，而且臨域點和中心點的距離，隨著搜索步驟的增加而減小。右圖搜索3步，最終的匹配點是(i+2,j+6)2221121222211111133333333當前10頁，總共30頁。共軛方向法首先延水平方向搜索，計算中心點與左右兩點的判決值，找到最小點，并移動，直到中心點就是最小點。再延垂直方向進行搜索，直至找到最佳匹配點。91123445678當前11頁，總共30頁?？焖偎阉魉惴ū容^搜索方法所需搜索點數(shù)所需搜索步驟圖例最壞情況圖例最壞情況二維對數(shù)法182157三步法252533共軛方向法1215912正交搜索法131366對全搜索，若，需要搜索點數(shù)Q=169，而快速算法的搜索點數(shù)見下表。由于很多DSP能并行運算，因此減小搜索步驟比減小搜索點數(shù)更重要，同一步的不同點的判決函數(shù)值可以并行計算。

當前12頁，總共30頁。像素遞歸法(1)先將圖像中的運動部分與靜止部分分開，然后在運動區(qū)域內每個像素上以迭代的方式計算位移量經(jīng)位移后，相鄰兩幀圖像差值DFD(DisplacedFrameDifference)的平方通過迭代，得到最優(yōu)的Di，使得DFD最小。一般迭代方向沿著負梯度方向。當前13頁，總共30頁。像素遞歸法(2)迭代法示意圖DFD按什么范圍計算？一個像素還是整個運動區(qū)域？按像素計算的DFD函數(shù)圖，可能的問題按運動區(qū)域計算的函數(shù)圖與可能的問題當前14頁，總共30頁。兩種方法的比較塊匹配法不需要分離運動與靜止區(qū)域一個塊有一個運動矢量像素遞歸法需要分離運動與靜止區(qū)域逐個像素，或者逐個獨立運動的模塊進行遞歸運動矢量估計更準確對于一般的運動圖像，由于運動物體無規(guī)律，采用塊匹配法更合適；而對于那種大面積背景不變，而只是單個或個別物體運動的運動圖像，則更適合用像素遞歸法。當前15頁，總共30頁。半像素搜索為了提高運動矢量的精度，引入半像素搜索。在原先搜索到最小MAD的位置(i,j)上，再通過線形內插得到周圍8個半像素點。再在這9個點中尋找最終的匹配點。(i,j)當前16頁，總共30頁。具有運動補償?shù)膸g預測當前17頁，總共30頁。前向預測(1)前向預測：用k-1幀來預測k幀。不直接傳送當前幀像素，而是傳送同一位置的當前幀像素與前一幀像素的差值。對運動物體，這個差值很大，預測沒有起作用。如果已知運動物體的方向和速度，可從k-1幀的位置推出k幀中運動物體的位置，而背景而以k-1幀的背景代替。這種方法稱為具有運動補償?shù)膸g預測。k-1幀k幀k-1幀k幀X’X當前18頁，總共30頁。前向預測(2)基本步驟將圖像分割為運動物理和靜止背景，估計各運動物體的運動矢量。計算運動補償后的預測值傳送預測誤差，運動矢量以及對運動物體和靜止背景的分割的信息。事實上，將圖像分割為靜止區(qū)和不同的運動區(qū)域，是很困難的。一般來說，將圖像分塊，每塊都作為一個物體估算運動矢量，接收端按上面的方法可以恢復該塊數(shù)據(jù)。當前19頁，總共30頁。前向預測(3)問題：若同一塊中有兩個不同的運動物體，則運動矢量必然不準確，導致預測誤差增大。k-1與k幀中各子塊的相互關系1234567891011121312734561389101112K-1幀K幀也可以使用像素遞歸法得到每個像素的位移矢量。但是運算復雜，而且對于大面積的運動物體，像素遞歸法反而會由于噪聲的存在，導致同一物體的運動矢量不一致。因此實用中，常選用塊匹配算法。當前20頁，總共30頁。后向預測與雙向預測如果用k幀預測k-1幀的圖像，稱為后向預測為提高壓縮比，往往需要用前后兩幀來預測中間幀，稱為雙向預測。利用兩個運動矢量和預測值，進一步降低預測誤差。問題：會引入延時。K-1幀K幀K+1幀當前21頁，總共30頁。具有運動補償?shù)膸g內插當前22頁，總共30頁。幀間內插(1)在發(fā)送端每隔一段時間，丟掉一幀或幾幀圖像，在收端利用幀間相關性將丟掉的幀恢復，適用于低比特率傳輸，如可視電話。簡單的接收幀重復顯示。這樣動作會不連續(xù)。線形內插恢復丟失幀。ABC傳送幀丟棄幀傳送幀當前23頁，總共30頁。幀間內插(2)ABk-幀i幀k幀當存在運動物體時，簡單內插會引起圖像模糊，必須加入運動補償。相鄰兩幀比較，分為不變區(qū)域，變化區(qū)域變換區(qū)域又分為運動物體，由于運動而覆蓋的背景以及新暴露的背景。這4塊區(qū)域需要不同的處理方法。幀間內插要求運動矢量估計更準確，一般采用像素遞歸法。當前24頁，總共30頁。運動圖像編碼系統(tǒng)

典型的編碼器框圖

速率控制的反饋

編碼速率的范圍

當前25頁，總共30頁。典型的編碼器框圖DCT緩存熵編碼QDQIDCT運動估值參考幀存儲運動補償預測預處理++圖像復雜度分析速率控制視頻信號入運動矢量壓縮碼流編碼器-當前26頁，總共30頁。典型的解碼器框圖熵解碼DQIDCT幀存儲運動補償+運動矢量視頻信號壓縮碼流解碼器當前27頁，總共30頁。速度控制策略編碼器產生的碼流速率是變化的，為了適應恒定速率信道的要求，需要在編碼器和信道之間設置一個緩存器。緩存器的充滿程度與碼流速率和信道速率的差值有關。為了防止緩存器的溢出或清空，需要利用反饋機制去控制量化器的量化間隔來穩(wěn)定碼流。一般來說，運動較大時，預測后余量信號動態(tài)范圍較大，產生較多的碼流，通過反饋，使得量化間隔變大，碼率下降，但是圖像質量也相應的下降。因此我們看到同樣的情況下，運動劇烈的視頻質量，往往不如運動比較平穩(wěn)的視頻。當前28頁，總共30頁。速度控制的反饋模型基本思想是：根據(jù)信道速率，為每幀圖像規(guī)定好編碼的比特數(shù)，稱為目標比特分配；然后在編碼中，通過調整量化間隔，使編碼的實際比特數(shù)，接近其預分配值。目標比特分配：設Ti,Tp,Tb為三種幀的目標比特數(shù)，應和信道速率Rc匹配。若實際幀的編碼比特為Si,Sp,Sb，實際數(shù)據(jù)速率為Rc’。則將目標比特數(shù)更新為Tx=Sx*Rc/Rc’。碼率調整：量化間隔Q=Qmin+Buf/N，其中Qmin為量化間隔的下限，N為系數(shù)，Buf為緩沖器中數(shù)據(jù)量。Buf由下式更新：Buf+=SB-