運(yùn)動圖像的編碼一

運(yùn)動圖像的編碼一第一頁，共三十二頁，編輯于2023年，星期三運(yùn)動圖像的特點(diǎn)運(yùn)動圖像本質(zhì)上是連續(xù)的時(shí)間內(nèi)連續(xù)的場景變化，我們眼睛看到的實(shí)際事物就滿足這個(gè)要求。由于人眼的視覺特點(diǎn)，我們可以利用離散的時(shí)間點(diǎn)上一幅幅圖像來表示，而讓人產(chǎn)生同樣的視覺效果。這一幅幅圖像就是幀，就是時(shí)間離散化的結(jié)果。在一幀圖像中，我們可以從空間上分割為一個(gè)個(gè)像素，用單個(gè)像素來替代原來的若干模擬點(diǎn)，這就是空間離散化的結(jié)果。我們對于運(yùn)動圖像，就利用時(shí)間離散化和空間離散化產(chǎn)生的相關(guān)性，來進(jìn)行壓縮編碼第二頁，共三十二頁，編輯于2023年，星期三運(yùn)動圖像的冗余空間冗余：和靜止圖像的冗余情況一致時(shí)間冗余：人眼的視覺特點(diǎn)，25fps就可以認(rèn)為連續(xù)。幀間預(yù)測：利用相鄰幀的時(shí)間相關(guān)性運(yùn)動估值：對運(yùn)動的物體，幀間的相關(guān)性降低，利用運(yùn)動估值，可以減小預(yù)測的殘差。第三頁，共三十二頁，編輯于2023年，星期三運(yùn)動圖像編碼技術(shù)我們已經(jīng)講過了靜止圖像編碼，運(yùn)動圖像既然是一幅幅靜止圖像在時(shí)間上的先后排列，因此可以簡單的將每一幅靜止圖像編碼組合起來，就形成了一個(gè)運(yùn)動圖像的編碼。這樣的碼流還是很大，舉例來說，一幅300*200的圖像，用JPEG壓縮后要20KBytes。如果是30幀/秒的視頻，則會產(chǎn)生600KB/s=4.8Mb/s的碼流。這在網(wǎng)絡(luò)傳輸中還是無法接收的帶寬要求。為此，我們必須利用運(yùn)動圖像在時(shí)間軸上的相關(guān)性，利用預(yù)測編碼的方法，而只傳輸余量信號，就可以減小信號的動態(tài)范圍，降低碼率。進(jìn)行準(zhǔn)確預(yù)測的基礎(chǔ)就是運(yùn)動矢量估計(jì)，具體的編碼方法就是幀間預(yù)測編碼第四頁，共三十二頁，編輯于2023年，星期三運(yùn)動矢量估計(jì)第五頁，共三十二頁，編輯于2023年，星期三塊匹配方法(1)按一般想法，應(yīng)將運(yùn)動物體和靜止背景分離，然后再對運(yùn)動物理進(jìn)行運(yùn)動估計(jì)。如何分離？實(shí)際上，將圖像分塊，并認(rèn)為每塊內(nèi)像素具有同樣的運(yùn)動矢量。在k幀中的一個(gè)塊，在k-1幀中尋找最相似的子塊，稱為匹配塊，進(jìn)而得到運(yùn)動矢量D當(dāng)前幀中的子塊前一幀中的最佳匹配子塊前一幀中的搜索區(qū)域位移矢量第六頁，共三十二頁，編輯于2023年，星期三塊匹配方法(2)搜索范圍是有限的，設(shè)兩幀間隔時(shí)間內(nèi)，最大的水平和垂直位移是，則搜索范圍SR為如何判斷兩個(gè)子塊是否匹配？如何搜索計(jì)算量最小？子塊相似程度—?dú)w一化的二維互相關(guān)函數(shù)，越大越相似。第七頁，共三十二頁，編輯于2023年，星期三塊匹配方法(3)NCCF計(jì)算復(fù)雜，常用下面兩個(gè)計(jì)算簡單的值。幀間子塊亮度的均方差值MSE幀間子塊亮度的絕對值的均值MAD匹配準(zhǔn)則的不同，對匹配精度影響不大，故常用沒有乘除法的MAD作為實(shí)用的匹配準(zhǔn)則。第八頁，共三十二頁，編輯于2023年，星期三匹配塊的搜索全搜索：在整個(gè)搜索區(qū)域逐個(gè)像素移動，每次都要計(jì)算MAD?？偟囊苿哟螖?shù)：快速搜索算法二維對數(shù)法三步法共軛方向法正交搜索法基于同一假設(shè)：當(dāng)偏離最小誤差方向時(shí)，判決函數(shù)單調(diào)上升。即不存在局部最小值。第九頁，共三十二頁，編輯于2023年，星期三三步法每步對中心和8個(gè)臨域點(diǎn)計(jì)算，而且臨域點(diǎn)和中心點(diǎn)的距離，隨著搜索步驟的增加而減小。右圖搜索3步，最終的匹配點(diǎn)是(i+2,j+6)2221121222211111133333333第十頁，共三十二頁，編輯于2023年，星期三共軛方向法首先延水平方向搜索，計(jì)算中心點(diǎn)與左右兩點(diǎn)的判決值，找到最小點(diǎn)，并移動，直到中心點(diǎn)就是最小點(diǎn)。再延垂直方向進(jìn)行搜索，直至找到最佳匹配點(diǎn)。91123445678第十一頁，共三十二頁，編輯于2023年，星期三快速搜索算法比較搜索方法所需搜索點(diǎn)數(shù)所需搜索步驟圖例最壞情況圖例最壞情況二維對數(shù)法182157三步法252533共軛方向法1215912正交搜索法131366對全搜索，若，需要搜索點(diǎn)數(shù)Q=169，而快速算法的搜索點(diǎn)數(shù)見下表。由于很多DSP能并行運(yùn)算，因此減小搜索步驟比減小搜索點(diǎn)數(shù)更重要，同一步的不同點(diǎn)的判決函數(shù)值可以并行計(jì)算。

第十二頁，共三十二頁，編輯于2023年，星期三像素遞歸法(1)先將圖像中的運(yùn)動部分與靜止部分分開，然后在運(yùn)動區(qū)域內(nèi)每個(gè)像素上以迭代的方式計(jì)算位移量經(jīng)位移后，相鄰兩幀圖像差值DFD(DisplacedFrameDifference)的平方通過迭代，得到最優(yōu)的Di，使得DFD最小。一般迭代方向沿著負(fù)梯度方向。第十三頁，共三十二頁，編輯于2023年，星期三像素遞歸法(2)迭代法示意圖DFD按什么范圍計(jì)算？一個(gè)像素還是整個(gè)運(yùn)動區(qū)域？按像素計(jì)算的DFD函數(shù)圖，可能的問題按運(yùn)動區(qū)域計(jì)算的函數(shù)圖與可能的問題第十四頁，共三十二頁，編輯于2023年，星期三兩種方法的比較塊匹配法不需要分離運(yùn)動與靜止區(qū)域一個(gè)塊有一個(gè)運(yùn)動矢量像素遞歸法需要分離運(yùn)動與靜止區(qū)域逐個(gè)像素，或者逐個(gè)獨(dú)立運(yùn)動的模塊進(jìn)行遞歸運(yùn)動矢量估計(jì)更準(zhǔn)確對于一般的運(yùn)動圖像，由于運(yùn)動物體無規(guī)律，采用塊匹配法更合適；而對于那種大面積背景不變，而只是單個(gè)或個(gè)別物體運(yùn)動的運(yùn)動圖像，則更適合用像素遞歸法。第十五頁，共三十二頁，編輯于2023年，星期三半像素搜索為了提高運(yùn)動矢量的精度，引入半像素搜索。在原先搜索到最小MAD的位置(i,j)上，再通過線形內(nèi)插得到周圍8個(gè)半像素點(diǎn)。再在這9個(gè)點(diǎn)中尋找最終的匹配點(diǎn)。(i,j)第十六頁，共三十二頁，編輯于2023年，星期三具有運(yùn)動補(bǔ)償?shù)膸g預(yù)測第十七頁，共三十二頁，編輯于2023年，星期三前向預(yù)測(1)前向預(yù)測：用k-1幀來預(yù)測k幀。不直接傳送當(dāng)前幀像素，而是傳送同一位置的當(dāng)前幀像素與前一幀像素的差值。對運(yùn)動物體，這個(gè)差值很大，預(yù)測沒有起作用。如果已知運(yùn)動物體的方向和速度，可從k-1幀的位置推出k幀中運(yùn)動物體的位置，而背景而以k-1幀的背景代替。這種方法稱為具有運(yùn)動補(bǔ)償?shù)膸g預(yù)測。k-1幀k幀k-1幀k幀X’X第十八頁，共三十二頁，編輯于2023年，星期三前向預(yù)測(2)基本步驟將圖像分割為運(yùn)動物理和靜止背景，估計(jì)各運(yùn)動物體的運(yùn)動矢量。計(jì)算運(yùn)動補(bǔ)償后的預(yù)測值傳送預(yù)測誤差，運(yùn)動矢量以及對運(yùn)動物體和靜止背景的分割的信息。事實(shí)上，將圖像分割為靜止區(qū)和不同的運(yùn)動區(qū)域，是很困難的。一般來說，將圖像分塊，每塊都作為一個(gè)物體估算運(yùn)動矢量，接收端按上面的方法可以恢復(fù)該塊數(shù)據(jù)。第十九頁，共三十二頁，編輯于2023年，星期三前向預(yù)測(3)問題：若同一塊中有兩個(gè)不同的運(yùn)動物體，則運(yùn)動矢量必然不準(zhǔn)確，導(dǎo)致預(yù)測誤差增大。k-1與k幀中各子塊的相互關(guān)系1234567891011121312734561389101112K-1幀K幀也可以使用像素遞歸法得到每個(gè)像素的位移矢量。但是運(yùn)算復(fù)雜，而且對于大面積的運(yùn)動物體，像素遞歸法反而會由于噪聲的存在，導(dǎo)致同一物體的運(yùn)動矢量不一致。因此實(shí)用中，常選用塊匹配算法。第二十頁，共三十二頁，編輯于2023年，星期三后向預(yù)測與雙向預(yù)測如果用k幀預(yù)測k-1幀的圖像，稱為后向預(yù)測為提高壓縮比，往往需要用前后兩幀來預(yù)測中間幀，稱為雙向預(yù)測。利用兩個(gè)運(yùn)動矢量和預(yù)測值，進(jìn)一步降低預(yù)測誤差。問題：會引入延時(shí)。K-1幀K幀K+1幀第二十一頁，共三十二頁，編輯于2023年，星期三具有運(yùn)動補(bǔ)償?shù)膸g內(nèi)插第二十二頁，共三十二頁，編輯于2023年，星期三幀間內(nèi)插(1)在發(fā)送端每隔一段時(shí)間，丟掉一幀或幾幀圖像，在收端利用幀間相關(guān)性將丟掉的幀恢復(fù)，適用于低比特率傳輸，如可視電話。簡單的接收幀重復(fù)顯示。這樣動作會不連續(xù)。線形內(nèi)插恢復(fù)丟失幀。ABC傳送幀丟棄幀傳送幀第二十三頁，共三十二頁，編輯于2023年，星期三幀間內(nèi)插(2)ABk-幀i幀k幀當(dāng)存在運(yùn)動物體時(shí)，簡單內(nèi)插會引起圖像模糊，必須加入運(yùn)動補(bǔ)償。相鄰兩幀比較，分為不變區(qū)域，變化區(qū)域變換區(qū)域又分為運(yùn)動物體，由于運(yùn)動而覆蓋的背景以及新暴露的背景。這4塊區(qū)域需要不同的處理方法。幀間內(nèi)插要求運(yùn)動矢量估計(jì)更準(zhǔn)確，一般采用像素遞歸法。第二十四頁，共三十二頁，編輯于2023年，星期三運(yùn)動圖像編碼系統(tǒng)

典型的編碼器框圖

速率控制的反饋

編碼速率的范圍

第二十五頁，共三十二頁，編輯于2023年，星期三典型的編碼器框圖DCT緩存熵編碼QDQIDCT運(yùn)動估值參考幀存儲運(yùn)動補(bǔ)償預(yù)測預(yù)處理++圖像復(fù)雜度分析速率控制視頻信號入運(yùn)動矢量壓縮碼流編碼器-第二十六頁，共三十二頁，編輯于2023年，星期三典型的解碼器框圖熵解碼DQIDCT幀存儲運(yùn)動補(bǔ)償+運(yùn)動矢量視頻信號壓縮碼流解碼器第二十七頁，共三十二頁，編輯于2023年，星期三速度控制策略編碼器產(chǎn)生的碼流速率是變化的，為了適應(yīng)恒定速率信道的要求，需要在編碼器和信道之間設(shè)置一個(gè)緩存器。緩存器的充滿程度與碼流速率和信道速率的差值有關(guān)。為了防止緩存器的溢出或清空，需要利用反饋機(jī)制去控制量化器的量化間隔來穩(wěn)定碼流。一般來說，運(yùn)動較大時(shí)，預(yù)測后余量信號動態(tài)范圍較大，產(chǎn)生較多的碼流，通過反饋，使得量化間隔變大，碼率下降，但是圖像質(zhì)量也相應(yīng)的下降。因此我們看到同樣的情況下，運(yùn)動劇烈的視頻質(zhì)量，往往不如運(yùn)動比較平穩(wěn)的視頻。第二十八頁，共三十二頁，編輯于2023年，星期三速度控制的反饋模型基本思想是：根據(jù)信道速率，為每幀圖像規(guī)定好編碼的比特?cái)?shù)，稱為目標(biāo)比特分配；然后在編碼中，通過調(diào)整量化間隔，使編碼的實(shí)際比特?cái)?shù)，接近其預(yù)分配值。目標(biāo)比特分配：設(shè)Ti,Tp,Tb為三種幀的目標(biāo)比特?cái)?shù)，應(yīng)和信道速率Rc匹配。若實(shí)際幀的編碼比特為Si,Sp,Sb，實(shí)際數(shù)據(jù)速率為Rc’。則將目標(biāo)比特?cái)?shù)更新為Tx=Sx*Rc/Rc’。碼率調(diào)整：量化間隔Q=Qmin+Buf/N，其中Qmin為量化間隔的下限，N為系數(shù)，Buf為緩沖器中數(shù)據(jù)量。Buf由下式更新：Buf+=SB-NB。其中SB為實(shí)際的編碼比特?cái)?shù)，NB為目標(biāo)比特?cái)?shù)。第二十九頁，共三十二頁，編輯于2023年，星期三編碼器碼流的速度范圍盡管從一段時(shí)間平均的來看，編碼器通過速率控制使其輸出碼流的速率保持恒定，但是對每一幀圖像而言，編碼后的數(shù)據(jù)量并不相同。對于恒定速率信道而言，每個(gè)已編碼幀的數(shù)據(jù)量的變動不應(yīng)超過一定的范圍。我們利用VBV(VideoBufferVerifier)模型來進(jìn)行描述第三十頁，共三十二頁，編輯于2023年，星期三VBV模型（1）VBV是一個(gè)假想的解碼器，在解碼器前有個(gè)容量為B的緩存器。右圖表示隨著時(shí)間的推移，緩存器中數(shù)據(jù)量的變化。其中tn表示幀的采樣時(shí)刻，dn表示一幀圖像的數(shù)據(jù)，Bn表示緩存器中的剩余數(shù)據(jù)。0Bttn+1tnt1d1Bn+1BnB1dndn+1BFVBV-delay解碼器B第三十一頁，共三十二頁，編輯于2023年，星期三VBV模型（2）若tn時(shí)刻剩余量為Bn，為了保證有足夠數(shù)據(jù)提供給tn+1時(shí)刻作解碼，要求Bn+Rc/fr>=dn+1，其中fr為幀