H.264壓縮技術(shù)

1、H.264壓縮技術(shù)視頻編解碼基礎(chǔ)隨著人們對(duì)視頻質(zhì)量要求越來越高，視頻數(shù)據(jù)量也越來越大。如一部4K視頻(分辨率：3840*2160,最低幀率：25fps,24位真彩色)，在不經(jīng)過壓縮編碼的情況下，其一秒鐘的原始數(shù)據(jù)量：x25=593.27MB3840 x2160 x24bit1024x1024x8如此巨大的數(shù)據(jù)難以實(shí)際存儲(chǔ)和傳輸,而這就需要優(yōu)秀的壓縮編碼標(biāo)準(zhǔn)處理視頻數(shù)據(jù)。視頻數(shù)據(jù)包括信息(有用的數(shù)據(jù))和冗余(相同和重復(fù)的信息)兩部分。視頻編碼壓縮就是利用圖像統(tǒng)計(jì)特性去除視頻中大量冗余信息的過程?？臻g冗余：一幅圖像中往往存在著空間連貫性,相鄰像素值直接之間的相關(guān)性很強(qiáng),相鄰像素值之差的統(tǒng)計(jì)分布相當(dāng)

2、一部分集中在0附近。大量統(tǒng)計(jì)數(shù)據(jù)表明，對(duì)于灰度范圍為0255的圖像，差值信號(hào)的絕對(duì)值的80%90%落在020的范圍內(nèi)。時(shí)間冗余：一組連續(xù)的畫面之間往往存在著時(shí)間和空間的相關(guān)性，圖像在這段時(shí)間內(nèi)發(fā)生變化的可能性很小，變化的程度往往較小。d(i,j)二f(i,j)-f(i,j)kkk-1其中，f(i,j)表示第k幀(i,j)處的一個(gè)像素，f(i,j)表示第k-1幀和kk-1f(i,j)處于同一位置的像素。一般認(rèn)為，時(shí)域的差值信號(hào)分布特性和空域的差值k信號(hào)分布特征類似，也服從拉普拉斯分布。結(jié)構(gòu)冗余：在某些場(chǎng)景中，存在著明顯的圖像分布模式。這種分布模式稱為結(jié)構(gòu)。圖像中重復(fù)出現(xiàn)相同或相近的紋理結(jié)構(gòu)，可用

3、特定的過程來生成。視覺冗余：人眼對(duì)圖像的敏感性是非均勻和非線性的。對(duì)于圖像的一些細(xì)微變化查覺不到。忽略這些變化后，信號(hào)仍被認(rèn)為是完整的。視頻壓縮編碼主要兩類方法：一是基于圖像差值信號(hào)集中分布特點(diǎn)，進(jìn)行幀內(nèi)編碼、幀間編碼等；二是建立正交變換將分散分布的圖像數(shù)據(jù)，在變換域集中分布的基礎(chǔ)上進(jìn)行壓縮處理的變換編碼，如離散余弦變換、離散正弦變換等。通過預(yù)測(cè)編碼和變換編碼達(dá)到降低圖像原始空間域中存在的強(qiáng)相關(guān)性，使得預(yù)測(cè)和變換后的數(shù)據(jù)矩陣變成低相關(guān)性矩陣，這樣可以用量編碼化和熵編碼進(jìn)行有效的壓縮。最后，將各種編碼技術(shù)結(jié)合起來，充分利用各種技術(shù)的優(yōu)勢(shì)形成效率更高的混合編碼。H.264編碼結(jié)構(gòu)H.264標(biāo)準(zhǔn)是J

4、VT組織面向未來IP和無線環(huán)境，提出的新一代數(shù)字視頻編碼標(biāo)準(zhǔn)，以實(shí)現(xiàn)視頻的高壓縮比、高圖像質(zhì)量、良好的網(wǎng)絡(luò)適應(yīng)性為目標(biāo)。編碼框架如圖：在H.264編解碼標(biāo)準(zhǔn)中，圖像以序列為單位進(jìn)行組織。分為視頻序列層、GOP（圖像組）層、圖像層、宏塊組層和宏塊層。GOP（圖像組）層就包括由H.264標(biāo)準(zhǔn)定義的三個(gè)最主要類型幀：I幀、P幀和B幀。I幀：關(guān)鍵幀，編碼無需利用其它參考幀，僅進(jìn)行空間相關(guān)壓縮，壓縮率最低，但可將一幀畫面的完整保留。在一個(gè)GOP中，I幀作為編解碼的起始點(diǎn)，描述圖像背景和運(yùn)動(dòng)主體的詳情，可防止幀間預(yù)測(cè)誤差的積累。P幀：前向預(yù)測(cè)幀，利用視頻序列一個(gè)時(shí)間方向上的相關(guān)性進(jìn)行壓縮，表示這一幀與前一

5、個(gè)I幀（或P幀）的差別，可作為其它圖像編碼時(shí)的參考幀，壓縮率高于I幀。其采用運(yùn)動(dòng)補(bǔ)償?shù)姆椒▊魉退c前面的I或P幀的差值及運(yùn)動(dòng)矢量。B幀：雙向預(yù)測(cè)幀，利用視頻序列兩個(gè)時(shí)間方向上的相關(guān)性進(jìn)行壓縮，記錄本幀與前后幀的差別，壓縮率最高。B幀傳送的是它與前面的I幀或P幀和后面P幀之間的預(yù)測(cè)誤差和運(yùn)動(dòng)矢量，只反應(yīng)參考幀之間運(yùn)動(dòng)主體的變化情況，可以準(zhǔn)確預(yù)測(cè)。I、B、P幀編碼過程：編碼器編碼一個(gè)I幀，向前跳過幾幀，用編碼過的I幀作為參考幀對(duì)該幀進(jìn)行P幀編碼；然后跳回到I幀之后的一幀。編碼過的I幀和P幀之間的幀被編碼為B幀。以I幀、P幀和已編碼的B幀為參考幀。之后，編碼器會(huì)再次跳過幾個(gè)幀，使用第一個(gè)P幀作為參考

6、幀編碼另一個(gè)P幀，然后再次跳回，用B幀填充顯示序列中的空隙。如此循環(huán)往復(fù)，通常每1215個(gè)P幀和B幀之間插入一個(gè)新的I幀。下圖是I、B、P幀的編解碼順序。顯示順萍1PB13426預(yù)測(cè)編碼預(yù)測(cè)編碼分為線性預(yù)測(cè)和非線性預(yù)測(cè)兩類，在一幅圖像內(nèi)（幀內(nèi)預(yù)測(cè)）或多幅圖像間（幀間預(yù)測(cè)）進(jìn)行。用已傳輸?shù)南袼貙?duì)當(dāng)前正在編碼的像素進(jìn)行預(yù)測(cè)（以塊為單位進(jìn)行），預(yù)測(cè)后傳輸?shù)氖蔷幋a像素的預(yù)測(cè)值和真實(shí)值之差，即預(yù)測(cè)誤差或殘差。預(yù)測(cè)編碼的核心在于預(yù)測(cè)算法的選取。3.1幀內(nèi)預(yù)測(cè)H.264幀內(nèi)預(yù)測(cè)技術(shù)旨在消除圖像空間信息冗余度。引入基于空域的幀內(nèi)預(yù)測(cè)技術(shù),編碼以塊或宏塊為單位進(jìn)行，不同塊的預(yù)測(cè)模式不一定相同，同一塊中不同位置像

7、素所用的參考像素和預(yù)測(cè)系數(shù)也不一定相同。對(duì)于亮度像素，可以16*16的宏塊和4*4的子塊獨(dú)立進(jìn)行預(yù)測(cè)。4*4的子亮度塊有9種預(yù)測(cè)模式（不同的預(yù)測(cè)方向），用于對(duì)細(xì)節(jié)圖像預(yù)測(cè)；而16*16的亮度塊有4種預(yù)測(cè)模式（垂直預(yù)測(cè)、水平預(yù)測(cè)、DC預(yù)測(cè)及平面模式），用于對(duì)平坦區(qū)域進(jìn)行預(yù)測(cè)。與16*16亮度宏塊對(duì)應(yīng)的8*8色度塊，也有相應(yīng)的4種預(yù)測(cè)模式。亮度和色度的最佳幀內(nèi)預(yù)測(cè)模式是相互獨(dú)立的，色度最佳預(yù)測(cè)模式只需比較4種模式的代價(jià)，選擇最小代價(jià)模式。而亮度預(yù)測(cè)模式需經(jīng)過三個(gè)步驟：1）利用RDO（率失真優(yōu)化）模型計(jì)算得到代價(jià)最小的Intra4*4預(yù)測(cè)模式；2）利用SATD（絕對(duì)誤差變換和）計(jì)算得到代價(jià)最小的In

8、tral6*16預(yù)測(cè)模式;3）比較前兩步得到的代價(jià)，選擇代價(jià)最小的模式作為最近幀內(nèi)預(yù)測(cè)模式。3.2幀間預(yù)測(cè)幀間預(yù)測(cè)編碼主要利用視頻序列相鄰幀間的相關(guān)性，即消除時(shí)域冗余信息達(dá)到壓縮目的。幀間的相關(guān)性比幀內(nèi)更強(qiáng)，信息冗余度更高。一般針對(duì)已編碼視頻幀進(jìn)行基于塊的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)模式，采用的技術(shù)有運(yùn)動(dòng)補(bǔ)償和運(yùn)動(dòng)估計(jì)。預(yù)測(cè)方式有單向預(yù)測(cè)、雙向預(yù)測(cè)和多幀預(yù)測(cè)。x=0y=0首先H.264需要對(duì)視頻圖像進(jìn)行多模式的宏塊劃分，目的是將16*16的宏塊依據(jù)圖像特點(diǎn)進(jìn)一步分割為更小的塊(大尺寸分割用于平坦區(qū)域、小尺寸分割用于細(xì)節(jié)區(qū)域)。每個(gè)宏塊或子宏塊對(duì)應(yīng)一個(gè)運(yùn)動(dòng)矢量。如此，運(yùn)動(dòng)矢量和分割方式信息連同幀間預(yù)測(cè)殘差數(shù)據(jù)被

9、編碼、傳輸。然后，進(jìn)行高精度的運(yùn)動(dòng)估計(jì)。利用鄰近已編碼像素點(diǎn)進(jìn)行差值得出。運(yùn)動(dòng)估計(jì)就是尋找當(dāng)前編碼的塊在已編碼圖像(參考幀)中的最佳對(duì)應(yīng)塊，并計(jì)算對(duì)應(yīng)塊的偏移(運(yùn)動(dòng)矢量)?；趬K的運(yùn)動(dòng)估計(jì)將每幀分為若干小塊，搜索出每個(gè)圖像塊在鄰近幀圖像中的位置，并得出兩者之間空間位置的相對(duì)偏移量即運(yùn)動(dòng)矢量?；诰秸`差最小準(zhǔn)則表示的運(yùn)動(dòng)矢量v(i,j)為：v(i,j)TOC o 1-5 h z HYPERLINK l bookmark12 =argmin丄乞f(m,n)-f(m+i,n+j)1?N2kk1(i,j)N2m,n=0采用絕對(duì)誤差和的最小準(zhǔn)則表示的運(yùn)動(dòng)矢量v(i,j)為:v(i,j)j)1=argm

10、in藝f(m,n)f(m+i,n+kk1(i,j)m,n=0式中，f(m,n)表示當(dāng)前的圖像塊，f(m+i,n+j)表示前一幀中搜索相對(duì)kk1偏移為v(i,j)的一個(gè)搜索塊。對(duì)于匹配塊的搜索算法，有全局搜索算法和快速算法。應(yīng)用廣泛的是三步搜索算法。運(yùn)動(dòng)補(bǔ)償則是根據(jù)運(yùn)動(dòng)矢量和幀間預(yù)測(cè)方法，求得當(dāng)前幀的估計(jì)值的過程。旨在說明當(dāng)前圖像的每一塊像素如何由其參考圖像的像素塊得到。在得到運(yùn)動(dòng)矢量V=(v,v)時(shí)，利用該運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測(cè)，即用前一幀圖像在xy(xv,yv)處的亮度值f(xv,yv)對(duì)當(dāng)前編碼幀中(x,y)處的亮度值TOC o 1-5 h zxyk1xyf(x,y)進(jìn)行幀間預(yù)測(cè)，

11、預(yù)測(cè)值為/(x,y)=f(xv,yv)。所以，預(yù)測(cè)誤差為：kkk1xy八丿e(x,y)=f(x,y)f(x,y)=f(x,y)f(xv,yv)kkkk1xy變換與量化變換編碼通常是將空間域相關(guān)的像素點(diǎn)通過正交變換映射到另一個(gè)變換域上，然后再根據(jù)信號(hào)在另一個(gè)域上的特征對(duì)信號(hào)進(jìn)行編碼壓縮，使得變換后的系數(shù)之間的相關(guān)性降低。在變換域上需滿足：所有的系數(shù)相互獨(dú)立；能量集中于少數(shù)幾個(gè)系數(shù)上；這些系數(shù)集中于最小的區(qū)域內(nèi)。保留少數(shù)重要的系數(shù)就能很好地恢復(fù)出圖像(人眼覺察不出損失的系數(shù))。最常見的正交變換是DCT(離散余弦變換)，以N*N的二維圖像f(x,y)為例，二維DCT的正變換和反變換分別定義為：2訊戶

12、(2x+1)u兀(2y+1)vkTOC o 1-5 h z HYPERLINK l bookmark24 F(u,v)=c(u)c(v)f(x,y)coscosN2N2Nx=0y=0f(u,v)=Ac(u)c(v)藝為1F(x,y)coscos(2y+1網(wǎng) HYPERLINK l bookmark28 N2N2N1tU,V=0其中，c（）=J5。1U,V豐0在H.264編碼技術(shù)中，傳統(tǒng)的二維DCT由近似DCT的整數(shù)變換取代，并將變換的一部分乘法移到量化環(huán)節(jié)，使得浮點(diǎn)數(shù)運(yùn)算變?yōu)檎麛?shù)運(yùn)算，降低運(yùn)算量。量化可使數(shù)據(jù)比特率顯著下降。量化后的輸出值只需較少比特就能表示。在視頻編碼中，圖像經(jīng)預(yù)測(cè)、差分、正

13、交變換后，在熵編碼之前，對(duì)正交系數(shù)、差值、預(yù)測(cè)誤差進(jìn)行量化處理。但量化是圖像壓縮產(chǎn)生失真的根源之一。H.264的變換和量化的總體過程如下圖所示。編碼端，量化器將每個(gè)DCT變換系數(shù)F按照下式映射成量化值Fq:u,VFq=roundU,VFQ丿Fq為F的量化值,u,Vu,Vstep其中，F(xiàn)為殘差DCT系數(shù)輸入，Q為量化步長，U,Vstepround（）為取整函數(shù)，輸出為與輸入實(shí)數(shù)最近的整數(shù)。H.264量化器設(shè)計(jì)過程中，量化步長Q決定量化器的編碼壓縮率和圖像step精度。為體現(xiàn)殘差系數(shù)分布印象，在量化公式中引入量化偏移量制量化誤差。為支持高清視頻，H.264標(biāo)準(zhǔn)中又引入非一致性量化不同位置上的變換系

14、數(shù)量化步長不同，使得編碼圖像更適合人眼視覺。經(jīng)過量化后的系數(shù)殘差矩陣需進(jìn)行重新排列，并進(jìn)行游程編碼將重復(fù)且連續(xù)出現(xiàn)多次的字符使用（連續(xù)出現(xiàn)次數(shù)，某個(gè)字符）來描述。去塊效應(yīng)濾波器在H.264編碼過程中，對(duì)圖像進(jìn)行塊的劃分和DCT變換。這種分塊變換使得塊與塊之間的相關(guān)性被忽略，在對(duì)每塊的DCT系數(shù)進(jìn)行量化的時(shí)候，將DCT系數(shù)除以量化步長后取整，而由于不同圖像塊進(jìn)行了不同的量化處理，這樣就造成圖像塊之間的相關(guān)性被破壞H.264的運(yùn)動(dòng)補(bǔ)償更加劇了由變換量化導(dǎo)致的塊效應(yīng),尤其當(dāng)相鄰兩塊所采用的參考幀不同、運(yùn)動(dòng)矢量或參考?jí)K的差距過大時(shí)，塊邊界上產(chǎn)生的不連續(xù)性更加明顯。為了減輕和消除視頻圖像中的塊效應(yīng)，使用

15、去快效應(yīng)濾波器對(duì)塊邊界處的像素進(jìn)行濾波以平滑像素值的突變。H.264中的去塊效應(yīng)濾波器以16*16的宏塊為單位進(jìn)行，在宏塊內(nèi)部按照先橫后縱、先亮度后色度的順序，對(duì)每個(gè)4*4塊邊界進(jìn)行濾波處理。其過程又分為邊界分析和濾波運(yùn)算兩部分。邊界分析需要計(jì)算邊界強(qiáng)度和判斷真假邊界的問題。濾波運(yùn)算對(duì)象是4*4的塊邊界，先對(duì)垂直邊界進(jìn)行濾波，再對(duì)水平邊界進(jìn)行濾波。熵編碼熵編碼基于信號(hào)的統(tǒng)計(jì)特性進(jìn)行編碼，是一種無損編碼方法，解碼后能無失真地恢復(fù)原始圖像。其基本原理是給出現(xiàn)概率較大的符合分配一個(gè)短碼字，而給概率較小的符號(hào)一個(gè)長碼字，依此使得最終平均碼長很小。視頻編碼處理的最后一步就是熵編碼，在H.264中采用了兩

16、種不同的熵編碼方法：CAVLC和CABAC,用來對(duì)殘差系數(shù)進(jìn)行熵編碼。CAVLC(基于上下文自適應(yīng)的可變長編碼)被用于亮度和色度殘差數(shù)據(jù)編碼。編碼宏塊的參數(shù)經(jīng)過變換和量化后有如下特性：4*4殘差塊在變換量化后，非零系數(shù)主要集中在低頻部分，高頻部分大部分為零；DC系數(shù)附件的非零系數(shù)值較大，而高頻位置上的非零系數(shù)值有不少+1和-1；非零系數(shù)的幅值有一定規(guī)律性和相關(guān)性；相鄰的4*4塊的非零系數(shù)的數(shù)目是相關(guān)的。在CAVLC中，上下文模型的選擇主要體現(xiàn)在:對(duì)各類非零量化系數(shù)的大小，位置以獨(dú)立編碼；自適應(yīng)更新非零系數(shù)所需碼表與系數(shù)后綴長度。其編碼過程：對(duì)非零系數(shù)的數(shù)目以及拖尾系數(shù)的數(shù)目進(jìn)行編碼；對(duì)各拖尾系

17、數(shù)符號(hào)編碼；對(duì)拖尾系數(shù)之外的非零系數(shù)幅值進(jìn)行編碼；對(duì)最后一個(gè)非零系數(shù)前零的數(shù)目編碼；對(duì)每個(gè)非零系數(shù)前零的個(gè)數(shù)進(jìn)行編碼。CABAC(內(nèi)容自適應(yīng)的二進(jìn)制算術(shù)編碼)由自適應(yīng)的二進(jìn)制算術(shù)編碼和一個(gè)設(shè)計(jì)精良的上下文模型結(jié)合得到。其特點(diǎn)如下：CABAC提供了對(duì)當(dāng)前編碼的語法元素條件概率的估計(jì)，并為當(dāng)前編碼的語法元素選擇合適的上下文模型，基于此模型給出當(dāng)前語法元素與相關(guān)語法元素之間的條件概率，并根據(jù)該條件概率減少語法元素之間的冗余信息，提高壓縮效率。算術(shù)編碼為符號(hào)分配一個(gè)非整數(shù)長度的碼字，使得編碼長度更接近于符號(hào)的熵。對(duì)每個(gè)語法元素提供非靜態(tài)的統(tǒng)計(jì)模型。根據(jù)編碼內(nèi)容自適應(yīng)調(diào)整語法元素概率模型。CABAC編碼器結(jié)構(gòu)如上圖所示。上下文建模就是選擇合適的已編碼語法元素集，建立模型，用來估計(jì)當(dāng)前語法元素的條件概率。二值化，就是將一個(gè)給出的非二進(jìn)制值的語法元素唯一地映射到一個(gè)二進(jìn)制序列中。對(duì)本身就是二進(jìn)制值的語法元素，可略過這一步。概率建模，根據(jù)當(dāng)前編碼語法元素