數(shù)據(jù)預(yù)測(cè)編碼3

第五章預(yù)測(cè)編碼5.4

靜止圖像的預(yù)測(cè)編碼經(jīng)過(guò)統(tǒng)計(jì)，認(rèn)為人們獲取的信息的70％來(lái)自視覺(jué)系統(tǒng)。分類(lèi)從表面形態(tài)上看：靜止圖像活動(dòng)圖像(運(yùn)動(dòng)圖像,序列圖像)按描述方法的不同：矢量圖像(圖形,graphics)點(diǎn)陣圖像(位圖圖像,圖像,image)圖像數(shù)字化之后的數(shù)據(jù)量非常大，傳輸時(shí)很費(fèi)時(shí)間，存儲(chǔ)時(shí)很占空間，故必須對(duì)圖像數(shù)據(jù)進(jìn)行壓縮。幀內(nèi)預(yù)測(cè)器的設(shè)計(jì)預(yù)測(cè)編碼時(shí):利用多個(gè)像素進(jìn)行預(yù)測(cè)①一維預(yù)測(cè):利用處于同一行的因果樣值來(lái)預(yù)測(cè);②二維預(yù)測(cè):不但利用同一掃描行的幾個(gè)因果樣值,

還利用以前幾行的取樣值;③三維預(yù)測(cè):不但利用本行的因果樣值前幾行的相

鄰取樣值，還要利用相鄰幾幀(或不

同波段)上的取樣值。圖像信號(hào):垂直方向相關(guān)水平方向相關(guān)實(shí)用中：預(yù)測(cè)器階數(shù)不宜過(guò)高及盡量減少乘法運(yùn)

算，可采用4個(gè)最鄰近像素進(jìn)行預(yù)測(cè)：圖像中當(dāng)前像素S0和鄰近像素S1,

S2,…,的關(guān)系:S6S0S1S5S3S2S4S7前一行當(dāng)前行圖5.7像素S0的鄰近像素(5.4-1)幀內(nèi)預(yù)測(cè)器的設(shè)計(jì)1個(gè)取樣的延遲S11行的延遲S21行加1個(gè)的延遲S31行減1個(gè)的延遲S4

a1

a2

a3

a4

加法器

圖5.8

4階幀內(nèi)預(yù)測(cè)器的實(shí)現(xiàn)結(jié)構(gòu)因此，此4像素(4階)預(yù)測(cè)器結(jié)構(gòu)如圖5.8所示:幀內(nèi)預(yù)測(cè)器的設(shè)計(jì)理論上,不同的圖像其特點(diǎn)和相關(guān)系數(shù)不同,從而對(duì)應(yīng)于不同的最佳預(yù)測(cè)系數(shù)。實(shí)用中,不便對(duì)不同圖像逐一計(jì)算最佳系數(shù)，而是取它們的某種均值，并將恢復(fù)圖像的實(shí)際效果(有損壓縮)或誤差信號(hào)的熵值(無(wú)損壓縮熵)作為重要依據(jù)。幀內(nèi)預(yù)測(cè)器的設(shè)計(jì)誤差熵最小意義下的預(yù)測(cè)器最佳設(shè)計(jì)預(yù)測(cè)誤差信號(hào)e的概率分布曲線可用拉普拉斯(Laplace)分布來(lái)近似,即式中σe為差值信號(hào)的e的均方根值，而預(yù)測(cè)越準(zhǔn)，σe也越低,σe越小曲線越尖銳，表明e的分布在零附近，所需編碼長(zhǎng)度也越短，編碼率也可以越低。幀內(nèi)預(yù)測(cè)器的設(shè)計(jì)(5.4-2)

JPEG的無(wú)損壓縮模式發(fā)展:1986年底,ISO和前CCITT成立“聯(lián)合圖片專(zhuān)家組”(JPEG:JointPhotographicExpertGroup),研究靜止圖像壓縮算法的標(biāo)準(zhǔn)化;1992年,正式完成了用于各種分辨率和格式的連續(xù)色調(diào)圖像的ISO/IEC10918標(biāo)準(zhǔn)(ITU-TT.81建議),簡(jiǎn)稱JPEG標(biāo)準(zhǔn)。JPEG標(biāo)準(zhǔn)有損壓縮系統(tǒng)(采用變換編碼)；無(wú)損壓縮系統(tǒng)(采用空間域的無(wú)量化DPCM、對(duì)預(yù)測(cè)誤差進(jìn)行Huffman編碼或算術(shù)編碼)。JPEG是一個(gè)適用范圍很廣的靜態(tài)圖像數(shù)據(jù)壓縮標(biāo)準(zhǔn)，既可用于灰度圖像又可用于彩色圖像。

JPEG的無(wú)損壓縮模式JPEG有損壓縮系統(tǒng)：在壓縮比為25:1的情況下，壓縮后還原得到的圖像與原始圖像相比較，非圖像專(zhuān)家難于找出它們之間的區(qū)別，因此得到了廣泛的應(yīng)用。為了在保證圖像質(zhì)量的前提下進(jìn)一步提高壓縮比，2000年JPEG專(zhuān)家組制定了JPEG2000(簡(jiǎn)稱JP2000)標(biāo)準(zhǔn)，以作為JPGE的后繼者。

JPEG的無(wú)損壓縮模式選擇值a1

a2a3a4預(yù)測(cè)值說(shuō)明0非預(yù)測(cè)僅用于分層模型的差分編碼11000S1前值預(yù)測(cè)，用于第1行20100S2前行預(yù)測(cè),用于第1列(除了第1行)30010S3一維預(yù)測(cè)411-10S1+S2-S3二維預(yù)測(cè)511/2-1/20S1+((S2-S3)/2)二維預(yù)測(cè)61/21-1/20S2+((S1-S3)/2)二維預(yù)測(cè)71/21/200(S1+S2)/2二維預(yù)測(cè)表5.2JPEG無(wú)失真編碼所用的預(yù)測(cè)器JPEG無(wú)損壓縮系統(tǒng)：預(yù)測(cè)器只考慮圖5.7中S1、S2、

S3三個(gè)鄰域像素，預(yù)測(cè)方程如式(5.4-1),預(yù)測(cè)系數(shù)則可從表5.2中的8種簡(jiǎn)單線性組合方案中選擇。

JPEG的無(wú)損壓縮模式JPEG-LS壓縮標(biāo)準(zhǔn)JPEG無(wú)損壓縮模式：簡(jiǎn)單快速，但壓縮比難以滿足使用要求；只有所有都嘗試一遍，才能從8種壓縮模式中選出

合適的模式，對(duì)大尺寸的圖像難以實(shí)時(shí)壓縮；無(wú)失真的要求使得可供選擇的壓縮方法和技術(shù)受

到極大的限制。JPEG組織從1994年開(kāi)始征集新的無(wú)損/近無(wú)損壓縮(簡(jiǎn)稱JPEG-LS標(biāo)準(zhǔn))算法提案,并于1998年2月作為ITU-T建議T.87(草案)|國(guó)際標(biāo)準(zhǔn)ISO/IEC14495-1正式公布與JPEG無(wú)損壓縮的不同:JPEG-LS編碼系統(tǒng)如圖5.9所示:圖5.9JPEG-LS編碼器簡(jiǎn)化框圖基于上下文的建模；游程編碼；誤差可以控制的近似無(wú)損壓縮。JPEG-LS壓縮標(biāo)準(zhǔn)實(shí)現(xiàn)步驟：①基于上下文的建模②預(yù)測(cè)③常規(guī)模式的誤差編碼④游程編碼模式JPEG-LS壓縮標(biāo)準(zhǔn)5.5活動(dòng)圖像的預(yù)測(cè)編碼電視畫(huà)面(包括廣播電視、會(huì)議電視、可視電話、

電視監(jiān)控)和各種動(dòng)態(tài)醫(yī)學(xué)影像等。視頻編碼：對(duì)活動(dòng)圖像的數(shù)據(jù)壓縮。常見(jiàn)的活動(dòng)圖像(序列圖像):我國(guó)的彩色電視制式采用PAL-D(PhaseAlternationLine,逐行倒相),為了能與黑白電視兼容,把R、G、B信號(hào)變成Y(亮度)、U、V信號(hào)(U、V為色差信號(hào),即指基色信號(hào)中的R、G、B與亮度信號(hào)之差)；1982年2月，CCIR(InternationalRadioConsultativeCommittee,現(xiàn)為ITU-R)的601建議(“演播室數(shù)字電視的編碼參數(shù)”),將R、G、B信號(hào)變成Y(亮度)、CB、CR信號(hào)(CB、CR為色差信號(hào))。

電視圖像的數(shù)字化格式(5.5-1b)(5.5-1a)R、G、B信號(hào)變成Y、CB、CR信號(hào)的變換規(guī)則:Y、CB、CR

信號(hào)變成R、G、B信號(hào)的變換規(guī)則:

電視圖像的數(shù)字化格式彩色電視信號(hào)的數(shù)字化格式CCIR601規(guī)定對(duì)彩色電視信號(hào)的亮度和色差分別進(jìn)行編碼,稱為分量編碼或分離編碼(圖5.10)。圖5.10分量編碼原理框圖

電視圖像的數(shù)字化格式

電視圖像信號(hào)的冗余度空間相關(guān)性(幀內(nèi)相關(guān)性):

幀內(nèi)編碼—利用圖像幀內(nèi)相關(guān)性進(jìn)行壓縮編碼;時(shí)間相關(guān)性(幀間相關(guān)性):

幀間編碼—利用序列圖像在時(shí)間方向的相關(guān)性

而進(jìn)行的壓縮編碼；色度空間表示上的相關(guān)性電視信號(hào)的冗余度：幀間編碼的基本依據(jù)：著重利用的是電視圖像信號(hào)中典型景物(Scene)的時(shí)間冗余度，最特殊的例子是電視中演講人片段的幀間差值(FD:Framedifference)統(tǒng)計(jì)特性,根據(jù)統(tǒng)計(jì),幀間差值一般不大:對(duì)于變化緩慢的圖像序列（256級(jí)灰度圖像序列）: 幀間差值超過(guò)3的像素?cái)?shù)不超過(guò)4%;對(duì)于變化較為劇烈的圖像序列（彩色電視圖像序列）: 對(duì)于亮度信號(hào),幀間差值超過(guò)6的像素?cái)?shù)平均

只有7.5%;而對(duì)于色度信號(hào)平均只有7.5‰。

電視圖像信號(hào)的冗余度

人的視覺(jué)感知特性彩色電視信號(hào)數(shù)碼率寫(xiě)為電視幀頻fZ與每幀的總像素?cái)?shù)P的乘積)：r=Ｐ(Y)

fZ

R+Ｐ(Cr)

fZ

R+Ｐ(Cb)

fZ

R=[Ｐ(Y)+Ｐ(Cr)+Ｐ(Cb)]

fZ

R(5.5-4)

P(

):可理解為圖像的細(xì)節(jié)或空間(Spatial)分辨率;

R:可以理解為圖像的灰度(Gray-level)或色彩層次分辨率;

fZ:可理解為圖像的運(yùn)動(dòng)或時(shí)間(Temporal)分辨率。研究表明:細(xì)節(jié)、運(yùn)動(dòng)及灰度等三個(gè)分辨參數(shù)實(shí)質(zhì)上是互相依賴的。亮度掩蔽特性

在背景較亮或較暗時(shí),人眼對(duì)亮度不敏感的特性;空間掩蔽特性

指隨著空間變化頻率的提高,人眼對(duì)細(xì)節(jié)分辨能力 下降的特性;時(shí)間掩蔽特性

指隨著時(shí)間變化頻率的提高,人眼對(duì)細(xì)節(jié)分辨能力

的下降的特性。人的視覺(jué)系統(tǒng)(HVS:HumanVisualSystem)特性:

人的視覺(jué)感知特性利用HVS的生理特性，適當(dāng)降低對(duì)某些參數(shù)的分辨要求，可望進(jìn)一步降低數(shù)碼率。利用HVS特性進(jìn)行數(shù)據(jù)壓縮，并未涉及到信號(hào)內(nèi)在的相關(guān)性，稱為非相關(guān)壓縮或視覺(jué)生理-心理壓縮。

人的視覺(jué)感知特性非相關(guān)壓縮的幾個(gè)措施：①P~R轉(zhuǎn)換(空間-灰度分辨率轉(zhuǎn)換):②P~fZ

轉(zhuǎn)換(空間-時(shí)間分辨率轉(zhuǎn)換):③R~fZ

轉(zhuǎn)換(灰度-時(shí)間分辨率轉(zhuǎn)換):④利用視覺(jué)特性降低對(duì)色信號(hào)的帶寬及取樣率:一個(gè)優(yōu)秀的電視圖像編碼器,應(yīng)能夠充分利用上述主觀視覺(jué)約束,自適應(yīng)地按圖像的局部特性最佳地調(diào)整這3個(gè)分辨參數(shù)到“夠用，但不浪費(fèi)”的程度。

人的視覺(jué)感知特性實(shí)現(xiàn)過(guò)程舉例：運(yùn)動(dòng)檢測(cè)運(yùn)動(dòng)時(shí)幀頻增加靜止時(shí)重發(fā)前一幀邊緣檢測(cè)輪廓部分增加采樣率，降低量化位數(shù)平坦部分降低采樣率，增加量化位數(shù)

人的視覺(jué)感知特性幀間預(yù)測(cè)編碼幀間預(yù)測(cè)編碼技術(shù)的發(fā)展過(guò)程DPCM算法簡(jiǎn)單，易于硬件實(shí)現(xiàn)，因而在圖像特別是電視信號(hào)的壓縮編碼過(guò)程中得到較多的應(yīng)用。1958年,Graham用計(jì)算機(jī)模擬了圖像的DPCM編碼方法；1966年,J.B.O’Neal對(duì)電視圖像的預(yù)測(cè)編碼進(jìn)行了分析和模擬;1969年,Mounts等人首先提出在電視圖像編碼中采用幀間預(yù)測(cè)的條件幀修補(bǔ)法(CFR);1970年代初,Haskell重點(diǎn)考慮了采用CFR法的幀內(nèi)/幀間復(fù)合預(yù)測(cè)模式;1980年代初,開(kāi)始對(duì)運(yùn)動(dòng)補(bǔ)償(MC)預(yù)測(cè)所用的運(yùn)動(dòng)估值技術(shù)進(jìn)行研究;1988年形成草案,1990年通過(guò)的ITU-TH.261建議,標(biāo)志著“簡(jiǎn)單幀間預(yù)測(cè)+MC(或有條件地切換為幀內(nèi)編碼)+DCT”的幀間編碼主體技術(shù)框架迅速走向?qū)嵱?1990年代初相繼提出的MPEG-1、MPEG-2和H.263等視頻標(biāo)準(zhǔn),都是在H.261的幀間編碼主體技術(shù)框架的基礎(chǔ)上發(fā)展和改進(jìn)的。幀間預(yù)測(cè)編碼電視圖像的典型景物特點(diǎn)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)建立在對(duì)電視圖像運(yùn)動(dòng)景物分析的基礎(chǔ)上。可視電話圖像序列：①背景區(qū)②運(yùn)動(dòng)物體區(qū)③暴露區(qū)第τ

幀第τ-1幀背景區(qū)暴露區(qū)運(yùn)動(dòng)物體位移

dx圖5.12可視電話的典型景物示意這3類(lèi)區(qū)域都存在幀間相關(guān)性，都可以作為壓縮編碼的依據(jù)。幀間預(yù)測(cè)編碼會(huì)議電視圖像序列可類(lèi)比可視電話的3類(lèi)區(qū)域劃分；廣播電視圖像則靈活多變，可以看成上述幾類(lèi)各有特點(diǎn)的序列圖像的復(fù)雜組合，總有一定程度的幀間相關(guān)性可利用。幀間預(yù)測(cè)編碼運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)運(yùn)動(dòng)補(bǔ)償幀間預(yù)測(cè)編碼是目前廣為應(yīng)用的H.261、H.263和MPEG-1、MPEG-2等視頻壓縮國(guó)際標(biāo)準(zhǔn)的主體框架，是當(dāng)前最實(shí)用的高效混合編碼方法，編碼器框圖如圖5.13所是示。幀間預(yù)測(cè)編碼圖5.13運(yùn)動(dòng)補(bǔ)償幀間預(yù)測(cè)編碼器框圖幀間預(yù)測(cè)編碼運(yùn)動(dòng)補(bǔ)償幀間預(yù)測(cè)的技術(shù)組成主要有:①圖像分割:

把圖像劃分為靜止和運(yùn)動(dòng)的兩個(gè)部分;②運(yùn)動(dòng)估值:

估計(jì)物體的位移值,得到運(yùn)動(dòng)矢量;運(yùn)動(dòng)補(bǔ)償:

用運(yùn)動(dòng)矢量補(bǔ)償(或抵消)物體的運(yùn)動(dòng)效果,

再進(jìn)行預(yù)測(cè);④預(yù)測(cè)信息編碼:

包括幀間預(yù)測(cè)誤差和運(yùn)動(dòng)矢量。幀間預(yù)測(cè)編碼把圖像分為矩形子圖像或子塊,適當(dāng)選擇塊的

大小,把子塊分為動(dòng)和不動(dòng)兩種,估計(jì)出運(yùn)動(dòng)子

塊的位移,進(jìn)行預(yù)測(cè)傳輸;對(duì)每個(gè)像素的位移都進(jìn)行遞歸估計(jì)。圖像分割是運(yùn)動(dòng)補(bǔ)償?shù)幕A(chǔ),通常采用兩種較簡(jiǎn)單的方法:對(duì)運(yùn)動(dòng)子塊的估計(jì)或者說(shuō)運(yùn)動(dòng)估值的問(wèn)題，成為必須解決的關(guān)鍵技術(shù)。當(dāng)對(duì)圖像的分割作了必要的簡(jiǎn)化后幀間預(yù)測(cè)編碼活動(dòng)圖像的運(yùn)動(dòng)估值活動(dòng)圖像編碼所關(guān)心的：被攝物體與攝象機(jī)之間相對(duì)運(yùn)動(dòng)所造成的物體的像的二維運(yùn)動(dòng)，和估計(jì)該二維運(yùn)動(dòng)的有效方法。本書(shū)只介紹空間域進(jìn)行的運(yùn)動(dòng)估值。兩種常用方法：像素遞歸法塊匹配法像素遞歸法PRA(PixelRecursiveAlgorithm)基本思想:對(duì)當(dāng)前幀運(yùn)動(dòng)區(qū)域中某一像素Sτ(x,y),在前一幀某一位移處找到一個(gè)同灰度值的像素Sτ-1(x-dx,y-dy),位移d=(dx,dy)T代表Sτ(x,y)真實(shí)的運(yùn)動(dòng)矢量。傳輸時(shí)，讓接收端在與發(fā)送端同樣的條件下，用與發(fā)送端相同的方法進(jìn)行運(yùn)動(dòng)估值。代價(jià)是接收端較復(fù)雜，不利于一發(fā)多收(SDTV/HDTV、VCD/DVD等)的應(yīng)用，但這種方法估計(jì)精度高，能滿足運(yùn)動(dòng)補(bǔ)償幀內(nèi)插的要求?；顒?dòng)圖像的運(yùn)動(dòng)估值改進(jìn)方法:1979年，Netravali和Robbins提出的遞歸估計(jì)方法以改進(jìn)d的估計(jì)值d的估計(jì)精度和擴(kuò)大搜索范圍，像素遞歸法：只是孤立地考察單個(gè)像素，故抗干擾能力差，為從根本上提高估值精度和可靠性，在估計(jì)某像素的運(yùn)動(dòng)矢量時(shí)可考慮其鄰域點(diǎn)，則性能可得到顯著改善?；顒?dòng)圖像的運(yùn)動(dòng)估值塊匹配法BMA(BlockMatchingAlgorithm)目前最常用的一類(lèi)運(yùn)動(dòng)估值方法，有關(guān)活動(dòng)圖像的國(guó)際標(biāo)準(zhǔn)H.261/H.263和MPEG-1/2等都采用了該方法。τ幀N

M像素塊NMdxmaxdymax