圖像處理第13章 視頻圖像處理

第13章視頻圖像處理章節(jié)內容視頻的表達、模型、顯示、格式運動信息分類、前景運動、背景運動運動信息檢測視頻處理方法、濾波視頻預測編碼原理第13章視頻圖像處理

視頻圖像處理是基于前三個單元介紹的圖象處理技術的進一步拓展。

視頻一般代表一類彩色序列圖象，它描述了在一段時間內3-D景物投影到2-D圖象平面且由3個分離的傳感器獲得的場景輻射強度。

視頻可看作是對（靜止）圖象的擴展。除了原來圖象的一些概念和定義仍然保留外，為表示視頻還需要一些新的概念和定義。

視頻相對圖像最明顯的一個區(qū)別就是含有場景中的運動信息，這也是使用視頻的一個主要目的。針對含有運動信息的視頻的特點，原來的圖象處理技術也需要相應的推廣。13.1視頻表達和格式{首先要討論視頻的表示或表達，以及視頻的格式和顯示等}13.1.1視頻基礎{視頻是在有規(guī)律間隔拍攝得到的圖像序列，所以視頻相對于圖像在時間上有了擴展}1.視頻表達函數(shù)函數(shù)f(x,y,t)描述了在時間t投影到圖象平面XY的3-D景物的某種性質。對彩色圖象用函數(shù)

f(x,y)來表示，則考慮視頻灰度到彩色的擴展，視頻可用函數(shù)

f(x,y,t)來表示。1.視頻表達函數(shù)彩色視頻都應該由3個函數(shù)（它們組成一個矢量函數(shù)）來表示，每個函數(shù)描述一個彩色分量。這種格式的視頻稱之為分量視頻。(質量較高，數(shù)據(jù)量大，用于專業(yè)視頻設備)復合視頻格式中的3個彩色信號被復用成一個單獨的信號。將每個色度分量調到一個位于亮度分量高端的頻率上，將一條色度分量加到原始亮度信號中。(數(shù)據(jù)量小質量差)13.1.1視頻基礎2.視頻彩色模型常用的彩色模型是YCBCR模型：Y代表亮度分量，CB和CR代表色度分量。亮度分量可借助彩色的RGB分量獲得：色度分量CB表示藍色部分與亮度值的差，而色度分量CR表示紅色部分與亮度值的差(也稱色差分量)。由Y、CB

、CR到R、G、B的反變換：13.1.1視頻基礎3.視頻空間采樣率視頻空間采樣指的是對亮度分量Y的采樣率，一般對色度分量CB和CR的采樣率常只有其的二分之一。使每行像素數(shù)減半，每幀行數(shù)不變。這種格式成為4:2:2，即每4個Y采樣點對應2個CB采樣點和2個CR采樣點。對于高分辨率的應用，定義了4:4:4的各式，即對亮度分量Y的采樣率與對色度分量CB和CR的采樣率相同。另外還有4:1:1和4:2:2的格式。13.1.1視頻基礎4.視頻顯示視頻顯示器寬高比主要有4:3和16:9兩種?？捎袃煞N光柵掃描方式：逐行掃描，隔行掃描逐行掃描：以幀為單位，顯示時從左上角逐行進行到右下角；隔行掃描：以場為單位（一幀分為兩場：頂場包含所有奇數(shù)行，底場包含所有偶數(shù)行），垂直分辨率是幀的一半，顯示時頂場和底場交替，借助人眼視覺暫留使人感覺為一幅圖像。13.1.1視頻基礎比較兩種模式：逐行掃描：清晰度高，數(shù)據(jù)量大隔行掃描：數(shù)據(jù)量只需一半，效果模糊{視頻在顯示時還需要有一定的幀率，即相鄰兩幀出現(xiàn)的頻率。根據(jù)人眼的視覺暫留特性，幀率需要高于25幀/秒，低了會出現(xiàn)閃爍和不連續(xù)}13.1.1視頻基礎5.視頻碼率

視頻的數(shù)據(jù)量由視頻的時間分辨率、空間分辨率和幅度分辨率共同決定。存儲一秒鐘視頻圖象所需的位數(shù)b（也稱為視頻碼率，單位是b/s），設視頻幀數(shù)是L，空間分辨率M×N，幅度分辨率G（G=2k）視頻的數(shù)據(jù)量也可由行數(shù)fy、每行樣本數(shù)fx和幀頻ft來定義。如果用K表示視頻中一個像素值的比特數(shù)，這樣視頻碼率也可表示為：

b=fxfyftK13.1.1視頻基礎6.視頻格式實際應用中視頻有許多不同的格式，下表為一些常用的視頻格式13.1.2彩色電視制式常用彩色電視制式保羅NTSC(美國開發(fā)，用于美國、日本等)、PAL(德國開發(fā)，用于德國、中共等)SECAM(法國開發(fā)，用于法國、俄羅斯等)YUV模型Y代表亮度分量，U和V分別正比于色差B–Y和RY稱為色度分量。YUV可有PAL制系統(tǒng)中歸一化、計算得到：13.1.2彩色電視制式由YUV得到R'、G'、B'的反變換為13.1.2彩色電視制式YIQ模型

在NTSC制系統(tǒng)中使用Y代表亮度分量，I和Q分別是U和V分量旋轉33°后的結果。旋轉后，I對應在橙色和青色間的彩色，而Q對應在綠色和紫色間的彩色。人眼對在綠色和紫色間的彩色變化不如在橙色和青色間的彩色敏感，所以在量化時Q分量所需要的比特數(shù)可比I分量少，傳輸時Q分量的貸款可比I分量窄。YIQ可由NTSC制系統(tǒng)中歸一化R'G'B'經(jīng)過下式得到：反變換：人眼對色度信號的分辨能力較低，所以在普通電視制式中，均對信號采用比對亮度信號更低的空間采樣率，以降低視頻數(shù)據(jù)量。PLA制系統(tǒng)中的基準白色與NTSC制系統(tǒng)中的基準白色是略有不同的。13.2運動分類和表達

{視頻圖像可以記錄景物的運動情況，運動信息也是視頻中特有的}1.運動分類前景運動：目標在場景中的自身運動，又稱為局部運動背景運動：主要由攝象機的運動所造成，幀圖象內所有點整體移動，又稱為全局運動或攝象機運動。全局運動一般具有整體性強、比較規(guī)律的特點。局部運動常比較復雜，特別是在目標比較多的時候，各目標可做不同的運動，目標盡在空間小范圍內表現(xiàn)出一定的一致性。前景和背景運動或靜止可能有4種情況：兩者均運動或靜止以及其中之一靜止另一運動。13.2運動分類和表達2.運動矢量場表達由于運動既包括全局運動，又包括局部運動，所以對整個運動場的表達不能僅采用全局模型的方法。極端情況下，可以考慮對每個像素分別描述其運動。將整幅圖象分成許多固定大小的塊，對塊的運動用矢量表示，將每個運動矢量用（有起點）無箭頭的線段（線段長度與矢量大小亦即運動速度成正比）來表示，并疊加在原始圖象上。不使用箭頭是為了表達簡介，減小箭頭疊加到圖像上對圖像的影響。由于起點確定，所以方向是明確的。13.2運動分類和表達3.運動直方圖表達雖然同一剛性目標上個點的運動常具有一致性，但不同目標間可以有相對運動，所以局部運動比全局運動矢量場復雜的多。運動矢量方向直方圖僅保留運動方向信息以減少數(shù)據(jù)量，依據(jù)是人們分辨不同運動首先是根據(jù)運動方向，而運動幅度的大小則需要較多的注意力才能夠區(qū)分，所以可認為運動的方向是最基本的運動信息。13.2運動分類和表達運動區(qū)域類型直方圖根據(jù)局部運動矢量場可實現(xiàn)對其的分割，并得到具有不同仿射參數(shù)模型的各個運動區(qū)域。具體就是對運動模型進行分類，統(tǒng)計各個運動區(qū)域滿足不同運動模型的象素。13.2運動分類和表達4.運動軌跡表達運動軌跡表達了目標在運動過程中的位置信息國際標準MPEG-7推薦了運動軌跡描述符這種運動軌跡描述符有一系列關鍵點和一組在這些關鍵點間進行插值的函數(shù)構成。關鍵點用2-D或3-D坐標空間中的坐標值表達，而插值函數(shù)分別對應各個坐標軸，x(t)對應水平方向軌跡，y(t)對應垂直方向的軌跡，z(t)對應深度方向的軌跡。插值函數(shù)表達式：對于上式插值函數(shù)，p：時間軸一點，vp：運動速度，ap：運動加速度13.2運動分類和表達對應圖13.2.5中3段軌跡的插值函數(shù)分別為零次函數(shù)、一次函數(shù)和兩次函數(shù)A段零次函數(shù)：x(t)=x(t0)B段一次函數(shù)：

x(t)=x(t1)+v(t1)(t－t1)C段二次函數(shù)：x(t)=x(t2)+v(t2)(t-t2)+a(t2)(t–t2)2/2根據(jù)軌跡中的關鍵點坐標和差值函數(shù)形式，可以確定目標沿特定方向的運動情況，綜合沿三個方向的運動軌跡，可以確定場景中目標隨時間變化而在空間的運動情況。13.3運動檢測要理解場景變化的情況，首先要對運動進行檢測，確定是否有運動，以及哪些景物有運動；其次對運動進行評估，即確定運動的情況(速度、方向等)。運動檢測是視頻圖像處理中特有的，也是許多視頻圖像處理的基礎。

對運動的檢測就是對整個圖像中的運動信息的檢測，視頻中包括前景運動與背景運動，所以運動檢測既要檢測場景整體運動造成的變化，又要檢測具體景物運動造成的變化。13.3.1利用圖像差的運動檢測視頻中，通過逐像素比較可直接求取前后兩幀圖像之間的差別。對時間上相鄰的兩幅圖像求差可以將圖像中運動目標的位置和形狀變化突顯出來1.差圖像的計算圖(b)給出一個示例，將長方形區(qū)域逐漸向下移動，依次劃過橢圓目標的不同部分，將各次結果組合起來，就得到完整的橢圓目標。圖(a),如果對一系列圖像兩兩求差，并把差分圖像中值為正或負的區(qū)域邏輯與起來就可以得到整個目標的形狀。13.3.1利用圖像差的運動檢測如果在圖像采集和被攝場景間有相對運動的情況下采集一系列圖像，則根據(jù)其中存在的運動信息幫助確定圖像中有變化的像素。設在兩個時刻ti和tj采集到兩幅圖象f(x,y,ti)和f(x,y,tj)，則據(jù)此可得到差圖象

（13.3.1）差圖像中為0的像素對應在前后兩時刻間沒有發(fā)生變化的地方。差圖像中為1的像素對應兩圖間發(fā)生變化的地方，這場是由于目標運動而產(chǎn)生的。13.3.1利用圖像差的運動檢測差圖像中為1的像素也可能源于不同的情況如：

f(x,y,ti)是一個運動目標的象素而

f(x,y,tj)是一個背景象素或是同一個運動目標但不同位置的象素，……13.3.1利用圖像差的運動檢測式13.3.1中的閾值Tg用來確定兩時刻圖像的灰度是否存在比較明顯的差異，灰度差異顯著性的判別：似然比：實際情況下，由于隨機噪聲影響，沒有發(fā)生像素移動的地方也會出現(xiàn)圖像間差別不為零的情況，把噪聲的影響與像素的移動區(qū)別開來，可對差別圖像取較大的閾值，差別大于特定的閾值是才認為是像素發(fā)生了移動。

各μ和σ分別是在時刻ti

和tj采集到的兩幅圖象的對應觀測窗口中的均值和方差，Ts

是顯著性閾值13.3.1利用圖像差的運動檢測2.累積差圖象的計算為克服上述隨機噪聲影響，可利用多幅圖像。如果在某一個位置的變化之偶爾出現(xiàn)，就可判斷為噪聲。設有一系列圖像f(x,y,t1),f(x,y,t2),….f(x,y,tn),，并取第一幅圖f(x,y,t1)作為參考圖，通過將參考圖與其后的每一幅圖比較就可得到累積差圖像(ADI)ADI有三個功能：(1)ADI中相鄰象素值間的梯度關系可用來估計目標移動的速度矢量，這里梯度的方向就是速度的方向，梯度的大小與速度成正比(2)ADI中象素的個數(shù)（值）可幫助確定運動目標的尺寸和移動的距離(3)ADI中包含了目標運動的全部歷史資料，有助于檢測慢運動和尺寸較小目標的運動13.3.1利用圖像差的運動檢測三種ADI圖象：(1)絕對(2)正(3)負13.3.1利用圖像差的運動檢測上述3中ADI圖像的值都是對像素的計數(shù)結果，初始時均為零，獲得下列信息：(1)正ADI圖像中的非零區(qū)域面積等于運動目標的面積；(2)正ADI圖像中對應運動目標移的位置也就是運動目標在參考圖中的位置；(3)當正ADI圖像中運動目標移動到與參考圖中的運動目標不重合時，正ADI圖像停止計；(4)絕對ADI圖像包含了正ADI圖像和負ADI圖像中的所有目標區(qū)域；(5)運動目標的運動方向和運動速度可根據(jù)絕對ADI圖像和負ADI圖像來確定。13.3.2基于模型的運動檢測運動模型考慮對攝象機建模來進行全局運動檢測全局運動通用模型：6參數(shù)仿射模型：8參數(shù)雙線性模型：在對模型參數(shù)進行估計時，首先從相鄰幀中選取足夠多的觀測點，接著用一定匹配算法求出這些點的觀測運動矢量，最后用參數(shù)擬合的方法估計模型參數(shù)。13.3.3頻率域運動檢測借助傅里葉變換把檢測轉到頻率域中進行優(yōu)點是可以分別處理平移、旋轉和尺度的變化(1)對平移的檢測根據(jù)傅里葉變換借助平移性質傅里葉變換相位角之差13.3.3頻率域運動檢測考慮到傅里葉變換的分離性，得到d?x(u)和d?y(v)分別為f(x,y,tk)和f(x,y,tk+1)在X

軸上和Y軸上投影的傅里葉變換的相位角之差。由于相位角的不唯一性，在計算d?x(u)和d?y(v)時可采用下列方法，設dx的變化范圍滿足K為常數(shù)，Lx為X方向的像素個數(shù)。將f(x,y,tk)和f(x,y,tk+1)在X

軸上和Y

軸上投影的傅里葉變換的相位角各自加上2π的整數(shù)倍，可得到dθ(u)的唯一值。13.3.3頻率域運動檢測(2)對旋轉的檢測

借助傅里葉變換功率譜進行，圖象中的直線模式在傅里葉功率譜中對應過頻譜原點的直線模式。對f(x,y,tk)和f(x,y,tk+1)分別進行傅里葉變換，并計算他們的功率譜：在Pk(u,v)和Pk+1(u,v)中分別搜索對應的過原點的直線模式，再計算直線間的夾角得到旋轉角。13.3.3頻率域運動檢測(3)對尺度變化的檢測圖象空間的尺度變化對應傅里葉變換域中頻率高低的變化當圖像空間中目標的尺寸變大時，頻率域中功率譜的低頻分量會增加；當圖像空間中目標的尺寸變小時，頻率域中功率譜的高頻分量會增加1)在Pk(u,v)，Pk+1(u,v)中分別搜索方向相同的直線模式Lk和Lk+12)將Lk投影到Pk+1(u,v)上，得到L'k如果S<1，表明目標圖象尺寸增加了S倍如果S>1，表明目標圖象尺寸減小了S倍13.4視頻濾波{濾波在這里代表多種處理過程和手段分為空域濾波器（僅考慮幀內）和時空濾波器(還考慮幀間）兩類}13.4.1基于運動檢測的濾波1.直接濾波基于運動檢測的濾波需要在運動檢測的基礎上采用運動適應的技術幀平均技術不影響幀圖象空間分辨率的情況下消除噪聲沿時間軸的1-D濾波，即進行時域平均，在場景中有突然的隨時間變化處會導致時域模糊。運動適應濾波，它利用相鄰幀間的運動信息來確定濾波方向，將由于運動造成的沿時間軸變化與噪聲導致的變化區(qū)別開來。13.4.1基于運動檢測的濾波2.利用運動檢測信息有限脈沖響應（FIR）濾波器{具有有限的噪聲消除能力，特別在僅進行時域濾波且參與濾波的幀較少時。}

無限脈沖響應（IIR）濾波器{有更強的噪聲消除能力，但一般會導致傅里葉相位失真的發(fā)生}

13.4.2基于運動補償?shù)臑V波運動補償濾波器作用于運動軌跡上，象素灰度在確定的運動軌跡上保持不變。1.運動軌跡和時空頻譜運動軌跡可用一個矢量函數(shù)M(t;x,y,t0)來描述幀間灰度變化：13.4.2基于運動補償?shù)臑V波時空函數(shù)的傅里葉變換時空頻譜的定義域13.4.2基于運動補償?shù)臑V波2.沿運動軌跡的濾波沿運動軌跡的每一幀上的每個點的濾波。定義在(x,y,t)處的濾波輸出為：沿一個勻速運動軌跡的線性、空間不變?yōu)V波可表示為：式中，h(x,y,t)是沿運動軌跡所使用的1-D濾波器的脈沖響應。脈沖響應也可表為：13.4.2基于運動補償?shù)臑V波對上式進行3-D傅里葉變換，得到運動補償濾波器的頻率響應

有運動補償且正確時的情況沒有運動補償時的純時間濾波情況斜線代表運動軌跡13.4.2基于運動補償?shù)臑V波3.運動補償濾波器假設在沿運動軌跡M(q;x,y,t)的路徑上，像素灰度的變化主要源于噪聲。在時空域的采樣序列中對運動軌跡估計。使用N幀圖來對第k幀圖進行濾波。在第k幀的(x,y)處估計離散運動軌跡M(l;x,y,t)，它給出第k幀圖中(x,y)處象素對應的第l幀圖中的坐標在估計軌跡時，要參考第k幀圖來估計偏移矢量，如箭頭所示確定了運動補償濾波器的定義域后，可使用各種濾波方式進行濾波。13.4.2基于運動補償?shù)臑V波4.時空自適應線性最小均方誤差濾波時空自適應的線性最小均方誤差(LMMSE)濾波可如下進行：在(x,y,t)處的像素估計值為考慮平穩(wěn)獨立噪聲(1)時空信號的方差遠小于噪聲方差時，σf2(x,y,t)≈0，估計值逼近時空均值，μg=μf(2)時空信號的方差遠大于噪聲方差時，

σf2(x,y,t)>>

σn2(x,y,t)，估計值逼近噪聲圖像值以避免模糊13.4.2基于運動補償?shù)臑V波5.自適應加權平均濾波自適應加權平均(AWA)濾波在時空中沿運動軌跡計算圖像值的一個加權平均。通過優(yōu)化一個準則函數(shù)來確定權重，其值依賴于對運動估計的準確性和圍繞運動軌跡區(qū)域的空間均勻性。AWA濾波器可如下定義：其中權重K(x,y,t)是歸一化常數(shù)：當時空中一個像素的值與要濾波像素的值差距大于一個閾值時，對它的權重下降，而加強其它像素的作用。13.4.3消除勻速直線運動模糊假設對在平面上勻速運動的景物采集一幅圖像f(x,y)，并設x0(t)和y0(t)分別是景物在x和y方向的運動分量，忽略其他因素，實際采集到的模糊圖像g(x,y)為(13.4.20)13.4.3消除勻速直線運動模糊定義濾波函數(shù)將式(13.4.20)寫成適合實用逆濾波方法的形式：當景物在平面上的勻速運動沿直線進行時，x0(t)和y0(t)均是t的線性函數(shù)（且可從模糊視頻中估計出來），式(13.4.21)中的積分可解析計算，由運動造成的模糊就可以消除。模糊圖移動24個象素移動40個象素移動32個象素{例13.4.1}13.5視頻預測編碼視頻編碼，目的是降低視頻的碼率以減少存儲量和加快在信道中的傳輸，這與靜止圖像編碼類似/并行。1.預測基礎當場景變化或景物運動或攝像機的各種運動較快時，視頻中相鄰幀之間的相關性會變小，預測